Propriétés du tJapaneseTransliterate pour Apache Spark Streaming
Ces propriétés sont utilisées pour configurer le tJapaneseTransliterate s'exécutant dans le framework de Jobs Spark Streaming.
Le composant tJapaneseTransliterate Spark Streaming appartient à la famille Qualité de données.
Le composant de ce framework est disponible dans Talend Data Management Platform, Talend Big Data Platform, Talend Real Time Big Data Platform, Talend Data Services Platform et dans Talend Data Fabric.
Basic settings
Schema et Edit Schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs. Cliquez sur Sync columns pour récupérer le schéma du composant précédent dans le Job. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :
|
|
Built-in : le schéma est créé et conservé localement pour ce composant seulement. |
|
Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. |
Transliteration |
Les colonnes du schéma de sortie sont ajoutées à la colonne Column dans la table Transliteration. Pour chaque colonne du schéma contenant du texte en japonais à translittérer, cochez la case correspondante dans la colonne Transliterate. Cochez la case dans la ligne d'en-tête afin de sélectionner toutes les colonnes de schéma. Une fois la case Transliterate cochée, sélectionnez le système de translittération dans la liste Way to transliterate :
|
Advanced settings
tStatCatcher Statistics |
Cochez cette case pour collecter les métadonnées de traitement du Job, aussi bien au niveau du Job qu'au niveau de chaque composant. |
Utilisation
Règle d'utilisation |
Ce composant est généralement utilisé comme composant intermédiaire et nécessite un composant d'entrée et un composant de sortie. |
Connexion à Spark |
Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |