Propriétés du tRuleSurvivorship pour Apache Spark Batch
Ces propriétés sont utilisées pour configurer le tRuleSurvivorship s'exécutant dans le framework de Jobs Spark Batch.
Le composant tRuleSurvivorship Spark Batch appartient à la famille Qualité de données.
Le composant de ce framework est disponible dans tous les produits Talend Platform avec Big Data et dans Talend Data Fabric.
Basic settings
Schema et Edit schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs. Ce composant fournit deux colonnes en lecture seule :
Lorsqu'un enregistrement consolidé est créé, la colonne CONFLICT n'affiche pas les conflits résolus par les règles de résolution des conflits. |
|
Built-in : le schéma est créé et conservé localement pour ce composant seulement. |
|
Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. |
Group identifier |
Sélectionnez la colonne dont le contenu indique les identifiants de groupe requis du schéma d'entrée. |
Rule package name |
Saisissez le nom de l'ensemble de règles que vous créez via ce composant. |
Generate rules and survivorship flow |
Une fois que toutes les règles ont été configurées dans un ensemble via ce composant, cliquez sur l'icône pour générer l'ensemble de règles sous le nœud Survivorship Rules du dossier Rules Management sous Metadata dans le Repository de la perspective Integration de votre Studio Talend. Note InformationsRemarque :
Cette étape est nécessaire pour valider les modifications et les prendre en compte lors de l'exécution. Si un ensemble de règles du même nom existe déjà dans le Repository, ces modifications, une fois validées, vont l'écraser, sinon celui du Repository aura priorité lors de l'exécution. Note InformationsAvertissement : Dans un ensemble de règles, deux règles ne peuvent pas porter le même nom.
|
Rule table |
Renseignez cette table pour créer un flux complet de consolidation. Chaque règle donnée est définie comme une étape d'exécution. Ainsi, dans l'ordre décroissant dans la table, ces règles représentent une séquence et un flux prend forme. Les colonnes de cette table sont : Order : dans la liste, sélectionnez l'ordre d'exécution des règles que vous créez afin de définir un flux de consolidation. Les types d'ordre peuvent être :
Rule Name : saisissez le nom de chaque règle que vous créez. Cette colonne est disponible uniquement pour les règles Sequential puisqu'elle définit les étapes du flux de consolidation. N'utilisez pas de caractère spécial dans le nom des règles, sinon le Job risque de ne pas s'exécuter correctement. Les noms de règle sont sensibles à la casse. Reference column : sélectionnez la colonne sur laquelle vous souhaitez appliquer une règle donnée. Ce sont les colonnes définies dans le schéma de ce composant. Cette colonne n'est pas disponible pour les règles Multi-target car elles définissent uniquement les colonnes Target column. Function : sélectionnez le type d'opération de validation à effectuer sur une colonne Reference column donnée. Les types disponibles comprennent :
Value : saisissez l'expression qui vous intéresse, correspondant à la fonction Match regex ou Expression sélectionnée dans la colonne Function. Target column : lorsqu'une étape est exécutée, elle valide la valeur d'un champ d'un enregistrement d'une colonne Reference column donnée et sélectionne la valeur correspondante de meilleure qualité pour renseigner la colonne Target column donnée. Sélectionnez la colonne Target column parmi les colonnes du schéma du composant. Ignore blanks : cochez les cases correspondant au nom des colonnes dont vous souhaitez ignorer les valeurs vides. |
Define conflict rule |
Cochez cette case pour créer des règles de résolution des conflits dans la table Conflict rule table. |
Conflict rule table |
Renseignez cette table pour créer des règles de résolution des conflits. Les colonnes de cette table sont : Rule Name : saisissez le nom de chaque règle que vous créez. N'utilisez pas de caractère spécial dans le nom des règles, sinon le Job risque de ne pas s'exécuter correctement. Conflicting column : lorsqu'une étape est exécutée, elle valide la valeur d'un champ d'un enregistrement d'une colonne Reference column donnée et sélectionne la valeur correspondante de meilleure qualité pour renseigner la colonne Conflicting column donnée. Sélectionnez cette colonne Conflicting column parmi les colonnes du schéma du composant. Function : sélectionnez le type d'opération de validation à effectuer sur une colonne Conflicting column donnée. Les types disponibles comprennent ceux de la table Rule table et les types suivants :
Value : saisissez l'expression qui vous intéresse, correspondant à la fonction Match regex ou Expression sélectionnée dans la colonne Function. Reference column : sélectionnez la colonne sur laquelle vous souhaitez appliquer une règle de résolution de conflits donnée. Ce sont les colonnes définies dans le schéma de ce composant. Ignore blanks : cochez les cases correspondant au nom des colonnes dont vous souhaitez ignorer les valeurs vides. Disable : cochez cette case pour désactiver la règle correspondante. |
Paramètres avancés
Set the number of partitions by GID |
Saisissez le nombre de partitions selon lequel vous souhaitez diviser chaque groupe. |
Variables globales
Variables globales |
ERROR_MESSAGE : message d'erreur généré par le composant lorsqu'une erreur survient. Cette variable est une variable After et retourne une chaîne de caractères. Cette variable fonctionne uniquement si la case Die on error est décochée, lorsque le composant contient cette case. Une variable Flow fonctionne durant l'exécution d'un composant. Pour renseigner un champ ou une expression à l'aide d'une variable, appuyez sur les touches Ctrl+Espace pour accéder à la liste des variables. À partir de cette liste, vous pouvez choisir la variable que vous souhaitez utiliser. Pour plus d'informations concernant les variables, consultez le Guide d'utilisation du Studio Talend. |
Utilisation
Règle d'utilisation |
Ce composant est utilisé comme étape intermédiaire. Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch. Notez que, dans cette documentation, sauf mention contraire, un scénario présente uniquement des Jobs Standard, c'est-à-dire des Jobs Talend traditionnels d'intégration de données. |
Connexion à Spark |
Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |