Propriétés du tMatchModel pour Apache Spark Batch
Ces propriétés sont utilisées pour configurer le tMatchModel s'exécutant dans le framework de Jobs Spark Batch.
Le composant tMatchModel Spark Batch appartient à la famille Qualité de données.
Le composant de ce framework est disponible dans tous les produits Talend Platform avec Big Data et dans Talend Data Fabric.
Basic settings
Define a storage configuration component |
Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS. Si vous laissez cette case décochée, le système de fichiers cible est le système local. Le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un composant tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné. |
Schema et Edit Schema |
Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé line lors du nommage des champs. Cliquez sur Sync columns pour récupérer le schéma du composant précédent dans le Job. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles :
|
|
Built-in : le schéma est créé et conservé localement pour ce composant seulement. |
|
Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets. |
Matching key |
Sélectionnez les colonnes sur lesquelles vous souhaitez baser le calcul de correspondance. |
Matching label column |
Sélectionnez la colonne du flux d'entrée contenant les libellés configurés manuellement sur les paires d'enregistrements suspects. Si vous cochez la case Integration with Data Stewardship, cette liste ne s'affiche pas. Dans ce cas, la colonne de rapprochement de libellés est la colonne TDS_ARBITRATION_LEVEL, qui contient les libellés définis sur les paires suspectes d'enregistrements, à l'aide de Talend Data Stewardship. |
Matching model location |
Cochez la case Save the model on file system et, dans le champ Folder, configurez le chemin d'accès au dossier local dans lequel vous souhaitez générer les fichiers de rapprochement. Si vous souhaitez stocker le modèle dans un système de fichiers spécifique, par exemple S3 ou HDFS, vous devez utiliser le composant correspondant dans le Job et cocher la case Define a storage configuration component dans les propriétés simples du composant. Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez les autres modes Yarn de Spark supportés par le Studio avec votre distribution, assurez-vous d'avoir correctement configuré la connexion dans un composant de connexion dans le même Job, comme le tHDFSConfiguration. Utilisez le composant de configuration relatif au système de fichiers à utiliser. |
Rapport d'importance d'attributs | Cochez cette case pour générer un rapport contenant un résumé du modèle et ses paramètres. Pour plus d'informations, consultez Rapport d'importance d'attributs. Le rapport peut être enregistré sur :
|
Integration with Data Stewardship |
Cochez cette case pour configurer les paramètres de connexion au serveur de Talend Data Stewardship. Si vous cochez cette case, le tMatchModel utilise les enregistrements suspects de l'échantillon libellés dans une campagne Grouping, définie sur le serveur de Talend Data Stewardship , ce qui signifie que ce composant peut être utilisé en standalone. |
Data Stewardship Configuration |
Disponible lorsque la case Integration with Data Stewardship est cochée.
|
Advanced settings
Max token number for phonetic comparison |
Définissez le nombre maximal de segments à utiliser dans la comparaison phonétique. Lorsque le nombre de segments dépasse la valeur définie dans le champ, aucune comparaison phonétique n'est effectuée sur la chaîne. |
Random Forest hyper-parameters tuning |
Number of trees range : saisissez un intervalle pour le nombre d'arbres de décision que vous souhaitez construire. Chaque arbre de décision est construit indépendamment à l'aide d'un échantillon aléatoire de caractéristiques. Augmenter l'intervalle peut améliorer la précision tout en diminuant les variations des prédictions, mais augmente le temps d'apprentissage. Maximum tree-depth range : saisissez la profondeur de l'arbre de décision à laquelle la construction doit arrêter d'ajouter des nœuds. Les nouveaux nœuds représentent des tests plus avancés sur les caractéristiques des nœuds internes et des possibles libellés de classes contenus par les nœuds des feuilles. De manière générale, un arbre de décision plus profond est plus expressif et potentiellement plus précis dans ses prédictions, mais consomme également plus de ressources et est plus prompt au surapprentissage. |
Checkpoint Interval |
Définissez la fréquence des points de contrôle. Il est recommandé de conserver la valeur par défaut (10). Avant de définir la valeur de ce paramètre, activez l'opération de point de contrôle et définissez le répertoire de stockage des points de contrôle dans l'onglet Spark Configuration de la vue Run. Pour plus d'informations concernant les points de contrôle, consultez Logs et points de contrôle des activités de votre Job Spark Apache. Pour plus d'informations concernant les points de contrôle des activités de votre Job Apache Spark, consultez la documentation sur Talend Help Center (https://help.talend.com (uniquement en anglais)). |
Cross-validation parameters |
Number of folds : saisissez une valeur numérique de paquets utilisés pour l'apprentissage ou pour le test des jeux de données. Evaluation metric type : sélectionnez un type dans la liste. Pour plus d'informations, consultez Precision and recall (uniquement en anglais) (en anglais). |
Random Forest parameters |
Subsampling rate : saisissez la valeur numérique pour indiquer la fraction du jeu de données d'entrée utilisée pour l'apprentissage de chaque arbre de la forêt. La valeur par défaut 1.0 est recommandée, ce qui signifie que le jeu de données complet est utilisé à des fins de test. Subset Strategy : sélectionnez la stratégie concernant le nombre de caractéristiques devant être considérées sur chaque nœud interne pour diviser de manière appropriée ce nœud interne (l'ensemble d'apprentissage ou le sous-ensemble d'une caractéristique de ce nœud) en de plus petits sous-ensembles. Ces sous-ensembles sont utilisés pour construire des nœuds enfants. Chaque stratégie prend en compte un nombre différent de caractéristiques pour trouver le point optimal parmi ces caractéristiques pour la division. Ce point, peut être, par exemple, l'âge 35 de la caractéristique catégorique age.
|
Max bins |
Saisissez la valeur numérique indiquant le nombre maximal de bins utilisés pour diviser les caractéristiques. Les caractéristiques continues sont automatiquement transformées pour trier les caractéristiques discrètes. |
Minimum information gain |
Saisissez le nombre minimum de gains d'information à attendre d'un nœud parent vers ses nœuds enfants. Lorsque le nombre de gains d'information est inférieur au nombre minimum, la division des nœuds est arrêtée. La valeur minimum par défaut du nombre de gains d'information est 0.0, ce qui signifie qu'aucune information supplémentaire n'est obtenue en divisant un nœud donné. Par conséquent, la division peut être arrêtée. Pour plus d'informations concernant le calcul du gain d'information, consultez Impurity and Information gain (uniquement en anglais) dans la documentation Spark (en anglais). |
Min instances per node |
Saisissez le nombre minimal d'instances d'apprentissage qu'un nœud doit avoir pour qu'il soit valide pour une division ultérieure. La valeur par défaut est 1, ce qui signifie que, lorsqu'un nœud contient seulement 1 ligne de données d'apprentissage, sa division s'arrête. |
Impurity |
Sélectionnez la mesure utilisée pour obtenir la meilleure division de chaque ensemble de divisions.
Pour plus d'informations concernant le calcul de chaque mesure, consultez Impurity measures (uniquement en anglais), dans la documentation Spark (en anglais). |
Set a random seed |
Saisissez le numéro de graine aléatoire à utiliser pour le bootstrapping et choisissez les sous-ensembles de caractéristiques. |
Configuration de Data Stewardship |
Disponible lorsque la case Integration with Data Stewardship est cochée dans la vue Basic settings. Campaign Name : Il affiche le nom technique de la campagne une fois la campagne sélectionnée. Cependant, vous pouvez modifier la valeur du champ afin de la remplacer par un paramètre de contexte par exemple, et passer les variables de contexte à un Job au moment de l'exécution. Ce nom technique est toujours utilisé pour identifier une campagne lorsque le Job communique avec Talend Data Stewardship quelle que soit la valeur du champ Campaign. Batch Size : spécifiez le nombre d'enregistrements à traiter dans chaque lot. Ne modifiez pas la valeur par défaut, à moins de rencontrer un problème de performance. Augmenter la taille des lots peut améliorer les performances mais paramétrer une valeur trop haute peut causer des échecs dans les Jobs. |
Utilisation
Règle d'utilisation |
Ce composant est utilisé comme étape intermédiaire. Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch. |
Connexion à Spark Batch |
Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :
Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie. |