Propriétés du tMatchModel pour Apache Spark Batch

Ces propriétés sont utilisées pour configurer le tMatchModel s'exécutant dans le framework de Jobs Spark Batch.

Le composant tMatchModel Spark Batch appartient à la famille Qualité de données.

Le composant de ce framework est disponible dans tous les produits Talend Platform avec Big Data et dans Talend Data Fabric.

Basic settings

Define a storage configuration component	Sélectionnez le composant de configuration à utiliser pour fournir les informations de configuration pour la connexion au système de fichiers cible, comme HDFS. Si vous laissez cette case décochée, le système de fichiers cible est le système local. Le composant de configuration à utiliser doit se trouver dans le même Job. Par exemple, si vous avez ajouté un composant tHDFSConfiguration dans votre Job, vous pouvez le sélectionner pour écrire le résultat dans un système HDFS donné.
Schema et Edit Schema	Un schéma est une description de lignes. Il définit le nombre de champs (colonnes) à traiter et à passer au composant suivant. Lorsque vous créez un Job Spark, évitez le mot réservé `line` lors du nommage des champs. Cliquez sur Sync columns pour récupérer le schéma du composant précédent dans le Job. Créez le schéma en cliquant sur le bouton Edit Schema. Si le schéma est en mode Repository, trois options sont disponibles : View schema : sélectionnez cette option afin de voir uniquement le schéma. Change to built-in property : sélectionnez cette option pour passer le schéma en mode Built-In et effectuer des modifications locales. Update repository connection : sélectionnez cette option afin de modifier le schéma stocké dans le référentiel et décider de propager ou non les modifications à tous les Jobs. Si vous souhaitez propager les modifications uniquement au Job courant, cliquez sur No et sélectionnez à nouveau la métadonnée du schéma dans la fenêtre Repository Content.
	Built-in : le schéma est créé et conservé localement pour ce composant seulement.
	Repository : le schéma existe déjà et est stocké dans le Repository. Ainsi, il peut être réutilisé dans des Jobs et projets.
Matching key	Sélectionnez les colonnes sur lesquelles vous souhaitez baser le calcul de correspondance.
Matching label column	Sélectionnez la colonne du flux d'entrée contenant les libellés configurés manuellement sur les paires d'enregistrements suspects. Si vous cochez la case Integration with Data Stewardship, cette liste ne s'affiche pas. Dans ce cas, la colonne de rapprochement de libellés est la colonne `TDS_ARBITRATION_LEVEL`, qui contient les libellés définis sur les paires suspectes d'enregistrements, à l'aide de Talend Data Stewardship.
Matching model location	Cochez la case Save the model on file system et, dans le champ Folder, configurez le chemin d'accès au dossier local dans lequel vous souhaitez générer les fichiers de rapprochement. Si vous souhaitez stocker le modèle dans un système de fichiers spécifique, par exemple S3 ou HDFS, vous devez utiliser le composant correspondant dans le Job et cocher la case Define a storage configuration component dans les propriétés simples du composant. Le bouton pour parcourir votre système ne fonctionne pas en mode Local de Spark. Si vous utilisez les autres modes Yarn de Spark supportés par le Studio avec votre distribution, assurez-vous d'avoir correctement configuré la connexion dans un composant de connexion dans le même Job, comme le tHDFSConfiguration. Utilisez le composant de configuration relatif au système de fichiers à utiliser.
Rapport d'importance d'attributs	Cochez cette case pour générer un rapport contenant un résumé du modèle et ses paramètres. Pour plus d'informations, consultez Rapport d'importance d'attributs. Le rapport peut être enregistré sur : le système local Microsoft Azure, en mode Spark local ou connecté à Azure HDInsight, via le tAzureFSConfiguration Amazon S3, en mode Spark local, via le tS3Configuration.
Integration with Data Stewardship	Cochez cette case pour configurer les paramètres de connexion au serveur de Talend Data Stewardship. Si vous cochez cette case, le tMatchModel utilise les enregistrements suspects de l'échantillon libellés dans une campagne Grouping, définie sur le serveur de Talend Data Stewardship , ce qui signifie que ce composant peut être utilisé en standalone.
Data Stewardship Configuration	Disponible lorsque la case Integration with Data Stewardship est cochée. URL : Saisissez l'adresse pour accéder au serveur de Talend Data Stewardship avec le suffixe /data-stewardship/, par exemple `http://<server_address>:19999/data-stewardship/`. Si vous utilisez Talend Cloud Data Stewardship, utilisez l'URL du centre de données correspondant pour accéder à l'application, avec le suffixe /data-stewardship/, par exemple `https://tds.us.cloud.talend.com/data-stewardship`, pour le centre de données AWS US. Pour la liste des URL des centres de données disponibles, consultez URL et régions de Talend Cloud. Username et Password : Saisissez les informations d'authentification pour vous connecter à Talend Data Stewardship. Si vous utilisez Talend Cloud Data Stewardship et que : Si le SSO est activé, saisissez un jeton d'accès dans le champ. Si le SSO n'est pas activé, saisissez un jeton d'accès ou votre mot de passe dans le champ. Campaign Label : Il affiche le nom technique de la campagne une fois la campagne sélectionnée. Cependant, vous pouvez modifier la valeur du champ afin de la remplacer par un paramètre de contexte par exemple, et passer les variables de contexte à un Job au moment de l'exécution. Ce nom technique est toujours utilisé pour identifier une campagne lorsque le Job communique avec Talend Data Stewardship quelle que soit la valeur du champ Campaign. Cliquez sur Find a Campaign pour ouvrir une boîte de dialogue listant les campagnes de type Grouping sur le serveur, pour lesquelles vous avez le rôle de Campaign owner ou pour lesquelles vous avez les droits d'accès. Cliquez sur le bouton de rafraîchissement afin de récupérer les détails de la campagne depuis le serveur de Talend Data Stewardship.

Advanced settings

Max token number for phonetic comparison	Définissez le nombre maximal de segments à utiliser dans la comparaison phonétique. Lorsque le nombre de segments dépasse la valeur définie dans le champ, aucune comparaison phonétique n'est effectuée sur la chaîne.
Random Forest hyper-parameters tuning	Number of trees range : saisissez un intervalle pour le nombre d'arbres de décision que vous souhaitez construire. Chaque arbre de décision est construit indépendamment à l'aide d'un échantillon aléatoire de caractéristiques. Augmenter l'intervalle peut améliorer la précision tout en diminuant les variations des prédictions, mais augmente le temps d'apprentissage. Maximum tree-depth range : saisissez la profondeur de l'arbre de décision à laquelle la construction doit arrêter d'ajouter des nœuds. Les nouveaux nœuds représentent des tests plus avancés sur les caractéristiques des nœuds internes et des possibles libellés de classes contenus par les nœuds des feuilles. De manière générale, un arbre de décision plus profond est plus expressif et potentiellement plus précis dans ses prédictions, mais consomme également plus de ressources et est plus prompt au surapprentissage.
Checkpoint Interval	Définissez la fréquence des points de contrôle. Il est recommandé de conserver la valeur par défaut (`10`). Avant de définir la valeur de ce paramètre, activez l'opération de point de contrôle et définissez le répertoire de stockage des points de contrôle dans l'onglet Spark Configuration de la vue Run. Pour plus d'informations concernant les points de contrôle, consultez Logs et points de contrôle des activités de votre Job Spark Apache. Pour plus d'informations concernant les points de contrôle des activités de votre Job Apache Spark, consultez la documentation sur Talend Help Center (https://help.talend.com (uniquement en anglais)).
Cross-validation parameters	Number of folds : saisissez une valeur numérique de paquets utilisés pour l'apprentissage ou pour le test des jeux de données. Evaluation metric type : sélectionnez un type dans la liste. Pour plus d'informations, consultez Precision and recall (uniquement en anglais) (en anglais).
Random Forest parameters	Subsampling rate : saisissez la valeur numérique pour indiquer la fraction du jeu de données d'entrée utilisée pour l'apprentissage de chaque arbre de la forêt. La valeur par défaut `1.0` est recommandée, ce qui signifie que le jeu de données complet est utilisé à des fins de test. Subset Strategy : sélectionnez la stratégie concernant le nombre de caractéristiques devant être considérées sur chaque nœud interne pour diviser de manière appropriée ce nœud interne (l'ensemble d'apprentissage ou le sous-ensemble d'une caractéristique de ce nœud) en de plus petits sous-ensembles. Ces sous-ensembles sont utilisés pour construire des nœuds enfants. Chaque stratégie prend en compte un nombre différent de caractéristiques pour trouver le point optimal parmi ces caractéristiques pour la division. Ce point, peut être, par exemple, l'âge `35` de la caractéristique catégorique `age`. auto : cette stratégie se base sur le nombre d'arbres défini dans le champ Number of trees in the forest de la vue Basic settings. Cette stratégie est celle par défaut. Si le nombre d'arbre est `1`, la stratégie est all. Si ce nombre est supérieur à `1`, la stratégie est sqrt. all : le nombre total de caractéristiques est considéré pour la division. sqrt : le nombre de caractéristiques à considérer est la racine carrée du nombre total de caractéristiques. log2 : le nombre de caractéristiques à considérer est le résultat de log₂(M), dans lequel M est le nombre total de caractéristiques.
Max bins	Saisissez la valeur numérique indiquant le nombre maximal de bins utilisés pour diviser les caractéristiques. Les caractéristiques continues sont automatiquement transformées pour trier les caractéristiques discrètes.
Minimum information gain	Saisissez le nombre minimum de gains d'information à attendre d'un nœud parent vers ses nœuds enfants. Lorsque le nombre de gains d'information est inférieur au nombre minimum, la division des nœuds est arrêtée. La valeur minimum par défaut du nombre de gains d'information est 0.0, ce qui signifie qu'aucune information supplémentaire n'est obtenue en divisant un nœud donné. Par conséquent, la division peut être arrêtée. Pour plus d'informations concernant le calcul du gain d'information, consultez Impurity and Information gain (uniquement en anglais) dans la documentation Spark (en anglais).
Min instances per node	Saisissez le nombre minimal d'instances d'apprentissage qu'un nœud doit avoir pour qu'il soit valide pour une division ultérieure. La valeur par défaut est 1, ce qui signifie que, lorsqu'un nœud contient seulement 1 ligne de données d'apprentissage, sa division s'arrête.
Impurity	Sélectionnez la mesure utilisée pour obtenir la meilleure division de chaque ensemble de divisions. gini : fréquence à laquelle un élément peut être nommé de manière incorrecte dans une division. entropy : combien peuvent être imprévisibles les informations dans chaque division. Pour plus d'informations concernant le calcul de chaque mesure, consultez Impurity measures (uniquement en anglais), dans la documentation Spark (en anglais).
Set a random seed	Saisissez le numéro de graine aléatoire à utiliser pour le bootstrapping et choisissez les sous-ensembles de caractéristiques.
Configuration de Data Stewardship	Disponible lorsque la case Integration with Data Stewardship est cochée dans la vue Basic settings. Campaign Name : Il affiche le nom technique de la campagne une fois la campagne sélectionnée. Cependant, vous pouvez modifier la valeur du champ afin de la remplacer par un paramètre de contexte par exemple, et passer les variables de contexte à un Job au moment de l'exécution. Ce nom technique est toujours utilisé pour identifier une campagne lorsque le Job communique avec Talend Data Stewardship quelle que soit la valeur du champ Campaign. Batch Size : spécifiez le nombre d'enregistrements à traiter dans chaque lot. Ne modifiez pas la valeur par défaut, à moins de rencontrer un problème de performance. Augmenter la taille des lots peut améliorer les performances mais paramétrer une valeur trop haute peut causer des échecs dans les Jobs.

Utilisation

Règle d'utilisation	Ce composant est utilisé comme étape intermédiaire. Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.
Connexion à Spark Batch	Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers : Yarn mode (Yarn Client ou Yarn Cluster) : Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration. Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration. Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration. Lorsque vous utilisez Qubole, ajoutez tS3Configuration à votre Job pour écrire vos données métier dans le système S3 avec Qubole. Sans tS3Configuration, ces données métier sont écrites dans le système Qubole HDFS et détruites une fois que vous arrêtez votre cluster. Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration (en anglais). Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch (en anglais). Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem). Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Règle d'utilisation

Ce composant est utilisé comme étape intermédiaire.

Ce composant, ainsi que la Palette Spark Batch à laquelle il appartient, ne s'affiche que lorsque vous créez un Job Spark Batch.

Connexion à Spark Batch

Dans l'onglet Spark Configuration de la vue Run, définissez la connexion à un cluster Spark donné pour le Job complet. De plus, puisque le Job attend ses fichiers .jar dépendants pour l'exécution, vous devez spécifier le répertoire du système de fichiers dans lequel ces fichiers .jar sont transférés afin que Spark puisse accéder à ces fichiers :

Yarn mode (Yarn Client ou Yarn Cluster) :
- Lorsque vous utilisez Google Dataproc, spécifiez un bucket dans le champ Google Storage staging bucket de l'onglet Spark configuration.
- Lorsque vous utilisez HDInsight, spécifiez le blob à utiliser pour le déploiement du Job, dans la zone Windows Azure Storage configuration de l'onglet Spark configuration.
- Lorsque vous utilisez Altus, spécifiez le bucket S3 ou le stockage Azure Data Lake Storage (aperçu technique) pour le déploiement du Job, dans l'onglet Spark configuration.
- Lorsque vous utilisez Qubole, ajoutez tS3Configuration à votre Job pour écrire vos données métier dans le système S3 avec Qubole. Sans tS3Configuration, ces données métier sont écrites dans le système Qubole HDFS et détruites une fois que vous arrêtez votre cluster.
- Lorsque vous utilisez des distributions sur site (on-premises), utilisez le composant de configuration correspondant au système de fichiers utilisé par votre cluster. Généralement, ce système est HDFS et vous devez utiliser le tHDFSConfiguration (en anglais).
Standalone mode : utilisez le composant de configuration correspondant au système de fichiers que votre cluster utilise, comme le tHDFSConfiguration Apache Spark Batch ou le tS3Configuration Apache Spark Batch (en anglais).

Si vous utilisez Databricks sans composant de configuration dans votre Job, vos données métier sont écrites directement dans DBFS (Databricks Filesystem).

Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici