Accéder au contenu principal

Calculer des paires suspectes et écrire un échantillon dans Talend Data Stewardship

Ce scénario s'applique uniquement aux produits Talend Platform avec Big Data et à Talend Data Fabric.

Trouver des enregistrements en doublon est difficile et prend beaucoup de temps, particulièrement lorsque vous traitez un grand volume de données. Dans cet exemple, le tMatchPairing utilise une clé de bloc pour calculer les paires de doublons suspects dans une longue liste de centres d'éducation de la petite enfance, à Chicago, provenant de dix sources différentes.

Il calcule également un échantillon de doublons suspects et les écrit sous forme de tâche dans une campagne Grouping dans Talend Data Stewardship. Des data stewards autorisé·e·s peuvent intervenir sur l'échantillon de données et décider si les paires suspectes sont des doublons.

Vous pouvez utiliser l'échantillon libellé afin de calculer un modèle de rapprochement et l'appliquer à tous les doublons suspects, dans le contexte de l'apprentissage automatique dans Spark.

Pour reproduire l'exemple décrit ci-après, récupérez le fichier tmatchpairing_load_suspect_pairs_in_tds.zip depuis l'onglet Téléchargements du panneau de gauche de la page.

Avant de configurer le Job, vérifiez que :
  • - dans Talend Administration Center, un rôle Campaign Owner doit vous avoir été assigné, ce qui vous permet d'accéder aux campagnes du serveur.

  • - vous avez créé la campagne Grouping dans Talend Data Stewardship et avez défini le schéma correspondant à la structure du fichier des centres d'éducation.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.