Effectuer un rapprochement continu à l'aide du tMatchIndexPredict
Ce scénario s'applique uniquement aux produits Talend Platform avec Big Data et à Talend Data Fabric.
Après avoir indexé des données de référence dans Elasticsearch à l'aide du tMatchIndex, il n'est pas nécessaire de recommencer le processus de rapprochement depuis le début. Le composant tMatchIndexPredict compare de nouveaux enregistrements aux données indexées dans Elasticsearch.
Dans cet exemple, une liste de centres d'éducation centres d'éducation de la petite enfance, à Chicago, provenant de dix sources différentes, a été nettoyée, dédoublonnée et indexée dans Elasticsearch. Vous souhaitez effectuer un rapprochement entre de nouveaux enregistrements contenant des informations sur des centres d'éducation centres d'éducation de la petite enfance situés à Chicago, et le jeu de données de référence stocké dans Elasticsearch.
tMatchIndexPredict utilise un modèle permettant de constituer des paires d'enregistrements et un modèle de rapprochement afin de regrouper les enregistrements source et les enregistrements correspondants issus du jeu de données de référence indexé dans Elasticsearch, puis libeller ces paires suspectes.
tMatchIndexPredict écrit en sortie les doublons potentiels et les enregistrements uniques dans des fichiers séparés.
-
Vous avez généré un modèle permettant de calculer des paires d'enregistrement.
Pour des exemples de génération d'un modèle d'appairage, consultez Calcul de paires suspectes et d'un échantillon suspect à partir de données source et Calculer des paires suspectes et écrire un échantillon dans Talend Data Stewardship.
Vous trouverez un exemple de procédure pour générer un modèle permettant de calculer des paires d'enregistrements sur Talend Help Center (https://help.talend.com (uniquement en anglais)).
-
Vous avez généré un modèle de rapprochement.
Pour des exemples de génération d'un modèle de rapprochement, consultez Générer un modèle de rapprochement et Générer un modèle de rapprochement à partir d'une campagne Grouping.
Vous trouverez un exemple de génération d'un modèle permettant de rapprocher les données sur Talend Help Center (https://help.talend.com (uniquement en anglais)).
-
Des données nettoyées et dédoublonnées ont été indexées dans Elasticsearch afin de faire une mise en correspondance avec de nouveaux enregistrements et de déterminer s'il s'agit d'enregistrements uniques ou de doublons suspects.
Pour plus d'informations, consultez Indexation d'un jeu de données de référence dans Elasticsearch.
Vous trouverez un exemple d'indexation de données nettoyées et dédoublonnées sur Talend Help Center (https://help.talend.com (uniquement en anglais)).
-
Le cluster Elasticsearch en version 5+ doit être lancé.