Choisir les métriques et définir les règles de rapprochement
Après avoir bloqué les données dans un groupe de la même taille, vous pouvez créer des règles de rapprochement et les tester avant de les utiliser dans le composant tMatchGroup.
Pour plus d'informations concernant la création d'une analyse de rapprochement, consultez le Guide d'utilisation du Studio Talend.
Rapprochement des fonctions dans le composant tMatchGroup
Le tMatchGroup permet de créer des groupes d'enregistrements de données similaires dans n'importe quelle source de données, y compris avec des données volumineuses, à l'aide d'une ou plusieurs règles de rapprochement.
- Des algorithmes phonétiques tels que Soundex ou Metaphone, qui sont utilisés pour rapprocher les noms.
- La distance de Levensthein, qui calcule le nombre minimum de modifications requises pour transformer une chaîne de caractères en une autre.
- La distance de Jaro, qui rapproche les entrées traitées en fonction des variations orthographiques.
- La distance de Jaro-Winkler, qui est une variante de la distance de Jaro et qui accorde plus d'importance au début de la chaîne de caractères.
Pour plus d'informations concernant l'utilisation du composant tMatchGroup dans des Jobs Standard et Map/Reduce, consultez tMatchGroup.
Algorithmes Simple VSR Matcher et T-Swoosh
- Le Simple VSR Matcher
- Le T-Swoosh
Pour plus d'informations concernant les analyses de rapprochement, consultez "Créer une règle de rapprochement" sur Talend Help Center.
Quand est-ce que les enregistrements se rapprochent ?
- Lorsque vous utilisez l'algortihme T-Swoosh, le score retourné pour chaque fonction de rapprochement doit être supérieur au seuil que vous avez défini.
- Le score global, score pondéré calculé d'après les différentes fonctions de rapprochement, doit être supérieur au seuil de rapprochement.
Multiples passes
En général, des schémas de partitionnement différents sont nécessaires. Cela requiert d'utiliser des composants tMatchGroup de façon séquentielle pour rapprocher les données avec différentes clés de bloc.
Pour un exemple de rapprochement de données via de multiples passes, consultez Correspondance de données via de multiples passes à l'aide de composants Map/Reduce.
Utilisation du composant tRecordMatching
Le tRecordMatching effectue une jointure entre les colonnes comparées du flux principal et les colonnes de référence du flux Lookup. En fonction de la stratégie de rapprochement que vous avez définie, le tRecordMatching écrit en sortie les données de rapprochement, les éventuelles données de rapprochement et les données rejetées. Au moment de définir votre stratégie de rapprochement, les scores de rapprochement définis par l'utilisateur ou l'utilisatrice sont cruciaux pour déterminer le niveau de rapprochement des données qui vous intéressent.
Pour plus d'informations concernant le composant tRecordMatching , consultez tRecordMatching.