Ajouter une campagne Grouping pour identifier les paires de doublons

Une campagne Grouping définit une liste de choix possibles d'arbitrage pour des paires ou des groupes d'enregistrements. Le résultat d'une tâche de regroupement est le choix effectué par les data stewards sur les groupes d'enregistrements.

Un cas d'utilisation typique pour cette campagne : libeller les paires des doublons suspects dans le contexte de rapprochement de grands volumes de données, à l'aide de l'apprentissage automatique dans Spark. Un autre cas d'utilisation : identifier les groupes de doublons potentiels avant de les envoyer dans une campagne Merging où des data stewards pourront fusionner les doublons dans des enregistrements maître.

La campagne Grouping de cet exemple est utilisée dans un processus d'apprentissage automatique dans Spark. Elle permet d'identifier des doublons dans un échantillon de données extrait d'une longue liste de centres d'éducation de Chicago, provenant de dix sources de données différentes. Cette étape du rapprochement de données vient après le calcul des doublons suspects dans la liste des agences, en utilisant le composant tMatchPairing.

Une fois que les gestionnaires de campagnes ont créé la campagne, les data stewards doivent regarder l'échantillon de données et décider si les paires d'enregistrements sont des doublons.