tMatchIndex
Ce composant indexe un jeu de données nettoyées et dédoublonnées dans ElasticSearch afin d'effectuer un rapprochement continu.
Avant d'indexer un jeu de données dans ElasticSearch à l'aide du composant tMatchIndex, vous devez avoir réalisé l'ensemble des opérations de rapprochement et de dédoublonnage :
- Vous avez généré un modèle permettant d'appairer les données et calculé les paires suspectes à l'aide du tMatchPairing.
- Vous avez libellé un échantillon manuellement ou en utilisant Talend Data Stewardship afin de générer un modèle de rapprochement à l'aide du tMatchModel.
- Vous avez prédit les libellés sur les paires suspectes selon le modèle de rapprochement et le modèles permettant d'appairer les données à l'aide du tMatchPredict.
- Vous avez nettoyé et dédupliqué le jeu de données à l'aide du tRuleSurvivorship.
Vous n'avez pas besoin de répéter le processus de rapprochement depuis le début lorsque vous avez de nouveaux enregistrement ayant le même schéma. Vous pouvez indexer le jeu de données nettoyées dans Elasticsearch à l'aide de tMatchIndex pour effectuer du rapprochement continu.
Le composant tMatchIndex supporte les versions d'Elasticsearch jusqu'à 6.4.2 et les versions 2.0, 2.1, 2.2, 2.3 et 2.4 d'Apache Spark en mode local.
Comme ce composant ne supporte pas l'authentification Elasticsearch, il ne peut s'exécuter sur Databricks.