tMatchIndexPredictを使用して継続的マッチングを行う

このシナリオは、サブスクリプションベースのビッグデータ対応のTalendプラットフォーム製品およびTalend Data Fabricにのみ適用されます。

tMatchIndexを使用してElasticsearchでルックアップデータをインデックス化すると、マッチングプロセスをゼロから再開する必要がありません。tMatchIndexPredictコンポーネントは、新しいデータレコードをElasticsearchに保存されているルックアップと比較します。

この例では、シカゴの幼児教育センターにおける10種類の異なるソースからのリストが、Elasticsearchでクリーン化、重複除去され、インデックスが作成されています。シカゴの幼児教育センターに関する情報を含む新しいレコードを、Elasticsearchに保存されている参照データセットと照合してマッチングしようとしています。

tMatchIndexPredictはペアリングモデルと一致モデルを使用し、入力データからのレコードと、Elasticsearch内でインデックスが作成された参照データセットからのマッチングレコードをグルーピングし、サスペクトペアにラベル付けします。

tMatchIndexPredictは、重複している可能性のあるレコードとユニークなレコードを別々のファイルに出力します。