tMatchIndex

継続的マッチングを目的に、ElasticSearchで、クリーンで重複除去されたデータセットをインデックス化します。

tMatchIndexコンポーネントを使用してElasticSearchでデータセットをインデックス化する前に、このデータセットに対し、マッチングタスクと重複除去タスクをすべて済ませておく必要があります。

tMatchPairingを使用して、ペアリングモデルを生成し、サスペクト重複のペアが計算済みであること。
サスペクトペアのサンプルに手動でラベル付けを済ませていること。またはTalend Data Stewardshipを使用してtMatchModelでマッチングモデルを生成済みであること。
tMatchPredictを使用して、ペアリングモデルとマッチングモデルをベースに、サスペクトペアのラベルを予測していること。
tRuleSurvivorshipを使用して、データセットをクリーン化し、重複除去していること。

以上が整えば、同じスキーマを持つ新しいデータレコードを取得する時に、マッチングプロセスをゼロから再開する必要はありません。継続的マッチングを目的に、tMatchIndexを使用してElasticSearchでクリーンなデータセットをインデックス化できます。

tMatchIndexコンポーネントは、バージョン6.4.2までのElasticsearchをサポートしています。

このコンポーネントは、Elasticsearch認証をサポートしていないため、Databricksでは実行できません。

ローカルモードでは、Apache Spark 2.4がサポートされています。

デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。詳細は、機能マネージャーを使って機能をインストールをご覧ください。

Apache Spark BatchのtMatchIndexプロパティ

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtMatchIndexを設定するために使われます。

Spark BatchのtMatchIndexコンポーネントは、データクオリティファミリーに属しています。

このフレームワークのコンポーネントは、すべてのビッグデータ対応のTalendプラットフォーム製品およびTalend Data Fabricで使用できます。

基本設定

[Define a storage configuration component] (ストレージ設定コンポーネントを定義)	HDFSなどのターゲットファイルシステムへの接続の設定情報を提供するために使用する設定コンポーネントを選択します。このチェックボックスをオフにすると、ターゲットファイルシステムはローカルシステムになります。使用する接続設定は同じジョブ内にあることが必要です。たとえば、tHDFSConfigurationコンポーネントをジョブにドロップした場合は、このコンポーネントを選択して、所定のHDFSシステム内で結果を書き込むことができます。
[Schema] (スキーマ)と[Edit Schema] (スキーマを編集)	スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語の`line`を避けます。ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。 [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。 [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。 [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。読み取り専用カラムが出力スキーマに追加されます。 INTERNAL_ID: このカラムには、入力データ内の各レコードに生成された識別子が含まれています。 BKV: このカラムには、入力データ内の各レコードに生成されたブロッキングキーの値が含まれています。 BEST_SUFFIX: このカラムには、ブロッキングキーの値から生成された最小のサフィックスが含まれています。サフィックスはレコードのグルーピングに使用されます。
	[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。
	[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。
[ElasticSearch configuration] (ElasticSearch設定)	[Nodes] (ノード): 使用するElasticsearchシステムをホストしているクラスターのロケーションを入力します。 [Index] (インデックス): ElasticSearch内に作成するインデックスの名前を入力します。 [Index] (インデックス)フィールドで指定したElasticSearchインデックスをクリーン化するには、[Reset index] (インデックスのリセット)チェックボックスをオンにします。 TalendのコンポーネントでサポートされているElasticsearchのバージョンは、Spark Streamingジョブでは6.4.xで、Spark Batchジョブでは7.xと8.xです。
[Pairing] (ペアリング)	[Pairing model folder] (ペアリングモデルフォルダー): tMatchPairingコンポーネントで生成したモデルファイルが含まれたフォルダーへのパスを設定するために使われます。特定のファイルシステム(S3またはHDFSなど)にモデルを保存する場合は、ジョブで対応するコンポーネントを使用し、コンポーネントの基本設定で[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにする必要があります。参照用のボタンはSpark Localモードでは機能しません。お使いのディストリビューションで、Talend Studioがサポートしているその他のSpark Yarnモードを使用している場合は、同じジョブ内の設定コンポーネントで接続を適切に設定したことを確認する必要があります。使用されるファイルシステムに応じて設定コンポーネントを使用します。

詳細設定

[Maximum ElasticSearch bulk size] (ElasticSearchの最大バルクサイズ)	バルクインデックス化の最大レコード数。 tMatchIndexでは、大きなデータバッチをElasticSearchですばやくインデックスを作成できるように、バルクモードを使用してデータをインデックス化します。デフォルト値をそのまま使用することをお勧めします。ジョブ実行がエラーで終わる場合は、このパラメーターの値を小さくします。

[Maximum ElasticSearch bulk size] (ElasticSearchの最大バルクサイズ)

バルクインデックス化の最大レコード数。

tMatchIndexでは、大きなデータバッチをElasticSearchですばやくインデックスを作成できるように、バルクモードを使用してデータをインデックス化します。

デフォルト値をそのまま使用することをお勧めします。ジョブ実行がエラーで終わる場合は、このパラメーターの値を小さくします。

使用方法

使用ルール	このコンポーネントは、終了コンポーネントとして使用され、入力リンクを必要とします。このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。
[Spark Batch Connection] (Spark Batch接続)	[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。 Yarnモード(YarnクライアントまたはYarnクラスター): Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。 HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。 Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。 [Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。この接続は、ジョブごとに有効になります。

使用ルール

このコンポーネントは、終了コンポーネントとして使用され、入力リンクを必要とします。

このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

[Spark Batch Connection] (Spark Batch接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。

Yarnモード(YarnクライアントまたはYarnクラスター):
- Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。
- HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。
- Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
- オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。
[Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください