Apache Spark StreamingのtMatchIndexPredictプロパティ

[Define a storage configuration component] (ストレージ設定コンポーネントを定義)

HDFSなどのターゲットファイルシステムへの接続の設定情報を提供するために使用する設定コンポーネントを選択します。

このチェックボックスをオフにすると、ターゲットファイルシステムはローカルシステムになります。

使用する接続設定は同じジョブ内にあることが必要です。たとえば、tHDFSConfigurationコンポーネントをジョブにドロップした場合は、このコンポーネントを選択して、所定のHDFSシステム内で結果を書き込むことができます。

[Schema] (スキーマ)と[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

出力スキーマを手動で編集して、フィールドを含む必要なカラムをルックアップデータから追加する必要があります。

このコンポーネントの出力スキーマには、読み取り専用カラムが含まれています。

[LABEL] (ラベル): [Possible matches] (可能性があるマッチング)出力リンクでのみ使用します。

CONFIDENCE_SCORE: ペアの予測トラストスコアを示します。

[ElasticSearch configuration] (ElasticSearch設定)

[Nodes] (ノード): 使用するElasticsearchシステムをホストしているクラスターのロケーションを入力します。

[Index] (インデックス): ルックアップデータが保存されているElasticsearchインデックスの名前を入力します。

TalendのコンポーネントでサポートされているElasticsearchのバージョンは、Spark Streamingジョブでは6.4.xで、Spark Batchジョブでは7.xと8.xです。

モデル

[Pairing model folder] (ペアリングモデルフォルダー): tMatchPairingコンポーネントで生成したモデルファイルが含まれたフォルダーへのパスを設定するために使われます。

[Matching model location] (マッチングモデルの場所): [From file system] (ファイルシステムから)を選択し、tMatchModelコンポーネントを使って、分類ジョブによって生成されたモデルファイルを取得します。

[Matching model folder] (マッチングモデルフォルダー): tMatchModelコンポーネントによって生成されたモデルファイルのフォルダーのパスを設定するために使われます。

[No-match label] (マッチングなしラベル): 出力内のユニークなレコードに使用するラベルを入力します。

特定のファイルシステム(S3またはHDFSなど)にモデルを保存する場合は、ジョブで対応するコンポーネントを使用し、コンポーネントの基本設定で[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにする必要があります。

参照用のボタンはSpark Localモードでは機能しません。お使いのディストリビューションで、Talend Studioがサポートしているその他のSpark Yarnモードを使用している場合は、同じジョブ内の設定コンポーネントで接続を適切に設定したことを確認する必要があります。使用されるファイルシステムに応じて設定コンポーネントを使用します。

[Maximum ElasticSearch bulk size] (ElasticSearchの最大バルクサイズ)

バルク処理の最大レコード数。

tMatchIndexPredictでは、大きなデータバッチをElasticsearchでインデックスが作成されているルックアップデータとすばやく比較できるように、バルクモードを使用してデータを処理します。

デフォルト値をそのまま使用することをお勧めします。ジョブ実行がエラーで終わる場合は、このパラメーターの値を小さくします。

デフォルト値をそのまま使用することをお勧めします。より低い値によってタイムアウトエラーが発生することがあります。

使用ルール

このコンポーネントは中間ステップとして使用されます。

このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。