Apache Spark BatchのtMatchPredictプロパティ

[Define a storage configuration component] (ストレージ設定コンポーネントを定義)

HDFSなどのターゲットファイルシステムへの接続の設定情報を提供するために使用する設定コンポーネントを選択します。

このチェックボックスをオフにすると、ターゲットファイルシステムはローカルシステムになります。

使用する接続設定は同じジョブ内にあることが必要です。たとえば、tHDFSConfigurationコンポーネントをジョブにドロップした場合は、このコンポーネントを選択して、所定のHDFSシステム内で結果を書き込むことができます。

[Schema] (スキーマ)と[Edit Schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

このコンポーネントの出力スキーマには、出力リンクに読み取り専用のカラムがあります:

[LABEL] (ラベル): [Suspect duplicates] (疑わしい重複)リンクでのみ使用されます。ここで予測ラベルが保持されます。

[COUNT] (カウント): [Exact duplicates] (厳密な重複)出力リンクでのみ使用されます。ここで厳密な重複の数が保持されます。

[GROUPID]: [Suspect duplicates] (疑わしい重複)リンクでのみ使用されます。ここでグループ識別コードが保持されます。

CONFIDENCE_SCORE: ペアまたはクラスターの予測トラストスコアを示します。[Clustering classes] (クラスタリングクラス)ラベルを設定すると、トラストスコアがクラスター内の各ペアに対して計算されます。出力カラムのトラストスコアは最も低いスコアです。

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Pairing] (ペアリング)

[Input type] (入力タイプ)リストから、以下を選択します:

[paired] (ペアリング済み): tMatchPairingコンポーネントによって生成された疑わしい重複を入力として使用します。

[unpaired] (ペアリングなし): tMatchPairingによってペアリングされていない新しいデータセットを入力として使用します。

[Pairing model folder] (ペアリングモデルフォルダー): ([unpaired] (ペアリングなし)入力タイプでのみ使用可能)tMatchPairingコンポーネントによって生成されるモデルファイルのフォルダーのパスを設定するために使われます。

参照用のボタンはSpark Localモードでは機能しません。お使いのディストリビューションで、Talend Studioがサポートしているその他のSpark Yarnモードを使用している場合は、同じジョブ内の設定コンポーネントで接続を適切に設定したことを確認する必要があります。使用されるファイルシステムに応じて設定コンポーネントを使用します。

詳細は、tMatchPairingをご覧ください。

マッチング

[Matching model location] (マッチングモデルの場所): tMatchModelコンポーネントを使用して、分類ジョブによって生成されたモデルファイルを取得する場所をリストから選択します。

- [from file system] (ファイルシステムから): 分類コンポーネントによって生成されるモデルファイルのフォルダーのパスを設定するために使われます。詳細は、tMatchModelをご覧ください。

[from current Job] (現在のジョブから): 分類コンポーネントによって生成されるモデルファイルの名前を設定するために使われます。このオプションを使用できるのは、tMatchModelコンポーネントを持つ分類ジョブがtMatchPredictコンポーネントを使用してジョブに統合されている場合に限られます。

[Matching model folder] (マッチングモデルフォルダー): tMatchModelコンポーネントによって生成されたモデルファイルのフォルダーのパスを設定するために使われます。

参照用のボタンはSpark Localモードでは機能しません。お使いのディストリビューションで、Talend Studioがサポートしているその他のSpark Yarnモードを使用している場合は、同じジョブ内の設定コンポーネントで接続を適切に設定したことを確認する必要があります。使用されるファイルシステムに応じて設定コンポーネントを使用します。

詳細は、tMatchModelをご覧ください。

[Clustering classes] (クラスタリングクラス)

tMatchPairingで生成されたサスペクトのサンプルで使用した1つまたは複数のラベルをテーブルに追加します。

次に、コンポーネントでは、テーブルに設定されているラベルにマッチする疑わしいレコードがグルーピングされます。

Talend Data Stewardshipを使用してサスペクトレコードのサンプルにラベル付けした場合は、グルーピングキャンペーンで定義した答をテーブルに追加します。

フィールドでは大文字と小文字が区別されます。

[Set Checkpoint Interval] (チェックポイント間隔の設定)

チェックポイントの頻度を設定するために使われます。これはデフォルト値(2)をそのまま使用することが推奨されています。

このパラメーターの値を設定する前に、チェックポイントをアクティブにし、[Run] (実行)ビューの[Spark configuration] (Spark設定)タブでチェックポイントディレクトリーを設定するために使われます。

チェックポインティングの詳細は、Apache Sparkジョブのロギングとアクティビティのチェックポインティングをご覧ください。

使用ルール

このコンポーネントは中間ステップとして使用されます。

このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。

[Spark Batch Connection] (Spark Batch接続)

この接続は、ジョブごとに有効になります。