# tMatchPredict

疑わしいレコードを自動的にラベル付けし、コンポーネントプロパティのラベルセットにマッチする疑わしいレコードをグルーピングします。

tMatchPredictでは、tMatchPairingおよびtMatchModelコンポーネントによって生成されたペアリングおよびマッチングモデルに基づいて、疑わしいペアのラベル付けを行います。

新しい入力データで、ペアリングされていない場合は、入力データを[unpaired] (ペアリングなし)として定義し、ペアリングモデルフォルダーのパスを設定して、厳密な重複とユニークレコードを分離できます。

tMatchPredictでは、新しいデータセットからユニークレコード、厳密な重複、および疑わしい重複を出力することもできます。

ローカルモードでは、Apache Spark 2.4.0以降のバージョンがサポートされています。

デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。 詳細は、[機能マネージャーを使って機能をインストール](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/install-features-to-talend-studio)をご覧ください。

## Apache Spark BatchのtMatchPredictプロパティ

これらのプロパティは、[Spark Batch]ジョブのフレームワークで実行されているtMatchPredictを設定するために使われます。

[Spark Batch]のtMatchPredictコンポーネントは、データクオリティファミリーに属しています。

このコンポーネントは、ビッグデータ対応のTalend製品およびTalend Data Fabricで利用できます。

DatabricksでtMatchPredictコンポーネントを実行する時、[Databricks Runtime Version] (Databricksランタイムバージョン)はX.X LTS MLに設定されている必要があります。

## 基本設定

| プロパティ | 説明 |
| --- | --- |
| [Define a storage configuration component] (ストレージ設定コンポーネントを定義) | HDFSなどのターゲットファイルシステムへの接続の設定情報を提供するために使用する設定コンポーネントを選択します。<br><br>このチェックボックスをオフにすると、ターゲットファイルシステムはローカルシステムになります。<br><br>使用する接続設定は同じジョブ内にあることが必要です。たとえば、tHDFSConfigurationコンポーネントをジョブにドロップした場合は、このコンポーネントを選択して、所定のHDFSシステム内で結果を書き込むことができます。 |
| [Schema] (スキーマ)と[Edit Schema] (スキーマを編集) | <ul> <li> <p>スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語の<kbd>line</kbd>を避けます。</p> <p>ジョブで接続している先行コンポーネントからスキーマを取得するためには、<span>[Sync columns] (カラムを同期)</span>をクリックします。</p> <p>スキーマを変更するには<span>[Edit schema] (スキーマを編集)</span>をクリックします。現在のスキーマが<span>リポジトリー</span>タイプの場合は、3つのオプションを利用できます。</p> <ul> <li> <p> <span>[View schema] (スキーマを表示)</span>: スキーマのみを表示する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Change to built-in property] (組み込みのプロパティに変更)</span>: ローカルで変更を行うためにスキーマを<span>組み込み</span>に変更する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Update repository connection] (リポジトリー接続をアップデート)</span>: リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。</p> <p>変更を現在のジョブにのみ反映する場合は、変更後、<span>[No] (いいえ)</span>を選択し、<span>[Repository Content] (リポジトリーコンテンツ)</span>ウィンドウで再びこのスキーマのメタデータを選択します。</p> </li> </ul> <p>このコンポーネントの出力スキーマには、出力リンクに読み取り専用のカラムがあります:</p> <p> <span>[LABEL] (ラベル)</span>: <em>[Suspect duplicates] (疑わしい重複)</em>リンクでのみ使用されます。ここで予測ラベルが保持されます。 </p> <p> <span>[COUNT] (カウント)</span>: <em>[Exact duplicates] (厳密な重複)</em>出力リンクでのみ使用されます。ここで厳密な重複の数が保持されます。 </p> <p> <span>[GROUPID]</span>: <em>[Suspect duplicates] (疑わしい重複)</em>リンクでのみ使用されます。ここでグループ識別コードが保持されます。</p> <p> <span>CONFIDENCE_SCORE</span>: ペアまたはクラスターの予測トラストスコアを示します。<span>[Clustering classes] (クラスタリングクラス)</span>ラベルを設定すると、トラストスコアがクラスター内の各ペアに対して計算されます。出力カラムのトラストスコアは最も低いスコアです。</p> </li> <li> <p> <span>[Built-in] (組み込み)</span>: そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。</p> </li> <li> <p> <span>[Repository] (リポジトリー)</span>: スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。</p> </li> </ul> |
| [Pairing] (ペアリング) | [Input type] (入力タイプ)リストから、以下を選択します:<br><br>[paired] (ペアリング済み): tMatchPairingコンポーネントによって生成された疑わしい重複を入力として使用します。<br><br>[unpaired] (ペアリングなし): tMatchPairingによってペアリングされていない新しいデータセットを入力として使用します。<br><br>[Pairing model folder] (ペアリングモデルフォルダー): ([unpaired] (ペアリングなし)入力タイプでのみ使用可能)tMatchPairingコンポーネントによって生成されるモデルファイルのフォルダーのパスを設定するために使われます。<br><br>参照用のボタンはSpark Localモードでは機能しません。お使いのディストリビューションで、Talend Studioがサポートしているその他のSpark Yarnモードを使用している場合は、同じジョブ内の設定コンポーネントで接続を適切に設定したことを確認する必要があります。使用されるファイルシステムに応じて設定コンポーネントを使用します。<br><br>詳細は、[tMatchPairing](https://help.qlik.com/talend/ja-JP/data-matching/8.0/tmatchpairing)をご覧ください。 |
| マッチング | [Matching model location] (マッチングモデルの場所): tMatchModelコンポーネントを使用して、分類ジョブによって生成されたモデルファイルを取得する場所をリストから選択します。<br><br>- [from file system] (ファイルシステムから): 分類コンポーネントによって生成されるモデルファイルのフォルダーのパスを設定するために使われます。詳細は、[tMatchModel](https://help.qlik.com/talend/ja-JP/data-matching/8.0/tmatchmodel)をご覧ください。<br><br>[from current Job] (現在のジョブから): 分類コンポーネントによって生成されるモデルファイルの名前を設定するために使われます。このオプションを使用できるのは、tMatchModelコンポーネントを持つ分類ジョブがtMatchPredictコンポーネントを使用してジョブに統合されている場合に限られます。<br><br>[Matching model folder] (マッチングモデルフォルダー): tMatchModelコンポーネントによって生成されたモデルファイルのフォルダーのパスを設定するために使われます。<br><br>参照用のボタンはSpark Localモードでは機能しません。お使いのディストリビューションで、Talend Studioがサポートしているその他のSpark Yarnモードを使用している場合は、同じジョブ内の設定コンポーネントで接続を適切に設定したことを確認する必要があります。使用されるファイルシステムに応じて設定コンポーネントを使用します。<br><br>詳細は、[tMatchModel](https://help.qlik.com/talend/ja-JP/data-matching/8.0/tmatchmodel)をご覧ください。 |
| [Clustering classes] (クラスタリングクラス) | tMatchPairingで生成されたサスペクトのサンプルで使用した1つまたは複数のラベルをテーブルに追加します。<br><br>次に、コンポーネントでは、テーブルに設定されているラベルにマッチする疑わしいレコードがグルーピングされます。<br><br>Talend Data Stewardshipを使用してサスペクトレコードのサンプルにラベル付けした場合は、グルーピングキャンペーンで定義した答をテーブルに追加します。<br><br>フィールドでは大文字と小文字が区別されます。 |

## 詳細設定

| プロパティ | 説明 |
| --- | --- |
| [Set Checkpoint Interval] (チェックポイント間隔の設定) | チェックポイントの頻度を設定するために使われます。これはデフォルト値(2)をそのまま使用することが推奨されています。<br><br>このパラメーターの値を設定する前に、チェックポイントをアクティブにし、[Run] (実行)ビューの[Spark configuration] (Spark設定)タブでチェックポイントディレクトリーを設定するために使われます。<br><br>チェックポインティングの詳細は、[Apache Sparkジョブのロギングとアクティビティのチェックポインティング](https://help.qlik.com/talend/ja-JP/components/8.0/spark-batch/logging-and-checkpointing-activities-of-your-apache-spark-job-spark-batch-component-if-you)をご覧ください。 |

## 使用方法

| 使用方法のガイダンス | 説明 |
| --- | --- |
| **使用ルール** | このコンポーネントは中間ステップとして使用されます。<br><br>このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。<br><br>特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
| [Spark Batch Connection] (Spark Batch接続) | [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。<br><br><ul> <li> <div> <span>Yarnモード</span>(YarnクライアントまたはYarnクラスター):<ul> <li> <p>Google Dataprocを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Google Storage staging bucket] (Google Storageステージングバケット)</span>フィールドにバケットを指定します。</p> </li> <li> <p>HDInsightを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Windows Azure Storage configuration] (Windows Azure Storage設定)</span>エリアでジョブのデプロイメントに使用するブロブを指定します。</p> </li> <li>Altusを使用する場合は、<span>[Spark configuration] (Spark設定)</span>タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。</li> <li> <p>オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、<a href="https://help.qlik.com/talend/r/ja-JP/8.0/hdfs/thdfsconfiguration" target="_blank">tHDFSConfiguration</a>を使用します。</p> </li> </ul> </div> </li> <li> <p> <span>[Standalone mode] (スタンドアロンモード)</span>: クラスターで使われているファイルシステム(<a href="https://help.qlik.com/talend/r/ja-JP/8.0/hdfs/thdfsconfiguration-properties-for-apache-spark-batch" target="_blank">tHDFSConfiguration Apache Spark Batch</a>や<a href="https://help.qlik.com/talend/r/ja-JP/8.0/amazon-s3/ts3configuration-properties-for-apache-spark-batch" target="_blank">tS3Configuration Apache Spark Batch</a>など)に対応する設定コンポーネントを使用します。</p> <p>ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。</p> </li> </ul><br><br>この接続は、ジョブごとに有効になります。 |