Apache Spark BatchのtRecommendプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtRecommendを設定するために使われます。
Spark BatchのtRecommendコンポーネントは、機械学習ファミリーに属しています。
このフレームワークのコンポーネントは、すべてのビッグデータ対応のTalendプラットフォーム製品およびTalend Data Fabricで利用できます。
基本設定
| プロパティ | 説明 |
|---|---|
|
[Schema] (スキーマ)と[Edit Schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
自身で編集できるカラムは別として、product_IDカラムと[score] (スコア)カラムは読み取り専用であり、使われているリコメンダーモデルに基づいて計算されたユーザー設定に関するデータを保持するために使います。[score] (スコア)カラムは、特定のユーザーに対して製品がどの程度強く推奨されているかを示します。 |
|
[Define a storage configuration component] (ストレージ設定コンポーネントを定義) |
HDFSなどのターゲットファイルシステムへの接続の設定情報を提供するために使用する設定コンポーネントを選択します。 このチェックボックスをオフにすると、ターゲットファイルシステムはローカルシステムになります。 使用する接続設定は同じジョブ内にあることが必要です。たとえば、tHDFSConfigurationコンポーネントをジョブにドロップした場合は、このコンポーネントを選択して、所定のHDFSシステム内で結果を書き込むことができます。 |
|
[Input parquet model] (入力Parquetモデル) |
使用するリコメンダーモデルが保管されているディレクトリーを入力します。このディレクトリーは、ジョブが実行されるマシンにある必要があります。 参照用のボタンはSpark Localモードでは機能しません。お使いのディストリビューションで、Talend Studioがサポートしているその他のSpark Yarnモードを使用している場合は、同じジョブ内の設定コンポーネントで接続を適切に設定したことを確認する必要があります。使用されるファイルシステムに応じて設定コンポーネントを使用します。 このモデルはtALSModelコンポーネントによって生成する必要があります。 |
|
[Select the User Identity column] (ユーザーIDカラムの選択) |
入力カラムからユーザーIDデータを保持しているカラムを選択します。 このtRecommendコンポーネントには、使うリコメンダーモデルで認識されているユーザーと一致する入力ユーザーIDが必要です。 |
|
[Number of recommendations] (推奨の数) |
出力する最も推奨される製品の数を入力します。 これは数値であるため、二重引用符は使えません。 |
使用方法
| 使用方法のガイダンス | 説明 |
|---|---|
|
使用ルール |
このコンポーネントは中間ステップとして使用されます。 このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 このコンポーネントによって処理されるユーザーIDは、使うリコメンダーモデルに認識されている必要があります。ユーザーがリコメンダーモデルに認識されていない場合、対応する値がproduct_IDで、[score] (スコア)カラムはnullです。これにより、同じジョブでtRecommendを実行した後、tFilterRowコンポーネントを使って不明なユーザーに関するレコードを取得できます。 |
|
[MLlib installation] (MLlibのインストール) |
Sparkの機械学習ライブラリーであるMLlibはgfortran runtimeライブラリーを使うため、使うSparkクラスターのすべてのノードにこのライブラリーが既に存在することを確認する必要があります。 MLlibとこのライブラリーの詳細は、Sparkの関連ドキュメンテーションをご覧ください。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |