Apache Spark BatchのtHMapFileプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtHMapFileを設定するために使われます。
Spark BatchのtHMapFileコンポーネントは、変換処理ファミリーに属しています。
このコンポーネントは、ビッグデータ対応のTalend Platform製品およびTalend Data Fabricで利用できます。
基本設定
[Storage] (ストレージ) |
HDFS環境に接続するには、[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにし、ドロップダウンリストの中から使用するコンポーネントの名前を選択します。 tHDFSConfigurationコンポーネントのドキュメンテーションで説明されているように、このオプションを有効にするには、使用するHDFS環境への接続をあらかじめ設定しておく必要があります。 [Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにしない場合、ファイルをローカルでしか変換できません。 |
コンポーネントの設定 |
コンポーネントを設定するには、[...]ボタンをクリックし、[Component Configuration] (コンポーネントの設定)ウィンドウで次の手順を実行します。
|
[Input] (入力) |
[...]ボタンをクリックして、入力ファイル保存先へのパスを定義します。 |
[Output] (出力) |
[...]ボタンをクリックして、出力ファイル保存先へのパスを定義します。 |
アクション |
ドロップダウンリストから以下を選択します。
|
Open Map Editor (マップエディターを開く) |
[...]ボタンをクリックしてマップを開き、 Talend Data Mapper のマップエディターで編集を行います。 詳細は、 Talend Data Mapperユーザーガイドをご覧ください。 |
Die on error (エラー発生時に強制終了) |
このチェックボックスは、デフォルトで選択されています。 エラーの発生した行をスキップし、エラーが発生していない行の処理を完了するには、このチェックボックスをオフにします。 チェックボックスをオフにすると、以下のオプションが使えます:
情報メモ注: 拒否の保存中に発生したエラーはログに記録され、プロセスはそのまま続行します。
|
[Merge result to single file] (結果を1つのファイルにマージ) |
デフォルトでは、tHMapFileは複数のパーツファイルを作成します。これらのファイルを1つのファイルにマージするには、このチェックボックスを選択します。 ソースとターゲットファイルの管理では、次のオプションを使います:
情報メモ警告: このオプションをAvro出力で使うと、無効なAvroファイルが作成されます。各部分はAvroスキーマヘッダーで始まるため、マージされたファイルには複数のAvroスキーマがあり、これは無効です。
|
使用方法
使用ルール | このコンポーネントは、HDFSストレージへの接続を定義するtHDFSConfigurationコンポーネントと一緒に使用するか、ローカルファイルのみのマッピング用にスタンドアロンとして使用します。 |
Talend Runtimeとの使用 | データマッピングコンポーネントが含まれているジョブやルートを Talend Runtimeと共にデプロイしたい場合は、まずTalend Data Mapper機能をインストールする必要があります。詳細は、 Talend Runtimeと共にTalend Data Mapperを使用をご覧ください。 |