Apache Spark StreamingのtHMapRecordプロパティ
これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtHMapRecordを設定するために使われます。
Spark Streaming tHMapRecordコンポーネントは、変換処理ファミリーに属しています。
このフレームワーク内のコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。
基本設定
|
[Storage] (ストレージ) |
HDFS環境に接続するには、[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにし、ドロップダウンリストの中から使用するコンポーネントの名前を選択します。 tHDFSConfigurationコンポーネントのドキュメンテーションで説明されているように、このオプションを有効にするには、使用するHDFS環境への接続をあらかじめ設定しておく必要があります。 [Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにしない場合、ファイルをローカルでしか変換できません。 |
|
Open Map Editor (マップエディターを開く) |
[...]ボタンをクリックして[tHMap Structure Generate/Select] (tHMapストラクチャーの生成/選択)ウィザードを開きます。このウィザードでは、スキーマを基に階層マッパーストラクチャーを自動生成したり、 既存の階層マッパーストラクチャーを選択したりできます。マップの入出力側双方でこの操作を実行してください。 複数の出力接続をtHMapに接続する場合、マッパー構造が出力接続を基に生成されたことを伝える確認メッセージがページに表示されます。 詳細は、 Talend Data Mapperユーザーガイドをご参照ください。 |
| [Map Path] (マップパス) |
[...]をクリックして既存のマップを選択します。ウィンドウには、Talend Data Mapperの[Hierarchical Mapper] (階層マッパー)ビューからマップを選択できるウィザードが表示されます。 |
|
[Die on error] (エラー発生時に強制終了) |
このチェックボックスを選択すると、エラー発生時にジョブの実行が停止されます。 このチェックボックスをオフにすると、エラーをスキップしてジョブの実行プロセスを続行できます。 |
使用方法
| 使用ルール | このコンポーネントは、HDFSストレージへの接続を定義するtHDFSConfigurationコンポーネントと一緒に使用するか、ローカルファイルのみのマッピング用にスタンドアロンとして使用します。 |
| ドラッグ＆ドロップ機能 | [Data Mapping] (データマッピング)ビューに既存のtHMapRecordマップがある場合は、マップを簡単にドラッグ&ドロップできます。
|
| Talend Runtimeとの使用 | データマッピングコンポーネントが含まれているジョブやルートを Talend Runtimeと共にデプロイしたい場合は、まずTalend Data Mapper機能をインストールする必要があります。詳細は、 Talend Runtimeと共にTalend Data Mapperを使用をご覧ください。 |