tHMapRecord
Talend Data Mapperマップを実行します。この場合、Spark Streamingの実行として入力ストラクチャーと出力ストラクチャーが異なる場合があります。
tHMapRecordは、Spark環境で、アップストリームコンポーネントからの1つの入力接続と、他のコンポーネントへの1つ以上の出力接続を受け取ります。
Apache Spark StreamingのtHMapRecordプロパティ
これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtHMapRecordを設定するために使われます。
Spark Streaming tHMapRecordコンポーネントは、変換処理ファミリーに属しています。
このフレームワーク内のコンポーネントは、Talend Real-Time Big Data PlatformおよびTalend Data Fabricで利用できます。
基本設定
| プロパティ | 説明 |
|---|---|
|
[Storage] (ストレージ) |
HDFS環境に接続するには、[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにし、ドロップダウンリストの中から使用するコンポーネントの名前を選択します。 tHDFSConfigurationコンポーネントのドキュメンテーションで説明されているように、このオプションを有効にするには、使用するHDFS環境への接続をあらかじめ設定しておく必要があります。 [Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにしない場合、ファイルをローカルでしか変換できません。 |
|
[Open Map Editor] (マップエディターを開く) |
[...]ボタンをクリックして[Structure Generate/Select] (ストラクチャーの生成/選択)ウィザードを開きます。 まず、作成するマップのタイプを選択できます。
情報メモ注: このオプションは、Talendが提供するR2023-10以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。
ここでは、スキーマを基に階層マッパーストラクチャーを自動生成したり、 既存の階層マッパーストラクチャーを選択したりできます。マップの入出力側双方でこの操作を実行してください。以下に、出力ストラクチャーのオプションを示します。
使用可能な複数の接続がTalend Studioによって検出されると、ウィンドウには両方の出力ストラクチャーオプションが表示され、複数の出力接続のサポート用のチェックボックスは表示されません。 入力接続または出力接続のいずれもない場合は、[Sructure Selection] (ストラクチャーを選択)ページが表示されます。 |
|
マップをスキーマ接続で同期化 |
次のいずれかの変更後にマップの入力ストラクチャーと出力ストラクチャーを自動的に再生成する場合は、このチェックボックスをオンにします。
このチェックボックスをオンにすると、マップを変更後にコンポーネントから開いた時に、このマップが自動的に同期されます。同期されない場合は、同期するかどうかを尋ねるダイアログが表示されます。
情報メモ注: 複数の接続を持つストラクチャーの場合、コンポーネント設定ウィザードで生成されたものと同じ形式のストラクチャーでなければマップを同期させることはできません。たとえば、複数の出力を持つフラット化マップを自動的に同期させることはできません。
|
| Map Path |
[...]をクリックして既存のマップを選択します。ウィンドウには、Talend Data Mapperの[Hierarchical Mapper] (階層マッパー)ビューからマップを選択できるウィザードが表示されます。 |
|
[Die on error] (エラー発生時に強制終了) |
このチェックボックスをオンにすると、エラー発生時にジョブの実行が停止されます。 このチェックボックスをオフにすると、エラーをスキップしてジョブの実行プロセスを続行できます。 |
詳細設定
| プロパティ | 説明 |
|---|---|
|
[Use old Eclipse runtime] (古いEclipseランタイムを使用) (非推奨) |
古いEclipseランタイムをジョブに含める場合は、このチェックボックスをオンにします。
情報メモ注: このオプションは、Talendが提供するR2024-03以降のTalend Studioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は、管理者にお問い合わせください。
情報メモ注: Talend Studio 8.0 R2025-04以降、[Use old Eclipse runtime] (古いEclipseランタイムを使用) (非推奨)パラメーターは削除されています。
|
使用方法
| 使用方法のガイダンス | 説明 |
|---|---|
| 使用ルール | このコンポーネントは、HDFSストレージへの接続を定義するtHDFSConfigurationコンポーネントと一緒に使用するか、ローカルファイルのみのマッピング用にスタンドアロンとして使用します。 |
| ドラッグ&ドロップ機能 | [Data Mapping] (データマッピング)ビューに既存のtHMapRecordマップがある場合は、マップを簡単にドラッグ&ドロップできます。
|
| Talend Runtimeとの使用 | データマッピングコンポーネントが含まれているジョブやルートを Talend Runtimeと共にデプロイしたい場合は、まずTalend Data Mapper機能をインストールする必要があります。詳細は、 Talend Runtimeと共にTalend Data Mapperを使用をご覧ください。 |