Apache Spark StreamingのtHMapRecordプロパティ

これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtHMapRecordを設定するために使われます。

Spark Streaming tHMapRecordコンポーネントは、変換処理ファミリーに属しています。

このフレームワーク内のコンポーネントは、Talend Real-Time Big Data PlatformおよびTalend Data Fabricで使用できます。

基本設定

[Storage] (ストレージ)	HDFS環境に接続するには、[Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにし、ドロップダウンリストの中から使用するコンポーネントの名前を選択します。 tHDFSConfigurationコンポーネントのドキュメンテーションで説明されているように、このオプションを有効にするには、使用するHDFS環境への接続をあらかじめ設定しておく必要があります。 [Define a storage configuration component] (ストレージ設定コンポーネントを定義)チェックボックスをオンにしない場合、ファイルをローカルでしか変換できません。
[Open Map Editor] (マップエディターを開く)	[...]ボタンをクリックして[Structure Generate/Select] (ストラクチャーの生成/選択)ウィザードを開きます。まず、作成するマップのタイプを選択できます。標準マップ: xQueryに基づいてファンクションを使ってマッピングを実行するマップ Availability-noteBeta DSQLマップ: マップはData Shaping Query Languageを使ってマッピングを実行します。 [Don't ask me again] (今後は確認しない)チェックボックスを選択すると、この選択を保存できます。これらのマップの詳細は、マップを使って作業をご覧ください。情報メモ注: このオプションは、Talendが提供するR2023-10以降のStudioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。ここでは、スキーマを基に階層マッパーストラクチャーを自動生成したり、既存の階層マッパーストラクチャーを選択したりできます。マップの入出力側双方でこの操作を実行してください。以下に、出力ストラクチャーのオプションを示します。 [Generate hierarchial mapper structure based on the schema] (スキーマを基に階層マッパー構造を生成する)オプション: 複数の出力接続をtHMapに接続する場合、マッパー構造が出力接続を基に生成されたことを伝える確認メッセージがページに表示されます。 [Select an existing hierarchical mapper structure] (既存の階層マッパー構造を選択)オプション: ペイロードベースの接続である複数の出力をtHMapに接続できます。単一のペイロードタイプの接続がある場合は、[Allow support for multiple output connections] (複数の出力接続のサポートを許可する)チェックボックスをオンにできます。生成された出力マップは既存のペイロードストラクチャーから継承されます。使用可能な複数の接続がTalend Studioによって検出されると、ウィンドウには両方の出力ストラクチャーオプションが表示され、複数の出力接続のサポート用のチェックボックスは表示されません。入力接続または出力接続のいずれもない場合は、[Sructure Selection] (ストラクチャーの選択)ページが表示されます。
マップをスキーマ接続で同期化	次のいずれかの変更後にマップの入力ストラクチャーと出力ストラクチャーを自動的に再生成する場合は、このチェックボックスを選択します。接続メタデータを変更入力接続または出力接続を追加入力接続または出力接続を削除接続が有効化されても無効化されても、変化は検出されません。このチェックボックスを選択すると、マップを変更後にコンポーネントから開いた時に、このマップが自動的に同期されます。同期されない場合は、同期するかどうかを尋ねるダイアログが表示されます。情報メモ注: 複数の接続を持つストラクチャーの場合、コンポーネント設定ウィザードで生成されたものと同じ形式のストラクチャーでなければマップを同期させることはできません。たとえば、複数の出力を持つフラット化マップを自動的に同期させることはできません。
Map Path	[...]をクリックして既存のマップを選択します。ウィンドウには、Talend Data Mapperの[Hierarchical Mapper] (階層マッパー)ビューからマップを選択できるウィザードが表示されます。
[Die on error] (エラー発生時に強制終了)	このチェックボックスを選択すると、エラー発生時にジョブの実行が停止されます。このチェックボックスをオフにすると、エラーをスキップしてジョブの実行プロセスを続行できます。

詳細設定

[Use old Eclipse runtime] (古いEclipseランタイムを使用) (非推奨)	古いEclipseランタイムをジョブに含める場合は、このチェックボックスを選択します。情報メモ注: このオプションは、Talendが提供するR2024-03以降のTalend Studioマンスリーアップデートをインストール済みである場合のみ利用できます。詳細は管理者にお問い合わせください。

使用方法

使用ルール	このコンポーネントは、HDFSストレージへの接続を定義するtHDFSConfigurationコンポーネントと一緒に使用するか、ローカルファイルのみのマッピング用にスタンドアロンとして使用します。
ドラッグ＆ドロップ機能	[Data Mapping] (データマッピング)ビューに既存のtHMapRecordマップがある場合は、マップを簡単にドラッグ&ドロップできます。 tHMapRecordマップをデザインワークスペースにドラッグ&ドロップすると、tHMapRecordコンポーネントが自動的に作成されます tHMapRecordマップを既存のtHMapRecordコンポーネントにドラッグ&ドロップすると、コンポーネントのラベルとマップ参照が自動的にアップデートされます
Talend Runtimeとの使用	データマッピングコンポーネントが含まれているジョブやルートを Talend Runtimeと共にデプロイしたい場合は、まずTalend Data Mapper機能をインストールする必要があります。詳細は、 Talend Runtimeと共にTalend Data Mapperを使用をご覧ください。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください