tMap MapReduceプロパティ(非推奨)
これらのプロパティは、MapReduceジョブのフレームワークで実行されているtMapを設定するために使われます。
MapReduce tMapコンポーネントは、変換処理ファミリーに属しています。
このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。
MapReduceのフレームワークは、Talend 7.3以降非推奨となります。Apache SparkのTalendジョブを使って、インテグレーションタスクを実行します。基本設定
|
[Map Editor] (マップエディター) |
tMapのルーティングと変換のプロパティを定義できます。
情報メモ注: 実行エラーの処理を避けるには、入力エリアの上部にある[Property Settings] (プロパティ設定)ボタンをクリックし、[Property Settings] (プロパティ設定)ダイアログボックスで[Die on error] (エラー発生時に強制終了)チェックボックスをオンにします(デフォルトでオン)。エラーが発生するとジョブが強制終了されます。
情報メモ注: 大量のデータを使用して複数のルックアップ入力フローを処理するジョブでデータ変換のパフォーマンスを最大化するには、[Property Settings] (プロパティ設定)ダイアログボックスで[Lookup in parallel] (並列ルックアップ)チェックボックスをオンにします。
ただし、Map Reduceジョブでは、式キーは1つのマッピングコンポーネントに対して1つだけ利用可能です。異なる入力テーブルを結合するために複数の式キーを使用する必要がある場合は、複数のtMapコンポーネントを1つずつ順に使用します。 |
|
リンクのマッピングはのように表示されます |
[Auto] (自動): デフォルト設定は曲線リンクです。 [Curves] (曲線): マッピングが曲線で表示されます。 [Lines] (直線): マッピングが直線で表示されます。最後のオプションを選ぶと多少パフォーマンスが良くなります。 |
| [Temp data directory path] (一時データディレクトリーのパス) | ルックアップローディングで生成された一時データを保存するパスを入力します。このフォルダーの詳細は、 Talend Studioユーザーガイドをご覧ください。 |
|
[Preview] (プレビュー) |
プレビューはMapperデータのインスタントショットです。これは、Mapperプロパティにデータが入力されると使用可能になります。プレビューの同期は変更を保存した後にのみ有効です。 |
|
[Use replicated join] (反復結合を使用) |
複数の入力フロー間で反復結合を行うには、このチェックボックスをオンにします。このタイプの結合は、各ルックアップテーブルをメモリ内に複製することで、シャッフルとソートの追加手順を必要としないため、プロセス全体が高速化されます。 ルックアップテーブル全体がメモリに入ることを確認する必要があります。 |
詳細設定
| [Max buffer size (nb of rows)] (最大バッファーサイズ:行数) | 処理されたデータに割り当てる物理メモリのサイズ(行数)を入力します。 |
| [Ignore trailing zeros for BigDecimal] (BigDecimalの末尾のゼロを無視) | このチェックボックスをオンにすると、BigDecimalデータの末尾のゼロが無視されます。 |
グローバル変数
|
グローバル変数 |
ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。 Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。 フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。 変数の詳細は、Talend Studioユーザーガイドをご覧ください。 |
使用方法
|
使用ルール |
Talend Map/Reduceジョブでは、このコンポーネントは、中間ステップとして使用されますが、併用する他のコンポーネントもMap/Reduceのコンポーネントにする必要があります。Hadoopで直接実行できるネイティブMap/Reduceコードを生成します。 先に説明したように、異なる入力テーブルを結合するために複数の式キーを使用する必要がある場合は、複数のtMapコンポーネントを1つずつ順に使用します。 Talend Map/Reduceジョブの詳細は、Talend Big Data入門ガイドでTalend Map/Reduceジョブを作成、変換、設定する方法のセクションをご覧ください 。 本書では、特に明記されていない限り、標準ジョブ、つまり従来の Talend データ統合ジョブ、およびMap/Reduce以外のジョブのシナリオで説明しています。 |