メイン コンテンツをスキップする 補完的コンテンツへスキップ

tMap MapReduceプロパティ(非推奨)

Availability-note非推奨

これらのプロパティは、MapReduceジョブのフレームワークで実行されているtMapを設定するために使われます。

MapReduce tMapコンポーネントは、変換処理ファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。

Availability-noteDeprecated
MapReduceのフレームワークは、Talend 7.3以降非推奨となります。Apache SparkのTalendジョブを使って、インテグレーションタスクを実行します。

基本設定

[Map Editor] (マップエディター)

tMapのルーティングと変換のプロパティを定義できます。

情報メモ注: 実行エラーの処理を避けるには、入力エリアの上部にある[Property Settings] (プロパティ設定)ボタンをクリックし、[Property Settings] (プロパティ設定)ダイアログボックスで[Die on error] (エラー発生時に強制終了)チェックボックスをオンにします(デフォルトでオン)。エラーが発生するとジョブが強制終了されます。
情報メモ注: 大量のデータを使用して複数のルックアップ入力フローを処理するジョブでデータ変換のパフォーマンスを最大化するには、[Property Settings] (プロパティ設定)ダイアログボックスで[Lookup in parallel] (並列ルックアップ)チェックボックスをオンにします。

ただし、Map Reduceジョブでは、式キーは1つのマッピングコンポーネントに対して1つだけ利用可能です。異なる入力テーブルを結合するために複数の式キーを使用する必要がある場合は、複数のtMapコンポーネントを1つずつ順に使用します。

リンクのマッピングはのように表示されます

[Auto] (自動): デフォルト設定は曲線リンクです。

[Curves] (曲線): マッピングが曲線で表示されます。

[Lines] (直線): マッピングが直線で表示されます。最後のオプションを選ぶと多少パフォーマンスが良くなります。

[Temp data directory path] (一時データディレクトリーのパス) ルックアップローディングで生成された一時データを保存するパスを入力します。このフォルダーの詳細は、 Talend Studioユーザーガイドをご覧ください。

[Preview] (プレビュー)

プレビューはMapperデータのインスタントショットです。これは、Mapperプロパティにデータが入力されると使用可能になります。プレビューの同期は変更を保存した後にのみ有効です。

[Use replicated join] (反復結合を使用)

複数の入力フロー間で反復結合を行うには、このチェックボックスをオンにします。このタイプの結合は、各ルックアップテーブルをメモリ内に複製することで、シャッフルとソートの追加手順を必要としないため、プロセス全体が高速化されます。

ルックアップテーブル全体がメモリに入ることを確認する必要があります。

詳細設定

[Max buffer size (nb of rows)] (最大バッファーサイズ:行数) 処理されたデータに割り当てる物理メモリのサイズ(行数)を入力します。
[Ignore trailing zeros for BigDecimal] (BigDecimalの末尾のゼロを無視) このチェックボックスをオンにすると、BigDecimalデータの末尾のゼロが無視されます。

グローバル変数

グローバル変数

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用方法

使用ルール

Talend Map/Reduceジョブでは、このコンポーネントは、中間ステップとして使用されますが、併用する他のコンポーネントもMap/Reduceのコンポーネントにする必要があります。Hadoopで直接実行できるネイティブMap/Reduceコードを生成します。

先に説明したように、異なる入力テーブルを結合するために複数の式キーを使用する必要がある場合は、複数のtMapコンポーネントを1つずつ順に使用します。

Talend Map/Reduceジョブの詳細は、Talend Big Data入門ガイドTalend Map/Reduceジョブを作成、変換、設定する方法のセクションをご覧ください 。

本書では、特に明記されていない限り、標準ジョブ、つまり従来の Talend データ統合ジョブ、およびMap/Reduce以外のジョブのシナリオで説明しています。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。