Apache Spark BatchのtLoopプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtLoopを設定するために使われます。
Spark BatchのtLoopコンポーネントは、オーケストレーション化ファミリーに属しています。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。
基本設定
|
ループタイプ |
実行するループのタイプを選択します:ForまたはWhileのいずれか。 For: タスクは定義された反復回数だけ実行されます。 While: タスクまたはジョブは、条件が満たされるまで実行されます。 |
|
For |
|
|
While |
|
グローバル変数
|
グローバル変数 |
ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。 CURRENT_VALUE: 現在の値。Forタイプのループのみで利用できます。これはFlow変数で、整数を返します。 CURRENT_ITERATION: 現在の繰り返し処理のシーケンス番号。これはFlow変数で、整数を返します。 Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。 フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。 変数の詳細は、コンテキストと変数を使用をご覧ください。 |
使用方法
|
使用ルール |
tLoopは、開始コンポーネントとして使用されるコンポーネントで、次のコンポーネントと反復接続になっている場合のみ使用できます。 |
|
For |
From (差出人) |
|
|
[To] (宛先) |
|
|
手順 |
|
[Values are increasing] (値は増加し続ける) |
|
|
While |
[Declaration] (宣言) |
|
|
条件 |
|
[Iteration] (反復) |
|
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |