Apache Spark BatchのtRunJobプロパティ(非推奨)
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtRunJobを設定するために使われます。
Spark BatchのtRunJobコンポーネントは、システムファミリーに属しています。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。
基本設定
[Use dynamic job] (ダイナミックジョブを使用) |
複数のジョブを呼び出して処理できるようにするには、このチェックボックスを選択します。このオプションを有効にした場合、最新バージョンのジョブのみが呼び出され、処理されます。サブジョブの実行には、独立したプロセスが使われます。2つのオプション、[Context] (コンテキスト)および[Use an independent process to run subJob] (サブジョブを独立したプロセスで実行)が表示されなくなります。 情報メモ警告: [Use dynamic job] (ダイナミックジョブを使用)オプションは、Talend JobServerのキャッシュに対応していません。したがって、Talend Administration CenterでこのチェックボックスがオンになったtRunjobを含むジョブを実行すると、失敗する可能性があります。
|
[Context job] (コンテキストジョブ) |
このフィールドは、 [Use dynamic job] (ダイナミックジョブを使用)オプションを選択している場合にのみ表示されます。選択したジョブのリストから呼び出すジョブの名前を入力します。 |
[Job] (ジョブ) |
呼び出して処理するジョブを選択します。tRunJobによるスムーズな実行を確保するには、ジョブを呼び出したら、前もって、実行済みであることを確認します。 Spark Batchジョブから標準ジョブを呼び出すことは推奨されません。 |
[Version] (バージョン) |
使用する子ジョブバージョンを選択します。 |
[Context] (コンテキスト) |
tRunJobによって実行するジョブのコンテキストと変数を定義したら、リストで該当するコンテキストエントリーを選択します。 |
[Die on child error] (子のエラー発生時に強制終了) |
子ジョブの実行時にエラーが発生した時でも親ジョブを実行する場合には、このチェックボックスをオフにします。 |
[Transmit whole context] (コンテキスト全体を送信) |
すべてのコンテキスト変数を親ジョブから取得するには、このチェックボックスを選択します。このチェックボックスをオフに設定すると、すべてのコンテキスト変数が子ジョブから取得されます。 親ジョブと子ジョブに同じコンテキスト変数が定義されている時に、このチェックボックスを選択すると:
|
[Context Param] (コンテキストパラメーター) |
選択されているコンテキストパラメーターの値は変更できます。[+]ボタンをクリックし、子ジョブの[Context] (コンテキスト)ビューで定義したパラメーターを追加します。コンテキストパラメーターの詳細は、コンテキストと変数を使用をご覧ください。 ここで定義した値は、[Transmit whole context] (コンテキスト全体を送信)を選択している場合でも、子ジョブの実行中に使用されます。 |
詳細設定
[Print Parameters] (印刷パラメーター) |
内部および外部パラメーターを[Console] (コンソール)に表示するには、このチェックボックスを選択します。 |
使用方法
使用ルール |
このコンポーネントは、他のコンポーネントに接続せずに使用されます。 このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |