Talend Administration Centerでジョブを実行

Talend Administration Centerの[Job Conductor] (ジョブコンダクター)ページで、MapReduce and Spark Batch Jobsのスクリプト生成、デプロイ、および実行フェーズを収集する実行タスクを定義します。

始める前に

使用するDatabricksクラスターが正しく設定および実行されていること。
前のセクションで説明しているユースケースジョブが作成済みで、Talend Studioで正しく実行されていること。

手順

最初のユーザーとプロジェクトを設定で作成したアカウントで、Talend Administration Centerにログインします。
Talend Administration Centerの[Menu] (メニュー)ツリービューで[Job Conductor] (ジョブコンダクター)をクリックし、[Job conductor] (ジョブコンダクター)ページを表示します。
[Job Conductor] (ジョブコンダクター)ページのツールバーで、[Add] (追加) > [Normal Task] (ノーマルタスク)をクリックして、[Execution task] (実行タスク)設定パネルの内容を消去します。
トリガーするタスクに付ける名前を[Label] (ラベル)フィールドに入力します。たとえば、getting_startedです。
アイコンをクリックして[Job conductor] (ジョブコンダクター)から実行するジョブを検索するジョブフィルターを開き、[Latest] (最新)バージョンを使用してフィルターから選択します。

これには、たとえばApache Spark Batchジョブを使って映画とディレクターの情報を結合で説明されているSpark Batchジョブが該当します。

ジョブを選択すると、フィールド[Project] (プロジェクト)、[Branch] (ブランチ)、[Name] (名前)、[Version] (バージョン)、[Context] (コンテキスト)にはすべて、選択したジョブの関連情報が自動的に入力されます。
タスクのデプロイと実行の前に選択したジョブをジョブ自体に変更が行われる度に再生成するには、[Regenerate Job on change] (ジョブ変更時に再生成)チェックボックスをオンにします。

[Latest version] (最終バージョン)を選択すると、Talend Studioでジョブの新しいバージョンが作成された場合に、[Regenerate Job on change] (ジョブ変更時に再生成)チェックボックスをオフにしていてもジョブが再生成されます。
タスクをデプロイするサーバーを選択します。

このシナリオのサーバーは、Talend Runtime ContainerをTalend Administration Centerに接続で設定した Talend Runtimeサービスです。
[Save] (保存)をクリックして、設定を有効にします。

この新しいタスクは、タスクリストに追加されます。
[Job conductor] (ジョブコンダクター)ページでgetting_startedタスクをクリックして選択し、ツールバーで[Generate] (生成)をクリックして、タスクがTalend Studio [Repository] (リポジトリー)から該当するプロジェクト内の該当するジョブスクリプトをフェッチし、コードを生成できるようにします。

完了すると、タスクのステータスが[Ready to deploy] (デプロイ可能)に変わります。これは、生成されたコードを実行サーバーにデプロイする準備ができたことを意味します。
[Deploy] (デプロイ)をクリックし、ジョブを実行サーバーにデプロイします。

完了すると、ステータスが[Ready to run] (実行可能)に変わります。これは、サーバーがジョブを受信し、実行する準備ができたことを意味します。
[Run] (実行)をクリックしてジョブを実行します。

完了すると、ステータスは[Ready to run] (実行可能)に戻ります。これは、必要に応じてジョブをもう一度実行できることを意味します。

タスクが正しく完了しなかった場合は、[Error Status] (エラーのステータス)カラムとタスクログでジョブの完了情報をご確認ください。

完了すると、たとえばMicrosoft Azure Storage Explorerで、出力がADLSストレージシステムに書き込まれていることを確認できます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください