Sparkモード
Sparkジョブが実行されるメソッドのことです。Talend Sparkジョブは、以下のいずれのモードでも実行できます:
- ローカル: Talend Studioは実行時にSpark環境自体をビルドし、Talend Studio内でジョブをローカルに実行します。
- スタンドアロン: Talend StudioはSpark対応のクラスターに接続し、このクラスターからジョブを実行します。
- YARNクライアント: Talend StudioはSparkドライバーを実行してジョブの実行方法をオーケストレーション化し、特定のHadoopクラスターのYARNサービスにそのオーケストレーション化を送信して、そのYARNサービスのリソースマネージャーが実行リソースを適宜要求できるようにします。
- YARNクラスター: Talend Studioは、ジョブを送信し、YARNおよびApplicationMasterからジョブの実行情報を収集します。Sparkドライバーがクラスター上で実行され、Talend Studioから独立して実行できます。