TalendジョブがApache Sparkで動作するしくみ
最終更新日時: 2026/08/07
Talend Sparkジョブは、選択したジョブタイプに応じて、SparkバッチエンジンまたはSparkストリーミングエンジンのいずれかで使用するコードを生成します。
Talend Sparkジョブは、次のモードおよびディストリビューションで実行できます。
- Cloudera Data Engineering
- Cloudera Private Cloud
- Cloudera Public Cloud
- Databricks
- Databricksサーバーレス
- Dataproc
- EMR
- EMR Serverless
- HDInsight
- Kubernetes
- Livy Knox
- [Local] (ローカル)
- Spark-submitスクリプト
- [Standalone] (スタンドアロン)
- Synapse
- [Yarn cluster] (Yarnクラスター)
各ディストリビューションの設定に関する詳細については、「Spark設定における接続詳細の定義」を参照してください。
情報メモ注: Talend Sparkジョブは、Apache Sparkのドキュメントで定義されているSparkジョブとは同義ではありません。設計次第では、1つのジョブから1つまたは複数のSparkジョブが生成される可能性があります。詳細については、「Apache Sparkの用語集 (英語のみ)」を参照してください。
ジョブを実行すると、Sparkの計算の進捗状況を示す統計情報がデザインワークスペースに表示されます。
Talend Sparkジョブの実行情報は、使用しているクラスターのヒストリーサーバーサービスに記録されます。この情報を表示するには、サービスのWebコンソールを開いてください。コンソール内のジョブの名前はProjectName_JobName_JobVersionの形式で自動的に入力されます。たとえば、LOCALPROJECT_wordcount_0.1となります。