TalendジョブがApache Sparkで動作するしくみ
最終更新日時: 2026/08/07
Talend Sparkジョブは、選択したジョブタイプに応じて、SparkバッチエンジンまたはSparkストリーミングエンジンのいずれかで使用するコードを生成します。
Talend Sparkジョブは、次のモードおよびディストリビューションで実行できます。
- Cloudera Data Engineering
- Cloudera Private Cloud
- Cloudera Public Cloud
- Databricks
- Databricksサーバーレス
- Dataproc
- EMR
- EMR Serverless
- HDInsight
- Kubernetes
- Livy Knox
- [Local] (ローカル)
- Spark-submitスクリプト
- [Standalone] (スタンドアロン)
- Synapse
- [Yarn cluster] (Yarnクラスター)
各ディストリビューションの設定に関する詳細については、Spark設定における接続詳細の定義を参照してください。
情報メモ注: Talend Spark Jobは、Apache Sparkのドキュメントで定義されているSpark Jobとは同義ではありません。設計次第では、1つのJobから1つまたは複数のSpark Jobが生成される可能性があります。詳細については、「Apache Sparkの用語集 (英語のみ)」を参照してください。
ジョブを実行する時に、ジョブのデザインワークスペースに統計情報が表示され、ジョブによって調整されているSpark計算の進行状況を示します。
Talend Sparkジョブの実行情報は、使用しているクラスターのヒストリーサーバーサービスに記録されます。この情報を表示するには、サービスのWebコンソールを開いてください。コンソール内のジョブの名前はProjectName_JobName_JobVersionの形式で自動的に入力されます。たとえば、LOCALPROJECT_wordcount_0.1となります。