Talend StudioにおけるHadoopディストリビューションのSpark Universalサポート
Spark Universalは、Talend Studioと特定のSparkバージョンの全ビッグデータディストリビューションの互換性があるようにできるメカニズムです。Sparkバージョンを選択して、クラスターへの接続に必要な情報がすべて含まれているHadoop設定JARファイルをアップロードします。
Talend StudioでSpark Universalを使用する場合は、Scala 2.12のみがサポートされます。
情報メモ重要: Spark Streamingジョブの場合、Talend StudioはKafkaの特定のバージョンをサポートしておらず、Sparkが提供するKafkaブローカーのバージョン互換性に依存しています。サポートされているKafkaブローカーのバージョンは、使用するSparkのバージョンによって異なります。Sparkの各バージョンについて、Talend Studioは、Sparkが提供するKafkaブローカーのターゲットバージョンをサポートしています。現在のところ、Talend StudioはSparkとの互換性声明に依存しているため、Kafkaブローカーのバージョン0.10.0以降をサポートしています。詳細は、Sparkの公式ドキュメンテーションでSpark Streaming + Kafka Integration Guide (英語のみ)をご覧ください。
Spark Universalのモードと環境をサポート
Talend Studioは、Sparkのバージョンに応じて、次のモードおよび環境をサポートしています。
| モードまたは環境 | Spark 2.4.x | Spark 3.x | Spark 4.x |
|---|---|---|---|
| Cloudera Data Engineering | サポート対象外 | サポート対象: 3.1.x、3.2.x | サポート対象外 |
| Cloudera Private Cloud | サポート対象外 | サポート | サポート対象外 |
| Cloudera Public Cloud | サポート対象外 | サポート | サポート対象外 |
| Databricks | サポート対象外 | サポート | サポート |
| Databricksサーバーレス | サポート対象外 | サポート対象外 | サポート |
| Dataproc | サポート対象外 | サポート対象: 3.1.x、3.3.x | サポート対象外 |
| EMR | サポート対象外 | サポート | サポート対象外 |
| EMR Serverless | サポート対象外 | サポート | サポート対象外 |
| HDInsight | サポート対象外 | サポート対象: 3.1.x、3.3.x | サポート対象外 |
| Kubernetes | サポート対象外 | サポート | サポート対象外 |
| Livy Knox | サポート対象外 | サポート | サポート対象外 |
| [Local] (ローカル) | サポート対象外 | サポート | サポート |
| Spark-submitスクリプト | サポート対象外 | サポート対象: 3.3.x | サポート対象外 |
| [Standalone] (スタンドアロン) | サポート対象外 | サポート対象: 3.2.x、3.4.x | サポート対象外 |
| Synapse | サポート対象外 | サポート対象: 3.2.x、3.3.x | サポート対象外 |
| [Yarn cluster] (Yarnクラスター) | サポート | 3.4.xを除きサポートされています | サポート対象外 |
情報メモ注:
- Spark Universal 3.2.xと3.3.xによるAzure Synapse Analyticsの使用は、Spark Batchジョブのみでのサポートとなっています。
- Spark Universal 3.3.xによるSpark-submitスクリプトはSpark Batchジョブでのみサポートされています。
Spark Universalディストリビューションをサポート
Talend Studioは、Sparkのバージョンに応じて、Yarnクラスターモードで次のディストリビューションをサポートしています。
たとえば、Amazon EMR 6.2クラスターに接続したい場合は、Spark 3.0バージョンを選択した後に、クラスターに関連する*-site.xmlファイルがすべて含まれるHadoop接続JARファイルをアップロードする必要があります。
| Sparkバージョン | [Yarn cluster] (Yarnクラスター)モードでサポートされているディストリビューション |
|---|---|
| Spark 2.4.x |
|
| Spark 3.0.x |
|
| Spark 3.1.x |
|
| Spark 3.2.x |
|
| Spark 3.3.x |
|
| Spark 3.5.x |
|
| Spark 3.x |
|
このディストリビューションリストはすべてを網羅していません。Sparkのバージョンがマッチすれば他のディストリビューションでもYarn clusterを使用できますが、Talendによって公式にテストされていないため動作が保証されることはありません。
情報メモ注: CDP Private Cloudディストリビューションの場合、Spark UniversalでCloudera Private Cloudという専用のランタイムモードが利用できます。
Talend Studioは、Livy Knoxモードで次のディストリビューションをサポートしています。
| Sparkバージョン | Livy Knoxモードでサポートされているディストリビューション |
|---|---|
| Spark 3.5.x |
|
| Spark 3.x |
|
情報メモ注: CDP Private Cloudディストリビューションの場合、Spark UniversalでCloudera Private Cloudという専用のランタイムモードが利用できます。