におけるHadoopディストリビューションのSpark Universalサポート
Spark Universalは、と特定のSparkバージョンの全ビッグデータディストリビューションの互換性があるようにできるメカニズムです。Sparkバージョンを選択して、クラスターへの接続に必要な情報がすべて含まれているHadoop設定JARファイルをアップロードします。
でSpark Universalを使用する場合は、Scala 2.12のみがサポートされます。
情報メモ重要: Spark Streamingジョブの場合、はKafkaの特定のバージョンをサポートしておらず、Sparkが提供するKafkaブローカーのバージョン互換性に依存しています。サポートされているKafkaブローカーのバージョンは、使用するSparkのバージョンによって異なります。Sparkの各バージョンについて、は、Sparkが提供するKafkaブローカーのターゲットバージョンをサポートしています。現在のところ、はSparkとの互換性声明に依存しているため、Kafkaブローカーのバージョン0.10.0以降をサポートしています。詳細は、Sparkの公式ドキュメンテーションでSpark Streaming + Kafka Integration Guideをご覧ください。
Spark Universalのモードと環境をサポート
は、Sparkのバージョンに応じて、次のモードおよび環境をサポートしています。
| モードまたは環境 | Spark 2.4.x | Spark 3.0.x | Spark 3.1.x | Spark 3.2.x | Spark 3.3.x | Spark 3.4.x | Spark 3.5.x | Spark 3.x | Spark 4.0.x |
|---|---|---|---|---|---|---|---|---|---|
| Cloudera Data Engineering | サポート対象外 | サポート対象外 | サポート | サポート | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 |
| Cloudera Private Cloud | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート対象外 |
| Cloudera Public Cloud | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート対象外 |
| Databricks | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート |
| Dataproc | サポート対象外 | サポート対象外 | サポート | サポート対象外 | サポート | サポート対象外 | サポート対象外 | サポート | サポート対象外 |
| EMR | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート対象外 |
| EMR Serverless | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート対象外 |
| HDInsight | サポート対象外 | サポート対象外 | サポート | サポート対象外 | サポート | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 |
| Kubernetes | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート対象外 |
| Livy Knox | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート対象外 |
| [Local] (ローカル) | サポート対象外 | サポート | サポート | サポート | サポート | サポート | サポート | サポート対象外 | サポート |
| Spark-submitスクリプト | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 |
| [Standalone] (スタンドアロン) | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート対象外 | サポート | サポート対象外 | サポート対象外 | サポート対象外 |
| Synapse | サポート対象外 | サポート対象外 | サポート対象外 | サポート | サポート | サポート対象外 | サポート対象外 | サポート対象外 | サポート対象外 |
| [Yarn cluster] (Yarnクラスター) | サポート | サポート | サポート | サポート | サポート | サポート対象外 | サポート | サポート | サポート対象外 |
情報メモ注:
- Spark Universal 3.2.xと3.3.xによるAzure Synapse Analyticsの使用は、Spark Batchジョブのみでのサポートとなっています。
- Spark Universal 3.3.xによるSpark-submitスクリプトはSpark Batchジョブでのみサポートされています。
Spark Universalディストリビューションをサポート
は、Sparkのバージョンに応じて、Yarnクラスターモードで次のディストリビューションをサポートしています。
たとえば、Amazon EMR 6.2クラスターに接続したい場合は、Spark 3.0バージョンを選択した後に、クラスターに関連する*-site.xmlファイルがすべて含まれるHadoop接続JARファイルをアップロードする必要があります。
| Sparkバージョン | [Yarn cluster] (Yarnクラスター)モードでサポートされているディストリビューション |
|---|---|
| Spark 2.4.x |
|
| Spark 3.0.x |
|
| Spark 3.1.x |
|
| Spark 3.2.x |
|
| Spark 3.3.x |
|
| Spark 3.5.x |
|
| Spark 3.x |
|
このディストリビューションリストはすべてを網羅していません。Sparkのバージョンがマッチすれば他のディストリビューションでもYarn clusterを使用できますが、によって公式にテストされていないため動作が保証されることはありません。
情報メモ注: CDP Private Cloudディストリビューションの場合、Spark UniversalでCloudera Private Cloudという専用のランタイムモードが利用できます。
は、Livy Knoxモードで次のディストリビューションをサポートしています。
| Sparkバージョン | Livy Knoxモードでサポートされているディストリビューション |
|---|---|
| Spark 3.x |
|