ジョブでサポートされているビッグデータプラットフォームディストリビューションのバージョン
通常のHadoopディストリビューションとでサポートされているビッグデータエレメントの間の互換性を確認する場合は、ビッグデータに関連する以下のエレメントをクリックします。
- HBase
- HCatalog
- HDFS
- Hive
- Sqoop
- Spark
- Azure Data Lake Storage Gen2
- Spark StreamingジョブでのKafka
- Spark BatchジョブでのKudu
- Impala
サポート対象のBig Dataプラットフォームのうち、古くなった各バージョンはベンダーによってサポートから外されます。は、ベンダーが設定したサポート終了日を過ぎたバージョンのサポートを中止します。
ベンダーが製品でのサポートを中止するバージョンを引き続き使用できるよう、とそのコミュニティによって便利なツールが提供されます。この理由から、該当するバージョンも次のテーブルに記載されており、製品でも利用可能ですが、はそのようなバージョンに対するサポートの提供を中止しています。
は、次のテーブルにあるディストリビューションのマイナーバージョンをサポートしています。
情報メモ注: CDPダイナミックディストリビューションの場合、は7.1.8までのバージョンをサポートしています。CDP 7.1.9 Private Cloud Baseと7.2 Public Cloudはサポートされていません。CDP 7.1.9 Private Cloud Baseを使用したい場合、はユニバーサル機能の使用をお勧めします。詳細は、におけるHadoopディストリビューションのSpark Universalサポートをご覧ください。
HBaseでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.14.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera |
|
可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
HCatalogでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.14.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera | 6.1.1 | 可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.x 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
HDFSでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.14.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera |
|
可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
HiveでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.14.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera |
|
可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
情報メモ制約事項: パースペクティブでは、Hiveディストリビューションでの[Embedded] (組み込み型)接続がサポートされていません。このモードは主にHadoop開発者によるテスト目的で利用できます。は組み込みモードでは正しく実行できない場合があります。
SqoopでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.1.4.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera |
|
可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
SparkでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Sparkスタンドアロンと連動 | Spark YARNと連動 | Kerberos KinitとKeytabのサポート |
|---|---|---|---|---|
| HDP | 3.1.4.12-1 | なし | 2.3 | 可(YARNのみ) |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし | 不可 | なし |
| Cloudera |
|
2.4 | 2.4 | 可(YARNのみ) |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし | 2.4 (YARNクラスターのみ) | なし |
Azure Data Lake Storage Gen2 (ADLS Gen2)でサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Sparkスタンドアロンと連動 | Spark YARNと連動 | Kerberos KinitとKeytabのサポート |
|---|---|---|---|---|
| HDP | 3.1.4.12-1 | なし | 2.3 | 可(YARNのみ) |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし | 不可 | なし |
| Cloudera |
|
2.4 | 2.4 | 可(YARNのみ) |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし | 2.4 (YARNクラスターのみ) | なし |
ADLS Gen2版のでサポートされているビッグデータクラウドプラットフォームに関する情報が必要な場合は、Talendジョブでサポートされているクラウドビッグデータプラットフォームディストリビューションのバージョンというセクションをご覧ください。
Spark StreamingジョブでのKafkaでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Sparkスタンドアロンと連動 | Spark YARNと連動 | Kerberos KinitとKeytabのサポート |
|---|---|---|---|---|
| HDP | 3.1.4.12-1 | なし | 2.3 | 可(YARNのみ) |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし | 不可 | なし |
| Cloudera |
|
2.4 | 2.4 | 可(YARNのみ) |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし | 2.4 (YARNクラスターのみ) | なし |
Spark BatchジョブでのKuduでサポートされているHadoopディストリビューション
| [Hadoop distribution] (Hadoopディストリビューション) | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| Cloudera | 7.1.1 | なし |
| Cloudera | ダイナミックディストリビューションで利用可能な7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
ImpalaでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| Cloudera | 7.1.1 | なし |
| Cloudera | ダイナミックディストリビューションで利用可能な7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、はプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |