Talendジョブでサポートされているビッグデータプラットフォームディストリビューションのバージョン
通常のHadoopディストリビューションとTalendでサポートされているビッグデータエレメントの間の互換性を確認する場合は、ビッグデータに関連する以下のエレメントをクリックします。
- HBase
- HCatalog
- HDFS
- Hive
- Sqoop
- Spark
- Azure Data Lake Storage Gen2
- Spark StreamingジョブでのKafka
- Spark BatchジョブでのKudu
- Impala
サポート対象のBig Dataプラットフォームのうち、古くなった各バージョンはベンダーによってサポートから外されます。Talendは、ベンダーが設定したサポート終了日を過ぎたバージョンのサポートを中止します。
ベンダーがTalend製品でのサポートを中止するバージョンを引き続き使用できるよう、Talendとそのコミュニティによって便利なツールが提供されます。この理由から、該当するバージョンも次のテーブルに記載されており、製品でも利用可能ですが、Talendはそのようなバージョンに対するサポートの提供を中止しています。
Talendは、次のテーブルにあるディストリビューションのマイナーバージョンをサポートしています。
情報メモ注: CDPダイナミックディストリビューションの場合、Talendは7.1.8までのバージョンをサポートしています。CDP 7.1.9 Private Cloud Baseと7.2 Public Cloudはサポートされていません。CDP 7.1.9 Private Cloud Baseを使用したい場合、Talendはユニバーサル機能の使用をお勧めします。詳細は、Talend StudioにおけるHadoopディストリビューションのSpark Universalサポートをご覧ください。
HBaseでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.14.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera |
|
可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
HCatalogでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.14.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera | 6.1.1 | 可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.x 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
HDFSでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.14.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera |
|
可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
HiveでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.14.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera |
|
可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
情報メモ制約事項: Profilingパースペクティブでは、Hiveディストリビューションでの[Embedded] (組み込み型)接続がサポートされていません。このモードは主にHadoop開発者によるテスト目的で利用できます。Talend Studioは組み込みモードでは正しく実行できない場合があります。
SqoopでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| HDP | 3.1.4.12-1 | 可 |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし |
| Cloudera |
|
可 |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
SparkでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Sparkスタンドアロンと連動 | Spark YARNと連動 | Kerberos KinitとKeytabのサポート |
|---|---|---|---|---|
| HDP | 3.1.4.12-1 | なし | 2.3 | 可(YARNのみ) |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし | 不可 | なし |
| Cloudera |
|
2.4 | 2.4 | 可(YARNのみ) |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし | 2.4 (YARNクラスターのみ) | なし |
Azure Data Lake Storage Gen2 (ADLS Gen2)でサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Sparkスタンドアロンと連動 | Spark YARNと連動 | Kerberos KinitとKeytabのサポート |
|---|---|---|---|---|
| HDP | 3.1.4.12-1 | なし | 2.3 | 可(YARNのみ) |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし | 不可 | なし |
| Cloudera |
|
2.4 | 2.4 | 可(YARNのみ) |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし | 2.4 (YARNクラスターのみ) | なし |
ADLS Gen2版のTalendでサポートされているビッグデータクラウドプラットフォームに関する情報が必要な場合は、Talendジョブでサポートされているクラウドビッグデータプラットフォームディストリビューションのバージョンというセクションをご覧ください。
Spark StreamingジョブでのKafkaでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Sparkスタンドアロンと連動 | Spark YARNと連動 | Kerberos KinitとKeytabのサポート |
|---|---|---|---|---|
| HDP | 3.1.4.12-1 | なし | 2.3 | 可(YARNのみ) |
| HDP | ダイナミックディストリビューションで利用可能な3.xバージョン 情報メモ注: HDP 3.0以前のディストリビューションは、ダイナミックディストリビューションを通じて非推奨です。
|
なし | 不可 | なし |
| Cloudera |
|
2.4 | 2.4 | 可(YARNのみ) |
| Cloudera | ダイナミックディストリビューションで利用可能な6.xバージョンと7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし | 2.4 (YARNクラスターのみ) | なし |
Spark BatchジョブでのKuduでサポートされているHadoopディストリビューション
| [Hadoop distribution] (Hadoopディストリビューション) | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| Cloudera | 7.1.1 | なし |
| Cloudera | ダイナミックディストリビューションで利用可能な7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |
ImpalaでサポートされているHadoopディストリビューション
| Hadoopディストリビューション | バージョン | Kerberos KinitとKeytabのサポート |
|---|---|---|
| Cloudera | 7.1.1 | なし |
| Cloudera | ダイナミックディストリビューションで利用可能な7.1.x (最大7.1.8)バージョン 情報メモ注: ダイナミックディストリビューションの場合、Talend Studioはプロバイダーのリポジトリーに依存して依存項目を取得します。その結果、プロバイダー側で利用できる一部のディストリビューションバージョンをサポートしなくなる可能性ががあります。
|
なし |