Talendジョブでサポートされているクラウドビッグデータプラットフォームディストリビューションのバージョン

Cloud Hadoopディストリビューション

Talendがビッグデータでサポートしているクラウドプラットフォームは以下のとおりです。ビッグデータのサポート情報を確認する場合は、クラウドプラットフォームをクリックしてください。

サポート対象のBig Dataプラットフォームのうち、古くなった各バージョンはベンダーによってサポートから外されます。Talendは、ベンダーが設定したサポート終了日を過ぎたバージョンのサポートを中止します。

ベンダーがTalend製品でのサポートを中止するバージョンを引き続き使用できるよう、Talendとそのコミュニティによって便利なツールが提供されます。この理由から、該当するバージョンも次のテーブルに引き続き記載されており、製品でも利用可能ですが、Talendはそのようなバージョンに対するサポートの提供を中止しています。

Talendは、次のテーブルにあるプラットフォームバージョンのマイナーバージョンをサポートしています。

Amazon EMR
Amazon EMRのバージョン	サポートされているフレームワーク	Spark BatchでサポートされているHadoopエレメント	Spark StreamingでサポートされているHadoopエレメント	StandardでサポートされているHadoopエレメント
v5.29.0 (Hadoop 2.8.5)	Standard Spark 2.4	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v6.2.0 (Hadoop 3.2.1)	Standard Spark 3.0	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v6.3.x (Hadoop 3.2.3)	Spark Universal 3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.4.x (Hadoop 3.2.3)	Spark Universal 3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.5.x (Hadoop 3.2.3)	Spark Universal 3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.6.0 (Hadoop 3.2.3)	Spark Universal 3.2.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.7.0 (Hadoop 3.2.3)	Spark Universal 3.2.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.8.0 (Hadoop 3.3.1)	Spark Universal 3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.9.0 (Hadoop 3.3.1)	Spark Universal 3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.10.0 (Hadoop 3.3.1)	Spark Universal 3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive

tAmazonEMRManageコンポーネントでサポートされているAmazon EMRのバージョンは5.29.0です。

AWS版Databricks (ビッグデータ用)
AWS版Databricksのバージョン	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
Availability-noteDeprecated 5.5 LTS	Standard Spark 2.4	Hive S3 DynamoDB Snowflake MongoDB TDMのコンポーネント tDataprepRun	Hive S3 DynamoDB Kinesis Snowflake MongoDB ベータ版TDMコンポーネント tDataprepRun	DBFS
Availability-noteDeprecated 6.4	Standard Spark 2.4.5	Azure Blob Storage ADLS Gen2 Snowflake DeltaLake	Azure Blob Storage ADLS Gen2	DBFS
Availability-noteDeprecated 7.3 LTS	Standard Spark 3.0.1	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	DBFS
8.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
9.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
10.x	Spark Universal 3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
11.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
12.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
13.x	Spark Universal 3.4.x	Avro Delimited DQコンポーネント Hive JSON Parquet Positional S3 XML	Avro Delimited DQコンポーネント Hive JSON Parquet Positional S3 XML	なし

Azure版Databricks (ビッグデータ用)
Azure版Databricksのバージョン	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
Availability-noteDeprecated 5.5 LTS	Standard Spark 2.4	Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDMのコンポーネント tDataprepRun	Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB TDMのコンポーネント tDataprepRun	DBFS
Availability-noteDeprecated 6.4	Standard Spark 2.4.5	Azure Blob Storage ADLS Gen2 Snowflake DeltaLake	Azure Blob Storage ADLS Gen2	DBFS
Availability-noteDeprecated 7.3 LTS	Standard Spark 3.0.1	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	DBFS
8.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
9.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
10.x	Spark Universal 3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
11.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
12.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
13.x	Spark Universal 3.4.x	ADLS Gen2 Avro Delimited DQコンポーネント Hive JSON Parquet Positional XML	Avro Delimited DQコンポーネント Hive JSON Parquet Positional XML	なし

BIg Data用のGoogle Cloud Platform (GCP)でのDatabricks
GCPバージョンでのDatabricks	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
8.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
9.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
10.x	Spark Universal 3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
11.x	Spark Universal v3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage	なし
12.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage	なし
13.x	Spark Universal 3.4.x	ADLS Gen2 Avro Delimited DQコンポーネント Hive JSON Parquet Positional XML	Avro Delimited DQコンポーネント Hive JSON Parquet Positional XML	なし

Google Dataproc
Google Dataprocのバージョン	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
2.0.x	Standard Spark Universal 3.1.x	Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON	Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON Google PubSub	Hive
2.1	Spark Universal 3.3.x	Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON	Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON Google PubSub	Hive

Microsoft HD Insight (ビッグデータ用)
Microsoft HD Insightのバージョン	サポートされているフレームワーク	Spark Batchでサポートされているエレメント	Spark Streamingでサポートされているエレメント	標準でサポートされているエレメント
4.0	Spark 2.3 (非推奨)および2.4	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive
5.0	Spark Universal 3.1.x	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive
5.1	Spark Universal 3.3.x	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive	ADLS Gen2 Azure Blob Storage Hive

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください