Talendジョブでサポートされているクラウドビッグデータプラットフォームディストリビューションのバージョン
Cloud Hadoopディストリビューション
Talendがビッグデータでサポートしているクラウドプラットフォームは以下のとおりです。ビッグデータのサポート情報を確認する場合は、クラウドプラットフォームをクリックしてください。
- Amazon EMR
- AWS版Cloudera
- Azure版Cloudera
- AWS版Databricks
- Azure版Databricks
- Google Dataproc
- Microsoft HDInsight
- AWS版Quoble
サポート対象のBig Dataプラットフォームのうち、古くなった各バージョンはベンダーによってサポートから外されます。Talendは、ベンダーが設定したサポート終了日を過ぎたバージョンのサポートを中止します。
ベンダーがTalend製品でのサポートを中止するバージョンを引き続き使用できるよう、Talendとそのコミュニティによって便利なツールが提供されます。この理由から、該当するバージョンも次のテーブルに引き続き記載されており、製品でも利用可能ですが、Talendはそのようなバージョンに対するサポートの提供を中止しています。
Talendは、次のテーブルにあるプラットフォームバージョンのマイナーバージョンをサポートしています。
| Amazon EMRのバージョン | サポートされているフレームワーク | Spark BatchでサポートされているHadoopエレメント | 標準でサポートされているHadoopエレメント | |
|---|---|---|---|---|
| v4.5.0 (Hadoop 2.7.2) |
標準 Spark v1.6 (非推奨) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v4.6.0 (Hadoop 2.7.2) |
標準 Spark v1.6 (非推奨) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.0.0 (Hadoop 2.7.2) |
標準 Spark v2.0 (非推奨) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.5.0 (Hadoop 2.7.3) |
標準 Spark v2.1 (非推奨) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.8.0 (Hadoop 2.7.3) |
標準 Spark v2.2 (非推奨) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| EMR 5.15.0 (Hadoop 2.8.3) |
標準 Spark v2.3 (非推奨) |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v5.29.0 (Hadoop 2.8.5) |
Standard Spark v2.4 |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
| v6.2.0 (Hadoop 3.2.1) |
標準 Spark v3.0 |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive |
HBase HDFS HCatalog Hive Sqoop |
tAmazonEMRManageコンポーネントでサポートされているAmazon EMRのバージョンは、4.5.0、4.6.0、4.9.2、5.11.0、5.29.0です。
| Clouderaのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | 標準でサポートされているエレメント | |
|---|---|---|---|---|
| CDH5.11 (非推奨) | Spark v2.1 (非推奨) | S3 Redshift DynamoDB |
S3 Kinesis Redshift DynamoDB |
| Clouderaのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | 標準でサポートされているエレメント | |
|---|---|---|---|---|
| CDH5.11 (非推奨) | Spark v2.1 (非推奨) | ADLS Gen1 Azure Blob Storage HDFS |
ADLS Gen1 Azure Blob Storage HDFS |
| AWS版Databricksのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | 標準でサポートされているエレメント | |
|---|---|---|---|---|
| 3.5 LTS (非推奨) | 標準 Spark v2.2 (非推奨) |
Hive S3 DynamoDB |
Hive S3 DynamoDB Kinesis |
DBFS |
| 5.5 LTS | 標準 Spark v2.4 |
Hive S3 DynamoDB Snowflake MongoDB ベータ版TDMコンポーネント tDataprepRun |
Hive S3 DynamoDB Kinesis Snowflake MongoDB ベータ版TDMコンポーネント tDataprepRun |
DBFS |
| 6.4 | Standard Spark v2.4.5 |
Azure Blob Storage ADLS Gen2 Snowflake DeltaLake |
Azure Blob Storage ADLS Gen2 |
DBFS |
| 7.3 LTS | 標準 Spark v3.0.1 |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Azure Blob Storage |
DBFS |
| Azure版Databricksのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | 標準でサポートされているエレメント | |
|---|---|---|---|---|
| 3.5 LTS (非推奨) | 標準 Spark v2.2 (非推奨) |
Hive Azure Blob Storage ADLS Gen1 |
Hive Azure Blob Storage ADLS Gen1 |
DBFS |
| 5.5 LTS | 標準 Spark v2.4 |
Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB ベータ版TDMコンポーネント tDataprepRun |
Hive Azure Blob Storage ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB ベータ版TDMコンポーネント tDataprepRun |
DBFS |
| 6.4 | Standard Spark v2.4.5 |
Azure Blob Storage ADLS Gen2 Snowflake DeltaLake |
Azure Blob Storage ADLS Gen2 |
DBFS |
| 7.3 LTS | 標準 Spark v3.0.1 |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Azure Blob Storage |
DBFS |
| Google Dataprocのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | 標準でサポートされているエレメント | |
|---|---|---|---|---|
| v1.1 (非推奨) | 標準 Spark v2.0 (非推奨) |
Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON |
Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON Google PubSub |
Hive |
| v1.4 (非推奨) | 標準 Spark v2.4 |
Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON |
Hive BigQuery Google Storage Avro Delimited Parquet Positional XML JSON Google PubSub |
Hive |
| Microsoft HD Insightのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | 標準でサポートされているエレメント | |
|---|---|---|---|---|
| 3.4 (非推奨) | Spark v1.6 (非推奨) | Hive | Hive | - |
| 3.6 (非推奨) | Spark v2.1 (非推奨) | Hive | Hive | - |
| 4.0 | Spark v2.3 (非推奨)およびv2.4 | ADLS Gen2 Azure Blob Storage Hive |
ADLS Gen2 Azure Blob Storage Hive |
ADLS Gen2 Azure Blob Storage Hive |
| Quboleのバージョン | サポートされているフレームワーク | Spark Batchでサポートされているエレメント | 標準でサポートされているエレメント | |
|---|---|---|---|---|
| Qubole Spark 2 (非推奨) | 標準 Spark v2.2 (非推奨) |
Redshift S3 DynamoDB |
Redshift S3 DynamoDB Kinesis |
S3 Hive |