Versions des distributions de plateformes Cloud Big Data supportées pour les Jobs Talend

Distributions Cloud Hadoop

Talend supporte les plateformes Cloud suivantes pour le Big Data. Cliquez sur votre plateforme Cloud pour consulter les informations relatives au support du Big Data.

Les anciennes versions des plateformes Big Data supportées ne sont plus supportées par leurs vendeurs. Talend ne supporte plus une version une fois que celle-ci atteint sa date de fin de support prévue par le vendeur.

Talend et sa communauté vous fournissent la possibilité de continuer à utiliser une version qu'un vendeur ne supporte plus, dans les produits Talend. Ainsi, cette version peut être listée dans les tables suivantes et disponible dans les produits, mais Talend ne fournit plus de support pour cette version.

Talend supporte les versions mineures des versions des plateformes listées dans les tableaux suivants.

Amazon EMR
Version d'Amazon EMR	Frameworks supportés	Éléments Hadoop supportés dans Spark Batch	Éléments Hadoop supportés dans Spark Streaming	Éléments Hadoop supportés dans Standard
Availability-noteDeprecated v5.29.0 (Hadoop 2.8.5)	Standard Spark 2.4	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
Availability-noteDeprecated v6.2.0 (Hadoop 3.2.1)	Standard Spark 3.0	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive Sqoop
v6.3.x (Hadoop 3.2.3)	Spark Universal 3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.4.x (Hadoop 3.2.3)	Spark Universal 3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.4.x (Hadoop 3.2.3)	Spark Universal 3.1.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.6.0 (Hadoop 3.2.3)	Spark Universal 3.2.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.7.0 (Hadoop 3.2.3)	Spark Universal 3.2.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.8.0 (Hadoop 3.3.1)	Spark Universal 3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.9.0 (Hadoop 3.3.1)	Spark Universal 3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive
v6.10.0 (Hadoop 3.3.1)	Spark Universal 3.3.x	HBase HDFS HCatalog Hive	HBase HDFS HCatalog Hive	HBase HDFS Hive

La version supportée d'Amazon EMR pour le composant tAmazonEMRManage est la 5.29.0.

Databricks sur AWS pour Big Data
Version de Databricks sur AWS	Frameworks supportés	Éléments supportés dans Spark Batch	Éléments supportés dans Spark Streaming	Éléments supportés dans Standard
Availability-noteDeprecated 5.5 LTS	Standard Spark 2.4	Hive S3 DynamoDB Snowflake MongoDB Composants TDM tDataprepRun	Hive S3 DynamoDB Kinesis Snowflake MongoDB Composants TDM en version bêta tDataprepRun	DBFS
Availability-noteDeprecated 6.4	Standard Spark 2.4.5	Stockage Blob Azure ADLS Gen2 Snowflake DeltaLake	Stockage Blob Azure ADLS Gen2	DBFS
Availability-noteDeprecated 7.3 LTS	Standard Spark 3.0.1	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Stockage Blob Azure	DBFS
8.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Stockage Blob Azure	Aucun
9.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Stockage Blob Azure	Aucun
10.x	Spark Universal 3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Stockage Blob Azure	Aucun
11.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Stockage Blob Azure	Aucun
12.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Stockage Blob Azure	Aucun
13.x	Spark Universal 3.4.x	Avro Délimité Composants DQ Hive JSON Parquet Positionnel S3 XML	Avro Délimité Composants DQ Hive JSON Parquet Positionnel S3 XML	Aucun

Databricks sur Azure pour Big Data
Version de Databricks sur Azure	Frameworks supportés	Éléments supportés dans Spark Batch	Éléments supportés dans Spark Streaming	Éléments supportés dans Standard
Availability-noteDeprecated 5.5 LTS	Standard Spark 2.4	Hive Stockage Blob Azure ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB Composants TDM tDataprepRun	Hive Stockage Blob Azure ADLS Gen1 ADLS Gen2 Snowflake DeltaLake MongoDB Composants TDM tDataprepRun	DBFS
Availability-noteDeprecated 6.4	Standard Spark 2.4.5	Stockage Blob Azure ADLS Gen2 Snowflake DeltaLake	Stockage Blob Azure ADLS Gen2	DBFS
Availability-noteDeprecated 7.3 LTS	Standard Spark 3.0.1	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	DBFS
8.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Aucun
9.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Aucun
10.x	Spark Universal 3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Aucun
11.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Aucun
12.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Stockage Blob Azure	Aucun
13.x	Spark Universal 3.4.x	ADLS Gen2 Avro Délimité Composants DQ Hive JSON Parquet Positionnel XML	Avro Délimité Composants DQ Hive JSON Parquet Positionnel XML	Aucun

Databricks sur Google Cloud Platform (GCP) pour Big Data
Version de Databricks sur GCP	Frameworks supportés	Éléments supportés dans Spark Batch	Éléments supportés dans Spark Streaming	Éléments supportés dans Standard
8.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Aucun
9.x	Spark Universal 3.1.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Aucun
10.x	Spark Universal 3.2.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Aucun
11.x	Spark Universal v3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen1 ADLS Gen2 Stockage Blob Azure	Aucun
12.x	Spark Universal 3.3.x	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Stockage Blob Azure	Hive S3 DynamoDB Snowflake MongoDB DeltaLake ADLS Gen2 Kinesis Stockage Blob Azure	Aucun
13.x	Spark Universal 3.4.x	ADLS Gen2 Avro Délimité Composants DQ Hive JSON Parquet Positionnel XML	Avro Délimité Composants DQ Hive JSON Parquet Positionnel XML	Aucun

Google Dataproc
Version Google Dataproc	Frameworks supportés	Éléments supportés dans Spark Batch	Éléments supportés dans Spark Streaming	Éléments supportés dans Standard
2.0.x	Availability-noteDeprecated Standard Spark Universal 3.1.x	Hive BigQuery Google Storage Avro Délimité Parquet Positionnel XML JSON	Hive BigQuery Google Storage Avro Délimité Parquet Positionnel XML JSON Google PubSub	Hive
2.1	Spark Universal 3.3.x	Hive BigQuery Google Storage Avro Délimité Parquet Positionnel XML JSON	Hive BigQuery Google Storage Avro Délimité Parquet Positionnel XML JSON Google PubSub	Hive

Microsoft HDInsight pour Big Data
Version de Microsoft HDInsight	Frameworks supportés	Éléments supportés dans Spark Batch	Éléments supportés dans Spark Streaming	Éléments supportés dans Standard
4.0	Availability-noteDeprecated Spark 2.3 et 2.4	ADLS Gen2 Stockage Blob Azure Hive	ADLS Gen2 Stockage Blob Azure Hive	ADLS Gen2 Stockage Blob Azure Hive
5.0	Spark Universal 3.1.x	ADLS Gen2 Stockage Blob Azure Hive	ADLS Gen2 Stockage Blob Azure Hive	ADLS Gen2 Stockage Blob Azure Hive
5.1	Spark Universal 3.3.x	ADLS Gen2 Stockage Blob Azure Hive	ADLS Gen2 Stockage Blob Azure Hive	ADLS Gen2 Stockage Blob Azure Hive

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici