Exécuter un Job avec Spark Universal
Spark Universal est un mécanisme permettant au Studio Talend d'être compatible avec toutes les distributions Big Data pour une version donnée de Spark. Vous choisissez une version de Spark et chargez un fichier JAR de configuration Hadoop contenant toutes les informations nécessaires à la connexion au cluster.
Lorsque vous utilisez Spark Universal dans le Studio Talend, seule la version 2.12 de Scala est supportée.
Modes Spark Universal et compatibilité des environnements
Le Studio Talend supporte les modes et environnements suivants, selon les versions de Spark :
| Mode ou environnement | Spark 2.4.x | Spark 3.0.x | Spark 3.1.x | Spark 3.2.x | Spark 3.3.x | Spark 3.4.x | Spark 3.5.x |
|---|---|---|---|---|---|---|---|
| Local mode | Supporté | Supporté | Supporté | Supporté | Supporté | Supporté | Supporté |
| Standalone | Non supporté | Non supporté | Non supportée | Supporté | Non supporté | Supporté | Non supporté |
| Mode Yarn cluster | Supporté | Supporté | Supporté | Supporté | Supportée | Non supporté | Non supporté |
| Databricks | Non supporté | Non supportée | Supporté | Supporté | Supporté | Supportée | Non supporté |
| Dataproc | Non supporté | Non supportée | Supporté | Supporté | Supportée | Non supporté | Non supporté |
| Cloudera Data Engineering | Non supporté | Non supportée | Supporté | Supportée | Non supporté | Non supporté | Non supporté |
| Kubernetes | Non supporté | Non supportée | Supporté | Non supporté | Non supporté | Non supporté | Non supporté |
| Spark-submit scripts (Scripts Spark-submit) | Non supporté | Non supporté | Non supporté | Non supportée | Supporté | Non supporté | Non supporté |
| Synapse | Non supporté | Non supporté | Non supportée | Supporté | Supportée | Non supporté | Non supporté |
| HDInsight | Non supporté | Non supportée | Supporté | Non supporté | Supporté | Non supporté | Non supporté |
| EMR Serverless | Non supporté | Non supporté | Non supportée | Supporté | Supportée | Non supporté | Non supporté |
Note InformationsRemarque :
- Azure Synapse Analytics avec Spark Universal 3.2.x et 3.3.x est supporté uniquement dans les Jobs Spark Batch.
- Les scripts Spark-submit avec Spark Universal 3.3.x sont supportés uniquement dans les Jobs Spark Batch.
Support des distributions Spark Universal
Le Studio Talend supporte les distributions suivantes en mode Yarn cluster (Cluster YARN), selon les versions de Spark :
Par exemple, si vous souhaitez vous connecter à un cluster Amazon EMR 6.2, vous devez sélectionner la version Spark 3.0.x et charger le fichier JAR de configuration Hadoop contenant tous les fichiers *-site.xml associés au cluster.
| Version de Spark | Distributions supportées en mode Yarn cluster (Cluster YARN) |
|---|---|
| Spark 2.4.x |
|
| Spark 3.0.x |
|
| Spark 3.1.x |
|
| Spark 3.2.x |
|
| Spark 3.3.x |
|
Cette liste de distributions n'est pas exhaustive. Vous pouvez utiliser un cluster YARN avec d'autres distributions si la version de Spark correspond. Cependant, gardez à l'esprit que ces configurations n'ont pas été officiellement testées par Talend et que leur fonctionnement n'est pas garanti.