Définir les détails de connexion Spark Universal dans la vue Spark Configuration (Configuration de Spark)
Configurez la connexion Spark Universal dans l'onglet Spark configuration de la vue Run de votre Job. Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.
| Mode ou environnement | Description |
|---|---|
| Cloudera Data Engineering | Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis le service Cloudera Data Engineering. Pour plus d'informations, consultez Définir les paramètres de connexion à Cloudera Data Engineering avec Spark Universal. |
| Databricks | Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis Databricks. Le pilote Spark s'exécute sur un cluster de jobs Databricks ou sur un cluster universel Databricks sur GCP, AWS ou Azure. Pour plus d'informations, consultez Définir les paramètres de connexion à Databricks avec Spark Universal. |
| Dataproc | Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis Dataproc. Pour plus d'informations, consultez Définir les paramètres de connexion à Dataproc avec Spark Universal. |
| Kubernetes | Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis Kubernetes. Le pilote Spark s'exécute sur le cluster géré par Kubernetes et peut s'exécuter indépendamment de votre Studio Talend. Pour plus d'informations, consultez Définir les paramètres de connexion à Kubernetes avec Spark Universal. |
| local | Le Studio Talend construit l'environnement Spark en lui-même au moment de l'exécution locale du Job dans le Studio Talend. Avec ce mode, chaque processeur de la machine locale est utilisé comme Worker Spark pour effectuer les calculs. Pour plus d'informations, consultez Définir les paramètres de connexion locale avec Spark Universal. |
| Spark-submit scripts (Scripts Spark-submit) | Le Studio Talend soumet des Jobs et collecte les informations d'exécution de vos Jobs depuis YARN et ApplicationMaster de votre cluster, par exemple un cluster HPE Data Fabric. Le pilote Spark s'exécute sur le cluster et peut s'exécuter indépendamment de votre Studio Talend. Pour plus d'informations, consultez Définir les paramètres de connexion des scripts Spark-submit avec Spark Universal. |
| Standalone | Le Studio Talend se connecte à un cluster configuré pour Spark afin d'exécuter le Job depuis ce cluster. Pour plus d'informations, consultez Définir les paramètres de connexion standalone avec Spark Universal. |
| Synapse | Le Studio Talend soumet les Jobs et en collecte les informations d'exécution depuis Azure Synapse Analytics. Pour plus d'informations, consultez Définir les paramètres de connexion Azure Synapse Analytics avec Spark Universal. |
| Yarn cluster | Le Studio Talend soumet des Jobs et collecte les informations d'exécution de vos Jobs depuis YARN et ApplicationMaster. Le pilote Spark s'exécute sur le cluster et peut s'exécuter indépendamment de votre Studio Talend. Pour plus d'informations, consultez Définir les paramètres de connexion au cluster YARN avec Spark Universal. |