Laissez vos commentaires ici
Définir les paramètres de connexion à Cloudera Data Engineering avec Spark Universal
Dernière mise à jour : 27/10/2026
Pourquoi et quand exécuter cette tâche
Le Studio Talend se connecte au service Cloudera Data Engineering (CDE) pour exécuter le Job Spark depuis ce cluster.
Procédure
- Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
-
Sélectionnez Built-in dans la liste déroulante Property type.
Si vous avez déjà configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion à Hadoop, vous pouvez réutiliser ces paramètres. Pour ce faire, sélectionnez Repository dans la liste Property type, cliquez sur le bouton [...] pour ouvrir la boîte de dialogue Repository Content et sélectionnez la connexion à Hadoop à utiliser.Note InformationsConseil : Setting up the connection in the Repository allows you to avoid configuring that connection each time you need it in the Spark configuration view of your Jobs. The fields are automatically filled.
- Sélectionnez Universal dans la liste déroulante Distribution, la version Spark de votre choix dans la liste déroulante Version et Cloudera Data Engineering dans la liste déroulante Runtime mode/environment (Mode/environnement du Runtime).
-
Saisissez les informations simples de Configuration :
Paramètre Utilisation Parallelize output files writing (Paralléliser l'écriture des fichiers de sortie) Cochez cette case pour permettre au Job Spark Batch d'exécuter plusieurs threads en parallèle lors de l'écriture de fichiers de sortie. Cette option améliore les performances du temps d'exécution. Lorsque vous laissez cette case décochée, les fichiers de sortie sont écrits en séquence dans un seul thread.
Au niveau des sous-Jobs, chacun est traité en séquence. Seul le fichier de sortie contenu dans le sous-Job est parallélisé.
Cette option est disponible uniquement pour les Jobs Spark Batch contenant les composants de sortie suivants :- tAvroOutput
- tFileOutputDelimited (uniquement lorsque la case Use dataset API in migrated components (Utiliser l'API Dataset dans les composants migrés) est cochée)
- tFileOutputParquet
Note InformationsImportant : Pour éviter les problèmes de mémoire au cours de l'exécution du Job, vous devez prendre en compte la taille des fichiers en cours d'écriture et la capacité de l'environnement d’exécution utilisant ce paramètre. -
Renseignez les paramètres CDE configuration :
Paramètre Utilisation API endpoint (Endpoint d'API) Saisissez l'endpoint de l'API CDE. Vous pouvez trouver l'URL depuis le lien JOBS API URL. API token (Jeton d'API) Saisissez le jeton CDE à utiliser pour l'authentification à l'API. L'URL doit respecter le format suivant : [BASE_URL]/gateway/authtkn. Pour plus d'informations, consultez CDE API access token dans la documentation Cloudera (en anglais). Cette propriété est disponible uniquement lorsque la case Auto generate token est décochée.
Auto generate token Cochez cette case pour créer un jeton avant de soumettre le Job. - CDE token endpoint : saisissez le jeton CDE à utiliser.
- Workload user : saisissez le nom d'utilisateur·trice de workload CDP à utiliser pour générer un jeton. Pour plus d'informations, consultez la CDP workload user dans la documentation Cloudera (en anglais).
- Workload password : saisissez le mot de passe associé à l'utilisateur·trice de workload.
Enable client debugging Cochez cette case pour activer le log de débogage pour le client d'API CDE. Override dependencies Cochez cette case pour écraser les dépendances requises pour Spark. Job status/logs polling interval (in ms) Saisissez l'intervalle de temps (en millisecondes) à la fin duquel vous souhaitez que le Studio Talend demande à Spark le statut de votre Job. Fetch driver logs Cochez cette case pour récupérer les logs du pilote lors de l'exécution. Vous pouvez choisir de récupérer les informations suivantes en cochant la case : - Standard output
- Error output
Advanced parameters Cochez cette case pour saisir les paramètres avancés d'API CDE suivants : - Number of executors : saisissez le nombre d'exécuteurs.
- Driver cores : saisissez le nombre de cœurs de pilotes.
- Driver memory : saisissez la taille de la mémoire à allouer à chaque pilote.
- Executor cores : saisissez le nombre de cœurs d'exécuteurs.
- Executor memory : saisissez la taille de la mémoire à allouer à chaque exécuteur.
Résultats
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.