Définir les paramètres de connexion à Databricks avec Spark Structured Streaming

Configurez une connexion Databricks pour un Job Spark Structured Streaming.

1. Cliquez sur la vue Run (Exécuter) sous l'espace de modélisation graphique, puis sur la vue Structured Streaming configuration.
2. Sélectionnez Built-in (Intégré) dans la liste Property type (Type de propriété).
3. Sélectionnez Universal dans la liste Distribution, la version Spark de votre choix, puis Databricks dans la liste Runtime mode/environment (Mode/environnement du Runtime).
4. Renseignez les paramètres Databricks configuration.

   Paramètre	Utilisation
   Cloud provider	Sélectionnez le fournisseur de Cloud à utiliser : AWS, Azure ou GCP.
   Run mode	Sélectionnez le mode à utiliser pour exécuter votre Job sur un cluster Databricks lorsque vous exécutez votre Job dans le Studio Talend. Avec Create and run now (Créer et exécuter maintenant), un Job est créé et exécuté immédiatement sur Databricks et avec Runs submit (Soumettre les exécutions), une exécution simple est soumise sans créer de Job dans Databricks.
   Enable Unity Catalog (Activer Unity Catalog)	Cochez cette case pour tirer parti des fonctionnalités d'Unity Catalog. Ensuite, spécifiez les informations relatives à Unity Catalog dans les paramètres Catalog (Catalogue), Schéma et Volume. Note InformationsImportant : All the parameters have to be created on Databricks with granted permissions for all authorized users before using them in Studio Talend.
   Use pool	Cochez cette case pour tirer parti d'un pool de Databricks. Le cas échéant, vous devez indiquer un identifiant de pool (Pool ID) en lieu et place de l'identifiant de cluster Cluster ID. Vous devez également sélectionner Job clusters (Clusters de jobs) dans la liste déroulante Cluster type (Type de cluster).
   Endpoint	Saisissez l'URL de votre espace de travail.
   Cluster ID	Saisissez l'ID de votre cluster Databricks à utiliser. Cet ID est la valeur de la propriété spark.databricks.clusterUsageTags.clusterId de votre cluster Spark. Vous pouvez trouver cette propriété dans la liste des propriétés dans l'onglet Environment dans la vue Spark UI de votre cluster.
   Authentication mode (Mode d'authentification)	Sélectionnez la méthode d'authentification à Databricks dans la liste déroulante : Personal access token (Jeton d'accès personnel) : authentification via un Jeton d'accès personnel. Pour plus d'informations, consultez Databricks personal access token authentication (uniquement en anglais) (en anglais) dans la documentation Databricks. Dans le champ Authentication token (Jeton d'authentification) : saisissez le jeton d'authentification généré pour votre compte Databricks. OAuth2 : authentification via OAuth2. Pour plus d'informations, consultez Authenticate access to Databricks using OAuth token federation (uniquement en anglais) dans la documentation Databricks (en anglais). Dans les champs Client ID et Secret ID, saisissez les identifiants clients générés pour votre principal de service Databricks.
   Dependencies folder (Dossier des dépendances)	Saisissez le répertoire utilisé pour stocker les dépendances relatives à votre Job sur Databricks Filesystem pendant l'exécution, en insérant un slash (/) à la fin du répertoire. Par exemple, saisissez /jars/ pour stocker les dépendances dans un dossier nommé jars. Ce dossier est créé à la volée s'il n'existe pas. À partir de Databricks 15.4 LTS, l'emplacement par défaut de la bibliothèque est déplacé de DBFS à WORKSPACE.
   Project ID	Saisissez l'ID de votre projet Google Platform où se situe le projet Databricks. Ce champ est disponible uniquement lorsque vous sélectionnez GCP dans la liste déroulante Cloud provider.
   Bucket	Saisissez le nom du bucket à utiliser pour Databricks depuis Google Platform. Ce champ est disponible uniquement lorsque vous sélectionnez GCP dans la liste déroulante Cloud provider.
   Workspace ID	Saisissez l'ID de votre espace de travail Google Platform en respectant le format suivant : databricks-workspaceid. Ce champ est disponible uniquement lorsque vous sélectionnez GCP dans la liste déroulante Cloud provider.
   Google credentials (Identifiants Google)	Saisissez le chemin du répertoire dans lequel le fichier JSON contenant votre clé de compte de service est stocké, sur la machine de Talend JobServer. Ce champ est disponible uniquement lorsque vous sélectionnez GCP dans la liste déroulante Cloud provider.
   Poll interval when retrieving Job status (in ms) (Intervalle d'interrogation lors de la récupération du statut du Job (en ms))	Saisissez l'intervalle de temps (en millisecondes) à la fin duquel vous souhaitez que le Studio Talend demande à Spark le statut de votre Job.
   Cluster type	Sélectionnez le type de cluster à utiliser dans la liste déroulante. Pour plus d'informations, consultez À propos des clusters Databricks. Note InformationsRemarque : When you run the Job using Studio Talend with Java 17, you need to set the JNAME=zulu17-ca-amd64 environment variable: on Databricks side for job clusters in Init scripts using the set_java17_dbr.sh script on S3 for all-purpose clusters DBFS n'est plus supporté comme emplacement des scripts Init Scripts. Pour toutes les versions de Databricks, ce chemin pointe à présent vers WORKSPACE.
   Use policy (Utiliser la politique)	Cochez cette case pour saisir le nom de la politique à utiliser par votre cluster de Jobs. Utiliser une politique vous permet de limiter la possibilité de configurer des clusters en vous basant sur un jeu de règles. Pour plus d'informations concernant les politiques de cluster, consultez Manage cluster policies (uniquement en anglais) dans la documentation officielle de Databricks.
   Use DBFS to upload dependencies (Utiliser DBFS pour charger les dépendances)	Cochez cette case pour charger les dépendances dans DBFS.
   Enable ACL (Activer l'ACL)	Cochez cette case pour utiliser les listes de contrôle d'accès (ACL) afin de configurer les autorisations d'accès aux objets au niveau des espaces de travail ou des comptes. Dans ACL permission (Autorisation ACL), vous pouvez configurer l'autorisation d'accéder aux objets des espaces de travail via CAN_MANAGE, CAN_MANAGE_RUN, IS_OWNER ou CAN_VIEW. Dans ACL type (Type d'ACL), vous pouvez configurer l'autorisation d'utiliser des objets de niveau compte via User (Utilisateur), Group (Groupe) ou Service Principal (Principal de service). Dans le champ Name (Nom), saisissez le nom donné par l'administrateur·trice. Cette option est disponible lorsque l'option Cluster type (Type de cluster) est configurée à Job clusters (Clusters de Jobs). Pour plus d'informations, consultez la documentation Databricks (uniquement en anglais) (en anglais).
   Autoscale (Dimensionnement automatique)	Cochez ou décochez cette case pour définir le nombre de workers à utiliser avec votre cluster de Jobs. Si vous cochez cette case, l'ajustement automatique sera activé. Puis définissez le nombre minimum de workers dans Min workers et le nombre maximum de workers dans Max workers. Votre cluster de Jobs est ajusté automatiquement au sein de cet intervalle en fonction de la charge de travail. Si vous cochez cette case, l'ajustement automatique sera activé. Puis définissez le nombre minimum de workers dans Min workers et le nombre maximum de workers dans Max workers. Votre cluster de Jobs est ajusté automatiquement au sein de cet intervalle en fonction de la charge de travail. Selon la documentation Databricks, l'ajustement automatiquement fonctionne mieux sur les versions d'exécution 3.0 de Databricks ou plus récentes. Si vous décochez cette case, l'ajustement automatique est désactivé. Puis définissez le nombre de workers attendus dans un cluster de Jobs. Ce nombre n'inclut pas le nœud du pilote Spark.
   Node type (Type de nœud) et Driver node type (Type de nœud du pilote)	Sélectionnez les types de nœuds pour les workers et le nœud du pilote Spark. Ces types déterminent la capacité de vos noeuds et leur tarification par Databricks. Pour plus d'informations concernant ces types de nœuds et les Databricks Units qu'ils utilisent, consultez Supported Instance Types (uniquement en anglais) (en anglais) dans la documentation Databricks.
   Enable credentials passthrough	Cochez cette case pour désactiver le transfert des identifiants utilisateur·trices lors de la connexion à Databricks Universal. Lorsque cette option est sélectionnée, les identifiants individuels des utilisateur·trices ne sont pas utilisés pour l'authentification aux sources de données.
   Configure cluster logs (Configurer les logs du cluster)	Cochez cette case afin de définir où stocker vos logs Spark sur le long terme.
   Custom tags	Cochez cette case pour ajouter des tags personnalisés à vos ressources Databricks sous forme de paires clé-valeur.
   Init scripts	DBFS n'est plus supporté comme emplacement des scripts Init Scripts. Pour toutes les versions de Databricks, ce chemin pointe à présent vers WORKSPACE.
   Do not restart the cluster when submitting	Cochez cette case pour empêcher le Studio Talend de redémarrer le cluster lorsque le Studio Talend soumet vos Jobs. Cependant, si vous apportez des modifications à vos Jobs, décochez cette case afin que le Studio Talend redémarre votre cluster pour prendre ces modifications en compte.