Définir les paramètres de connexion à Databricks avec Spark Universal

Pourquoi et quand exécuter cette tâche

Le Studio Talend se connecte à un cluster universel Databricks afin d'exécuter le Job depuis ce cluster.

Procédure

Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
Sélectionnez Built-in dans la liste déroulante Property type.
Si vous avez déjà configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion à Hadoop, vous pouvez réutiliser ces paramètres. Pour ce faire, sélectionnez Repository dans la liste Property type, cliquez sur le bouton [...] pour ouvrir la boîte de dialogue Repository Content et sélectionnez la connexion à Hadoop à utiliser.
Note InformationsConseil : Configurer la connexion dans le Repository vous permet d'éviter de configurer cette connexion chaque fois que vous en avez besoin dans la vue Spark Configuration de vos Jobs Spark. Les champs sont automatiquement renseignés.
Sélectionnez Universal dans la liste déroulante Distribution, la version Spark de votre choix dans la liste déroulante Version et Databricks dans la liste déroulante Runtime mode/environment (Mode/environnement du Runtime).

Saisissez les informations simples de configuration :

Paramètre	Utilisation
Use local timezone	Cochez cette case pour laisser Spark utiliser le fuseau horaire local fourni par le système. Note InformationsRemarque : Si vous décochez cette case, Spark utilise le fuseau horaire UTC. Certains composants ont également une case Use local timezone for date. Si vous décochez la case du composant, il hérite du fuseau horaire de la configuration Spark.
Use dataset API in migrated components	Cochez cette case pour laisser les composants utiliser l'API Dataset (DS) au lieu de l'API RDD (Resilient Distributed Dataset) : Si vous cochez la case, les composants dans le Job s'exécutent avec DS, ce qui améliore les performances. Si vous décochez la case, les composants dans le Job s'exécutent avec RDD, ce qui signifie que le Job reste inchangé. Cela assure la rétrocompatibilité. Cette case est cochée par défaut, mais, si vous importez des Jobs depuis une version 7.3 vers une plus ancienne, la case sera décochée, car ces Jobs s'exécutent avec RDD. Note InformationsImportant : Si votre Job contient les composants tDeltaLakeInput et tDeltaLakeOutput, vous devez cocher cette case.
Use timestamp for dataset components	Cochez cette case pour utiliser java.sql.Timestamp pour les dates. Note InformationsRemarque : Si vous laissez cette case décochée, java.sql.Timestamp ou java.sql.Date peut être utilisé, selon le modèle.

Paramètre

Utilisation

Use local timezone

Cochez cette case pour laisser Spark utiliser le fuseau horaire local fourni par le système.

Remarque :

Si vous décochez cette case, Spark utilise le fuseau horaire UTC.
Certains composants ont également une case Use local timezone for date. Si vous décochez la case du composant, il hérite du fuseau horaire de la configuration Spark.

Use dataset API in migrated components

Cochez cette case pour laisser les composants utiliser l'API Dataset (DS) au lieu de l'API RDD (Resilient Distributed Dataset) :

Si vous cochez la case, les composants dans le Job s'exécutent avec DS, ce qui améliore les performances.
Si vous décochez la case, les composants dans le Job s'exécutent avec RDD, ce qui signifie que le Job reste inchangé. Cela assure la rétrocompatibilité.

Cette case est cochée par défaut, mais, si vous importez des Jobs depuis une version 7.3 vers une plus ancienne, la case sera décochée, car ces Jobs s'exécutent avec RDD.

Important : Si votre Job contient les composants tDeltaLakeInput et tDeltaLakeOutput, vous devez cocher cette case.

Use timestamp for dataset components

Cochez cette case pour utiliser java.sql.Timestamp pour les dates.

Remarque : Si vous laissez cette case décochée, java.sql.Timestamp ou java.sql.Date peut être utilisé, selon le modèle.

Renseignez les paramètres Databricks configuration :

Paramètre	Utilisation
Cloud provider	Sélectionnez le fournisseur de Cloud à utiliser : AWS, Azure ou GCP.
Run mode	Sélectionnez le mode à utiliser pour exécuter votre Job sur un cluster Databricks lorsque vous exécutez votre Job dans le Studio Talend. Avec Create and run now (Créer et exécuter maintenant), un Job est créé et exécuté immédiatement sur Databricks et avec Runs submit (Soumettre les exécutions), une exécution simple est soumise sans créer de Job dans Databricks.
Use pool	Cochez cette case pour tirer parti d'un pool de Databricks. Le cas échéant, vous devez indiquer un identifiant de pool (Pool ID) en lieu et place de l'identifiant de cluster Cluster ID. Vous devez également sélectionner Job clusters (Clusters de jobs) dans la liste déroulante Cluster type (Type de cluster).
Endpoint	Saisissez l'URL de votre espace de travail.
Cluster ID	Saisissez l'ID de votre cluster Databricks à utiliser. Cet ID est la valeur de la propriété spark.databricks.clusterUsageTags.clusterId de votre cluster Spark. Vous pouvez trouver cette propriété dans la liste des propriétés dans l'onglet Environment dans la vue Spark UI de votre cluster.
Token	Saisissez le jeton d'authentification généré pour votre compte Databricks.
DBFS dependencies folder	Saisissez le répertoire utilisé pour stocker les dépendances relatives à votre Job sur Databricks Filesystem pendant l'exécution, en insérant un slash (/) à la fin du répertoire. Par exemple, saisissez /jars/ pour stocker les dépendances dans un dossier appelé jars. Ce dossier est créé à la volée s'il n'existe pas.
Project ID	Saisissez l'ID de votre projet Google Platform où se situe le projet Databricks. Ce champ est disponible uniquement lorsque vous sélectionnez GCP dans la liste déroulante Cloud provider.
Bucket	Saisissez le nom du bucket à utiliser pour Databricks depuis Google Platform. Ce champ est disponible uniquement lorsque vous sélectionnez GCP dans la liste déroulante Cloud provider.
Workspace ID	Saisissez l'ID de votre espace de travail Google Platform en respectant le format suivant : `databricks-workspaceid`. Ce champ est disponible uniquement lorsque vous sélectionnez GCP dans la liste déroulante Cloud provider.
Identifiants Google	Saisissez le chemin du répertoire dans lequel le fichier JSON contenant votre clé de compte de service est stocké, sur la machine de Talend JobServer. Ce champ est disponible uniquement lorsque vous sélectionnez GCP dans la liste déroulante Cloud provider.
Poll interval when retrieving Job status (in ms)	Saisissez l'intervalle de temps (en millisecondes) à la fin duquel vous souhaitez que le Studio Talend demande à Spark le statut de votre Job.
Cluster type	Sélectionnez le type de cluster à utiliser dans la liste déroulante. Pour plus d'informations, consultez À propos des clusters Databricks.
Do not restart the cluster when submitting	Cochez cette case pour empêcher le Studio Talend de redémarrer le cluster lorsque le Studio Talend soumet vos Jobs. Cependant, si vous apportez des modifications à vos Jobs, décochez cette case afin que le Studio Talend redémarre votre cluster pour prendre ces modifications en compte.

Spark "scratch" directory, saisissez le répertoire dans lequel le Studio Talend stocke, dans le système local, les fichiers temporaires comme les fichiers JAR à transférer. Si vous lancez votre Job sous Windows, le disque par défaut est C:. Si vous laissez /tmp dans ce champ, ce répertoire est C:/tmp.
S'il vous faut un Job résistant aux échecs, cochez la case Activate checkpointing pour activer l'opération de points de contrôle Spark. Dans le champ Checkpoint directory, saisissez le chemin du répertoire dans lequel Spark stocke, dans le système de fichiers du cluster, les données contextuelles des calculs, comme les métadonnées et les RDD générés par ce calcul.
Dans la table Advanced properties, ajoutez toute propriété Spark à utiliser pour écraser la propriété équivalente utilisée par le Studio Talend.

Résultats

Les informations de connexion au cluster Databricks sont renseignées. Vous êtes prêt·e à ordonnancer les exécutions de votre Job ou à l'exécuter immédiatement depuis ce cluster.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici