Accéder au contenu principal Passer au contenu complémentaire

Définir les paramètres de connexion HDInsight avec Spark Universal

Complétez la configuration de la connexion à HDInsight avec Spark Universal dans l'onglet Spark configuration (Configuration Spark) de la vue Run (Exécuter) de votre Job Spark Batch. Cette connexion fonctionne uniquement pour le Job dans lequel vous l'avez définie.

Procédure

  1. Saisissez les informations simples de configuration pour vous connecter à HDInsight :
    1. Username (Identifiant) : saisissez votre identifiant pour le cluster HDInsight.
    2. Password (Mot de passe) : saisissez votre mot de passe pour le cluster HDInsight.
  2. Saisissez les informations simples de configuration pour Livy :
    1. Hostname (Nom d'hôte) : saisissez l'URL de votre cluster HDInsight.
    2. Port : saisissez le numéro du port. Le port par défaut est 443.
    3. Username (Identifiant) : saisissez l'identifiant défini lors de la création de votre cluster. Vous pouvez le trouver dans le panneau SSH + Cluster login, dans votre cluster.
  3. Définissez la configuration d'interrogation (polling) du statut du Job :
    1. Poll interval when retrieving Job status (in ms) (Intervalle d'interrogation lors de la récupération du statut du Job (en ms)) : saisissez l'intervalle de temps (en millisecondes) à l'issue duquel vous souhaitez que le Studio Talend interroge Spark au sujet du statut du Job.
    2. Dans le champ Maximum number of consecutive statuses missing, saisissez le nombre maximal de tentatives du Studio Talend pour obtenir un statut lorsqu'il n'y a pas de réponse.
  4. Saisissez les informations de configuration à Windows Azure Storage :
    Paramètre Utilisation
    Primary storage (Stockage primaire) Sélectionnez, dans la liste déroulante, le type de stockage dans lequel déployer votre Job :
    • ADLS Gen2
    • Azure Storage
    Mode d'authentification Sélectionnez, dans la liste déroulante, le type d'authentification à utiliser :
    • Azure Active Directory
    • Secret key
    Nom d'hôte Saisissez l'endpoint du service du Blob primaire de votre compte Azure Storage. Vous pouvez trouver cet endpoint dans le panneau Properties de ce compte de stockage.
    Container Saisissez le nom du conteneur à utiliser. Vous pouvez trouver les conteneurs disponibles dans le panneau Blob, dans le compte Azure Storage à utiliser.
    Directory ID Saisissez l'ID du répertoire.
    Application ID Saisissez l'ID de l'application.
    Client key Saisissez la clé du client.
    Deployment Blob Saisissez l'emplacement où vous souhaitez stocker le Job et ses bibliothèques dépendantes dans votre compte de stockage.
  5. Saisissez les informations simples de configuration :
    Paramètre Utilisation
    Define the hadoop home directory (Définir le répertoire Home Hadoop)
    Si vous devez exécuter votre Job Spark sur Windows, spécifiez l'emplacement du programme winutils.exe à utiliser :
    • Si vous savez où se trouve le fichier winutils.exe et que vous souhaitez l'utiliser, cochez la case Define the Hadoop home directory et saisissez le répertoire dans lequel est stocké winutils.exe.
    • Sinon, laissez la case Define the Hadoop home directory décochée, le Studio Talend en génère un lui-même et l'utilise automatiquement pour ce Job.
    Use local timezone Cochez cette case pour laisser Spark utiliser le fuseau horaire local fourni par le système.
    Note InformationsRemarque :
    • Si vous décochez cette case, Spark utilise le fuseau horaire UTC.
    • Certains composants ont également une case Use local timezone for date. Si vous décochez la case du composant, il hérite du fuseau horaire de la configuration Spark.
    Use dataset API in migrated components Cochez cette case pour laisser les composants utiliser l'API Dataset (DS) au lieu de l'API RDD (Resilient Distributed Dataset) :
    • Si vous cochez la case, les composants dans le Job Spark Batch s'exécutent avec DS, ce qui améliore les performances.
    • Si vous décochez la case, les composants dans le Job Spark Batch s'exécutent avec RDD, ce qui signifie que le Job reste inchangé. Cela assure la rétrocompatibilité.

    Cette case est cochée par défaut, mais, si vous importez des Jobs depuis une version 7.3 vers une plus ancienne, la case sera décochée, car ces Jobs s'exécutent avec RDD.

    Note InformationsImportant : Si votre Job Spark Batch contient les composants tDeltaLakeInput et tDeltaLakeOutput, vous devez cocher cette case.
    Use timestamp for dataset components Cochez cette case pour utiliser java.sql.Timestamp pour les dates.
    Note InformationsRemarque : Si vous laissez cette case décochée, java.sql.Timestamp ou java.sql.Date peut être utilisé, selon le modèle.
    Parallelize output files writing (Paralléliser l'écriture des fichiers de sortie) Cochez cette case pour permettre au Job Spark Batch d'exécuter plusieurs threads en parallèle lors de l'écriture de fichiers de sortie. Cette option améliore les performances du temps d'exécution.

    Lorsque vous laissez cette case décochée, les fichiers de sortie sont écrits en séquence dans un seul thread.

    Au niveau des sous-Jobs, chacun est traité en séquence. Seul le fichier de sortie contenu dans le sous-Job est parallélisé.

    Cette option est disponible uniquement pour les Jobs Spark Batch contenant les composants de sortie suivants :
    • tAvroOutput
    • tFileOutputDelimited (uniquement lorsque la case Use dataset API in migrated components (Utiliser l'API Dataset dans les composants migrés) est cochée)
    • tFileOutputParquet
    Note InformationsImportant : Pour éviter les problèmes de mémoire au cours de l'exécution du Job, vous devez prendre en compte la taille des fichiers en cours d'écriture et la capacité de l'environnement d’exécution utilisant ce paramètre.
  6. Cochez la case Set tuning properties (Configurer les propriétés d'ajustement) pour définir les paramètres d'ajustement, en suivant le processus présenté dans Personnaliser Spark pour les Jobs Apache Spark Batch.
    Note InformationsImportant : Vous devez définir les paramètres d'ajustement, sinon vous risquez d'obtenir une erreur (400 - Requête incorrecte).
  7. Dans le champ Spark "scratch" directory, saisissez le répertoire dans lequel le Studio Talend stocke, dans le système local, les fichiers temporaires comme les fichiers JAR à transférer. Si vous lancez votre Job sous Windows, le disque par défaut est C:. Si vous laissez /tmp dans ce champ, le répertoire est C:/tmp.
  8. S'il vous faut un Job résistant aux échecs, cochez la case Activate checkpointing pour activer l'opération de points de contrôle Spark. Dans le champ Checkpoint directory, saisissez le chemin du répertoire dans lequel Spark stocke, dans le système de fichiers du cluster, les données contextuelles des calculs, comme les métadonnées et les RDD générés par ce calcul.
  9. Dans la table Advanced properties, ajoutez toute propriété Spark à utiliser pour écraser la propriété équivalente utilisée par le Studio Talend.

Résultats

Les informations de connexion sont renseignées. Vous êtes prêt·e à ordonnancer les exécutions de votre Job Spark ou à l'exécuter immédiatement.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici