Accéder au contenu principal Passer au contenu complémentaire
Ressources Qlik
Chargement de la recherche avec SearchUnify Si vous avez besoin d'aide avec votre produit, contactez le Support Qlik.
Qlik Customer Portal
Chargement de la recherche avec SearchUnify Si vous avez besoin d'aide avec votre produit, contactez le Support Qlik.
Qlik Customer Portal

Définir les paramètres de connexion des scripts Spark-submit avec Spark Universal

Le mode Spark-submit des scripts vous permet de tirer parti d'un cluster HPE Ezmeral Data Fabric v9.1.x pour exécuter vos Jobs Spark Batch.

Pour plus d'informations concernant HPE Data Fabric, consultez la documentation.

Vous pouvez également utiliser ce mode avec d'autres clusters. Cela est possible car les scripts Spark-submit sont conçus pour fonctionner avec tous les gestionnaires de clusters supportés par Spark, comme vous pouvez le constater dans la documentation Spark cluster managers (uniquement en anglais) (en anglais).

Procédure

  1. Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
  2. Sélectionnez Built-in dans la liste déroulante Property type.
    Si vous avez déjà configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion à Hadoop, vous pouvez réutiliser ces paramètres. Pour ce faire, sélectionnez Repository dans la liste Property type, cliquez sur le bouton [...] pour ouvrir la boîte de dialogue Repository Content et sélectionnez la connexion à Hadoop à utiliser.
    Note InformationsConseil : Configurer la connexion dans le Repository vous permet d'éviter de configurer cette connexion chaque fois que vous en avez besoin dans la vue Spark Configuration de vos Jobs Spark. Les champs sont automatiquement renseignés.
  3. Sélectionnez Universal dans la liste déroulante Distribution, la version Spark de votre choix dans la liste déroulante Version et Spark-submit scripts (Scripts spark-submit) dans la liste déroulante Runtime mode/environment (Mode/environnement du Runtime).
  4. Spécifiez le chemin d'accès au répertoire du cluster dans lequel sont stockés les scripts Spark-submit, par exemple /opt/mapr/spark/spark-3.3.2.
  5. Si vous exécutez votre Job Spark sous Windows, spécifiez l'emplacement du programme winutils.exe :
    • Si vous souhaitez utiliser votre propre fichier winutils.exe, cochez la case Define the Hadoop home directory (Définir le répertoire Home Hadoop) et saisissez son chemin d'accès.
    • Sinon, laissez la case Define the Hadoop home directory décochée. Le Studio Talend va générer un répertoire et l'utiliser automatiquement pour ce Job.
  6. Saisissez les informations simples de configuration :
    Paramètre Utilisation
    Use local timezone Cochez cette case pour laisser Spark utiliser le fuseau horaire local fourni par le système.
    Note InformationsRemarque :
    • Si vous décochez cette case, Spark utilise le fuseau horaire UTC.
    • Certains composants ont également une case Use local timezone for date. Si vous décochez la case du composant, il hérite du fuseau horaire de la configuration Spark.
    Use dataset API in migrated components Cochez cette case pour laisser les composants utiliser l'API Dataset (DS) au lieu de l'API RDD (Resilient Distributed Dataset) :
    • Si vous cochez la case, les composants dans le Job s'exécutent avec DS, ce qui améliore les performances.
    • Si vous décochez la case, les composants dans le Job s'exécutent avec RDD, ce qui signifie que le Job reste inchangé. Cela assure la rétrocompatibilité.

    Cette case est cochée par défaut, mais, si vous importez des Jobs depuis une version 7.3 vers une plus ancienne, la case sera décochée, car ces Jobs s'exécutent avec RDD.

    Note InformationsImportant : Si votre Job contient les composants tDeltaLakeInput et tDeltaLakeOutput, vous devez cocher cette case.
    Use timestamp for dataset components Cochez cette case pour utiliser java.sql.Timestamp pour les dates.
    Note InformationsRemarque : Si vous laissez cette case décochée, java.sql.Timestamp ou java.sql.Date peut être utilisé, selon le modèle.
    Batch size (ms) Saisissez l'intervalle de temps à la fin duquel le Job Spark Streaming revoit la source de données pour identifier les modifications et traite les nouveaux micro-batchs.
    Define a streaming timeout (ms) Cochez cette case et, dans le champ qui s'affiche, saisissez la période de temps à la fin de laquelle le Job Spark Streaming s'arrête automatiquement.
    Note InformationsRemarque : Si vous utilisez Windows 10, il est recommandé de configurer un délai avant expiration raisonnable pour éviter que Windows Service Wrapper rencontre un problème lors de l'envoi d'un signal d'arrêt depuis les applications Java. Si vous rencontrez cette erreur, vous pouvez annuler l'exécution du Job manuellement, depuis votre espace de travail Azure Synapse Analytics.
    Parallelize output files writing (Paralléliser l'écriture des fichiers de sortie) Cochez cette case pour permettre au Job Spark Batch d'exécuter plusieurs threads en parallèle lors de l'écriture de fichiers de sortie. Cette option améliore les performances du temps d'exécution.

    Lorsque vous laissez cette case décochée, les fichiers de sortie sont écrits en séquence dans un thread.

    Au niveau des sous-Jobs, chacun est traité en séquence. Seul le fichier de sortie contenu dans le sous-Job est parallélisé.

    Cette option est disponible uniquement pour les Jobs Spark Batch contenant les composants de sortie suivants :
    • tAvroOutput
    • tFileOutputDelimited (uniquement lorsque la case Use dataset API in migrated components (Utiliser l'API Dataset dans les composants migrés) est cochée)
    • tFileOutputParquet
    Note InformationsImportant : Pour éviter les problèmes de mémoire au cours de l'exécution du Job, vous devez prendre en compte la taille des fichiers en cours d'écriture et la capacité de l'environnement d’exécution utilisant ce paramètre.
  7. Saisissez les informations d'authentification en spécifiant votre identifiant. Vous pouvez également utiliser Kerberos pour vous authentifier, en cochant la case Use Kerberos authentication (Utiliser l'authentification Kerberos).
  8. Facultatif : Cochez la case Use MapR Ticket authentication (Authentification par ticket MapR) afin de vous authentifier via un Ticket MapR et saisissez les informations suivantes :
    Paramètre Utilisation
    Password Saisissez votre mot de passe pour vous authentifier à l'aide d'un Ticket MapR.
    Cluster name Saisissez le nom du cluster à utiliser.
    Durée du ticket Saisissez la durée du ticket, en secondes. Par exemple : 86400L, où L correspond à un entier long.
    Set the MapR home directory (Définir le répertoire principal MapR) Cochez cette case et saisissez le chemin du répertoire principal MapR.
    Specify the Hadoop login configuration (Spécifier la configuration de connexion à Hadoop) Cochez cette case et saisissez l'identifiant de connexion à Hadoop.
  9. Cochez la case Set tuning properties (Configurer les propriétés d'ajustement) pour définir les paramètres d'ajustement, en suivant le processus présenté dans Personnaliser Spark pour les Jobs Apache Spark Batch.
    Note InformationsImportant : Vous devez définir les paramètres d'ajustement, sinon vous risquez d'obtenir une erreur (400 - Requête incorrecte).
  10. Dans le champ Spark "scratch" directory, saisissez le chemin du répertoire local dans lequel le Studio Talend stocke les fichiers temporaires.
    Si vous exécutez votre Job sous Windows, le disque par défaut est C:. Laisser /tmp dans ce champ utilise C:/tmp comme répertoire.
  11. Pour rendre votre Job résistant aux échecs, sélectionnez Activate checkpointing (Activer les points de contrôle) pour activer l'opération de points de contrôle Spark.
    Dans le champ Checkpoint directory (Répertoire des points de contrôle), saisissez le chemin d'accès au fichier système du cluster dans lequel Spark enregistre les données de contexte, comme les métadonnées et les RDD générés.
  12. Dans la table Advanced properties (Propriétés avancées), ajoutez toute propriété Spark dont vous souhaitez écraser la valeur par défaut configurée par le Studio Talend.
  13. Cochez la case Use Atlas (Utiliser Atlas) pour suivre le lignage de données, voir les composants des Jobs Spark et tracer les modifications de schéma entre les composants.
    Cette option est disponible uniquement pour Spark Universal 3.3.x.

    Lorsque cette option est activée, vous devez configurer les paramètres suivants :

    • Atlas URL (URL Atlas) : saisissez l'adresse de votre instance Atlas, par exemple http://name_of_your_atlas_node:port.

    • Dans les champs Username et Password, saisissez respectivement les informations d'authentification pour accéder à Atlas.

    • Set Atlas configuration folder (Définir le dossier de configuration Atlas) : cochez cette case si votre cluster Atlas utilise des propriétés personnalisées comme le SSL ou le délai avant expiration de la lecture. Dans le champ qui s'affiche, saisissez le chemin vers un répertoire local contenant votre fichier atlas-application.properties. Votre Job va utiliser ces propriétés personnalisées.

      Demandez ce fichier de configuration à l'administrateur·trice de votre cluster. Pour plus d'informations, consultez la section Client Configs dans la page Atlas configuration (uniquement en anglais) (en anglais).

    • Die on error : cochez cette case pour arrêter l'exécution du Job lorsque des problèmes relatifs à Atlas surviennent, par exemple des erreurs de connexion. Décochez cette case pour que votre Job continue à s'exécuter.

Résultats

Les informations de connexion sont renseignées. Vous êtes prêt·e à ordonnancer les exécutions de votre Job Spark ou à l'exécuter immédiatement.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici