Accéder au contenu principal Passer au contenu complémentaire
Ressources Qlik
Chargement de la recherche avec SearchUnify Si vous avez besoin d'aide avec votre produit, contactez le Support Qlik.
Qlik Customer Portal
Chargement de la recherche avec SearchUnify Si vous avez besoin d'aide avec votre produit, contactez le Support Qlik.
Qlik Customer Portal

Définir les paramètres de connexion des scripts Spark-submit avec Spark Universal

Dernière mise à jour : 27/10/2026

Le mode Spark-submit des scripts vous permet de tirer parti d'un cluster HPE Data Fabric v9.1.x pour exécuter vos Jobs Spark Batch.

Pour plus d'informations, consultez la documentation HPE Data Fabric (en anglais).

Vous pouvez également utiliser ce mode avec d'autres clusters. Cela est possible car les scripts Spark-submit sont conçus pour fonctionner avec tous les gestionnaires de clusters supportés par Spark, comme vous pouvez le constater dans la documentation Spark cluster managers (uniquement en anglais) (en anglais).

Procédure

  1. Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
  2. Sélectionnez Built-in dans la liste déroulante Property type.
    Si vous avez déjà configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion à Hadoop, vous pouvez réutiliser ces paramètres. Pour ce faire, sélectionnez Repository dans la liste Property type, cliquez sur le bouton [...] pour ouvrir la boîte de dialogue Repository Content et sélectionnez la connexion à Hadoop à utiliser.
    Note InformationsConseil : Setting up the connection in the Repository allows you to avoid configuring that connection each time you need it in the Spark configuration view of your Jobs. The fields are automatically filled.
  3. Sélectionnez Universal dans la liste déroulante Distribution, la version Spark de votre choix dans la liste déroulante Version et Spark-submit scripts (Scripts spark-submit) dans la liste déroulante Runtime mode/environment (Mode/environnement du Runtime).
  4. Spécifiez le chemin d'accès au répertoire du cluster dans lequel est stocké le script spark-submit, par exemple /opt/mapr/spark/spark-3.3.2.
  5. Saisissez les informations simples de configuration :
    Paramètre Utilisation
    Parallelize output files writing (Paralléliser l'écriture des fichiers de sortie) Cochez cette case pour permettre au Job Spark Batch d'exécuter plusieurs threads en parallèle lors de l'écriture de fichiers de sortie. Cette option améliore les performances du temps d'exécution.

    Lorsque vous laissez cette case décochée, les fichiers de sortie sont écrits en séquence dans un seul thread.

    Au niveau des sous-Jobs, chacun est traité en séquence. Seul le fichier de sortie contenu dans le sous-Job est parallélisé.

    Cette option est disponible uniquement pour les Jobs Spark Batch contenant les composants de sortie suivants :
    • tAvroOutput
    • tFileOutputDelimited (uniquement lorsque la case Use dataset API in migrated components (Utiliser l'API Dataset dans les composants migrés) est cochée)
    • tFileOutputParquet
    Note InformationsImportant : Pour éviter les problèmes de mémoire au cours de l'exécution du Job, vous devez prendre en compte la taille des fichiers en cours d'écriture et la capacité de l'environnement d’exécution utilisant ce paramètre.
  6. Facultatif : Cochez la case Use MapR Ticket authentication (Utiliser l'authentification par Ticket MapR) afin de vous authentifier via un Ticket MapR et saisissez les informations suivantes :
    Paramètre Utilisation
    Password (Mot de passe) Saisissez votre mot de passe pour vous authentifier à l'aide d'un Ticket MapR.
    Cluster name Saisissez le nom du cluster à utiliser.
    Durée du ticket Saisissez la durée du ticket, en secondes. Par exemple : 86400L, où L correspond à un entier long.
    Set the MapR home directory (Définir le répertoire principal MapR) Cochez cette case et saisissez le chemin du répertoire principal MapR.
    Specify the Hadoop login configuration (Spécifier la configuration de connexion à Hadoop) Cochez cette case et saisissez l'identifiant de connexion à Hadoop.

Résultats

Les informations de connexion sont renseignées. Vous êtes prêt·e à ordonnancer les exécutions de votre Job Spark ou à l'exécuter immédiatement.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici