SUR CETTE PAGE

Accéder au contenu principal

CETTE PAGE VOUS A-T-ELLE AIDÉ ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Définir les paramètres de connexion des scripts Spark-submit avec Spark Universal

Le mode Spark-submit des scripts vous permet de tirer parti d'un cluster HPE Data Fabric v9.1.x pour exécuter vos Jobs Spark Batch.

Pour plus d'informations, consultez la documentation HPE Data Fabric (en anglais).

Vous pouvez également utiliser ce mode avec d'autres clusters. Cela est possible car les scripts Spark-submit sont conçus pour fonctionner avec tous les gestionnaires de clusters supportés par Spark, comme vous pouvez le constater dans la documentation Spark cluster managers (en anglais).

Procédure

Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
Sélectionnez Built-in dans la liste déroulante Property type.
Si vous avez déjà configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion à Hadoop, vous pouvez réutiliser ces paramètres. Pour ce faire, sélectionnez Repository dans la liste Property type, cliquez sur le bouton [...] pour ouvrir la boîte de dialogue Repository Content et sélectionnez la connexion à Hadoop à utiliser.
Note InformationsConseil : Configurer la connexion dans le Repository vous permet d'éviter de configurer cette connexion chaque fois que vous en avez besoin dans la vue Spark Configuration de vos Jobs Spark. Les champs sont automatiquement renseignés.
Sélectionnez Universal dans la liste déroulante Distribution, la version Spark de votre choix dans la liste déroulante Version et Spark-submit scripts (Scripts spark-submit) dans la liste déroulante Runtime mode/environment (Mode/environnement du Runtime).
Spécifiez le chemin d'accès au répertoire du cluster dans lequel sont stockés les scripts Spark-submit, par exemple /opt/mapr/spark/spark-3.3.2.
Saisissez les informations simples de configuration :

Facultatif : Cochez la case Use MapR Ticket authentication (Authentification par ticket MapR) afin de vous authentifier via un Ticket MapR et saisissez les informations suivantes :

Paramètre	Utilisation
Password	Saisissez votre mot de passe pour vous authentifier à l'aide d'un Ticket MapR.
Cluster name	Saisissez le nom du cluster à utiliser.
Durée du ticket	Saisissez la durée du ticket, en secondes. Par exemple : 86400L, où L correspond à un entier long.
Set the MapR home directory (Définir le répertoire principal MapR)	Cochez cette case et saisissez le chemin du répertoire principal MapR.
Specify the Hadoop login configuration (Spécifier la configuration de connexion à Hadoop)	Cochez cette case et saisissez l'identifiant de connexion à Hadoop.

Résultats

Les informations de connexion sont renseignées. Vous êtes prêt·e à ordonnancer les exécutions de votre Job Spark ou à l'exécuter immédiatement.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici