Accéder au contenu principal Passer au contenu complémentaire

Définir les paramètres de connexion à Livy Knox avec Spark Universal

Pourquoi et quand exécuter cette tâche

Le se connecte à un cluster Livy Knox pour exécuter le Job depuis ce cluster.

Procédure

  1. Cliquez sur la vue Run sous l'espace de modélisation graphique, puis cliquez sur la vue Spark configuration.
  2. Sélectionnez Built-in dans la liste déroulante Property type.
    Si vous avez déjà configuré les paramètres de connexion dans le Repository, comme expliqué dans Centraliser une connexion à Hadoop, vous pouvez réutiliser ces paramètres. Pour ce faire, sélectionnez Repository dans la liste Property type, cliquez sur le bouton [...] pour ouvrir la boîte de dialogue Repository Content et sélectionnez la connexion à Hadoop à utiliser.
    Note InformationsConseil : Configurer la connexion dans le Repository vous permet d'éviter de configurer cette connexion chaque fois que vous en avez besoin dans la vue Spark Configuration de vos Jobs Spark. Les champs sont automatiquement renseignés.
  3. Sélectionnez Universal dans la liste déroulante Distribution, la version Spark de votre choix dans la liste déroulante Version et Livy Knox dans la liste déroulante Runtime mode/environment (Mode/environnement du Runtime).
  4. Saisissez les informations de configuration de Knox :
    Paramètre Utilisation
    Knox URL (URL de Knox) Spécifiez l'adresse de votre passerelle Apache Knox Gateway, qui joue le rôle de point d'entrée sécurisé pour accéder à votre serveur Livy.
    Knox user (Utilisateur de Knox) Spécifiez l'identifiant à utiliser pour l'authentification via Apache Knox Gateway lors de la connexion au serveur Livy.
    Knox password (Mot de passe de Knox) Spécifiez le mot de passe associé au compte utilisateur·trice Knox.
    Knox directory (Répertoire de Knox) Spécifiez le chemin de la passerelle Apache Knox Gateway sur laquelle le service Livy est déployé.
    Knox session timeout (in sec) (Délai avant expiration de la session Knox (en sec)) Spécifiez, en secondes, la durée maximale d'activité d'une session lors d'une authentification via la passerelle Apache Knox Gateway.
    Poll interval when retrieving Job status (in ms) Spécifiez, en millisecondes, la fréquence de vérification des mises à jour des statuts de votre Job Spark par Spark Universal.
    Maximum number of consecutive statuses missing Spécifiez combien de fois d'affilée votre connexion à Spark Universal peut échouer à récupérer le statut d'un Job avant de considérer ce Job comme perdu ou en échec.
  5. Saisissez les informations simples de configuration :

Résultats

Les informations de connexion sont renseignées. Vous êtes prêt·e à ordonnancer les exécutions de votre Job Spark ou à l'exécuter immédiatement.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.