Accéder au contenu principal Passer au contenu complémentaire

Configurer Spark Job Server

Procédure

  1. Ouvrez le fichier <Spark_Job_Server_Path>/settings.sh.
  2. Modifiez la ligne suivante pour spécifier l'adresse IP que vous souhaitez que le service Spark Job Server utilise. Ce service écoutera sur cette adresse IP.
    sjs_host=localhost
  3. Modifiez la ligne suivante pour spécifier le port que vous souhaitez que le service Spark Job Server utilise. Ce service écoutera sur ce port.
    sjs_port=8098
  4. Modifiez la ligne suivante pour spécifier le chemin d'accès au répertoire des propriétés du cluster Hadoop. Notez que le chemin d'accès doit être local : vous pouvez récupérer les fichiers de configuration (hdfs-site.xml, mapred-side.xml, core-site.xml, yarn-site.xml par exemple) depuis votre cluster Hadoop pour les copier sur la machine où Spark Job Server est installé.
    hadoop_conf_dir=/path/to/hadoop/cluster/settings/directory
  5. Pour utiliser le serveur Spark Job Server avec un cluster Hadoop sécurisé (en utilisant Kerberos), ajoutez la ligne suivante au fichier. Notez que le chemin d'accès doit être local : vous pouvez récupérer le fichier krb5.conf depuis votre cluster Hadoop pour le copier sur la machine où Spark Job Server est installé.
    krb5.config=/path/to/Kerberos/configuration/file/krb5.conf
  6. Enregistrez les modifications sur le fichier de propriétés.
  7. Redémarrez Spark Job Server afin de prendre en compte vos modifications.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.