Accéder au contenu principal Passer au contenu complémentaire

Résoudre le problème de variable hdp.version pour les Jobs Spark

Procédure

  1. Définissez le paramètre hdp.version dans votre cluster.

    La façon la plus simple de le faire est d'ajouter ce paramètre au fichier de configuration yarn-site.xml.

    1. Dans Ambari, cliquez sur le service Yarn dans la liste de services à gauche, puis cliquez sur Configs pour ouvrir la page de configuration et cliquez sur l'onglet Advanced.
    2. Faites défiler la page jusqu'en bas pour trouver la liste Custom yarn-site et cliquez sur Custom yarn-site pour afficher la liste.
    3. Cliquez sur Add property pour ouvrir la boîte de dialogue [Add property].
    4. Saisissez hdp.version=2.6.0.3-8, le numéro de version trouvé en suivant la procédure au début de cet article concernant la manière de trouver la valeur hdp.version à utiliser, puis cliquez sur Add afin de valider les modifications. Le paramètre hdp.version s'affiche dans la liste de paramètres Custom yarn-site.
    5. Cliquez sur Save pour valider la nouvelle configuration et redémarrez les services pour implémenter le paramètre hdp.version dans le fichier yarn-site.xml.
  2. Dans le Studio, ouvrez le Job Spark à utiliser et cliquez sur l'onglet Run pour ouvrir cette vue.
  3. Cliquez sur Spark configuration, puis dans cette vue, cochez la case Set hdp.version et saisissez, entre guillemets doubles, le numéro de version que vous avez saisi dans le cluster. Dans cet exemple, il s'agit de 2.6.0.3-8.

    Cette procédure explique uniquement les actions à effectuer pour résoudre le problème de version HDP dans un Job Spark. Vous devez configurer correctement les autres parties de votre Job avant de pouvoir l'exécuter avec succès.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici