Accéder au contenu principal Passer au contenu complémentaire

Utiliser le filtre sur les propriétés Hadoop du Studio Talend pour résoudre le problème de moteur Tez avec Hive pour les Jobs Spark dans une distribution Hortonworks

Si vous devez utiliser le fichier original hive-site.xml de votre cluster Hortonworks ou si vous n'avez pas accès aux fichiers de configuration spécifiques à Spark, vous pouvez utiliser le filtre des propriétés fourni dans l'assistant de métadonnées Hadoop dans le Studio Talend pour régler ce problème.

Procédure

  1. Définissez la connexion à Hadoop pour votre cluster Hortonworks, dans le Repository, si ce n'est pas encore fait.
  2. Cliquez-droit sur la connexion et, dans le menu contextuel, sélectionnez Edit Hadoop cluster pour ouvrir l'assistant Hadoop cluster connection.
  3. Cliquez sur Next pour ouvrir la seconde étape de l'assistant. Cochez la case Use custom Hadoop configurations.
  4. Cliquez sur le bouton [...] à côté de Use custom Hadoop configurations pour ouvrir l'assistant Hadoop configuration import wizard.
  5. Sélectionnez la version d'Hortonworks que vous utilisez, puis effectuez l'une des opérations suivantes :
    • Si votre distribution Hortonworks contient une installation d'Ambari, sélectionnez le bouton radio Retrieve configuration from Ambari or Cloudera et cliquez sur Next. Procédez ensuite comme suit :

      1. Dans l'assistant qui s'ouvre, saisissez vos identifiants Ambari dans les champs correspondants et cliquez sur Connect.

        Un nom de cluster est affiché dans la liste déroulante Discovered clusters.

      2. Dans la liste, sélectionnez votre cluster et cliquez sur Fetch afin de récupérer la configuration des services relatifs.

      3. Cliquez sur le bouton [...] à côté de Hadoop property filter pour ouvrir l'assistant.

    • Si votre distribution Hortonworks n'a pas d'installation d'Ambari, vous devez importer les fichiers de configuration Hive depuis un répertoire local. Cela signifie que vous devez contacter l'administrateur de votre cluster pour obtenir les fichiers de configuration Hive ou que vous devez télécharger ces fichiers vous-même.

      Une fois que vous avez les fichiers, procédez comme suit :

      1. Dans l'assistant Hadoop configuration import wizard, sélectionnez le bouton radio Import configuration from local files et cliquez sur Next.

      2. Cliquez sur Browse... pour trouver les fichiers de configuration Hive.

      3. Cliquez sur le bouton [...] à côté de Hadoop property filter pour ouvrir l'assistant.

  6. Cliquez sur le bouton [+] pour ajouter une ligne et saisissez hive.execution.engine dans cette ligne afin de retirer cette propriété de la liste.
  7. Cliquez sur OK pour valider cet ajout et retourner à l'assistant Hadoop configuration import wizard.
  8. Cliquez sur Finish pour fermer l'assistant et terminer l'import, afin de retourner à l'assistant Hadoop cluster connection.
  9. Cliquez sur Finish pour valider les modifications et, dans la boîte de dialogue, cliquez sur Yes pour accepter la propagation. L'assistant se ferme et le fichier de configuration Hive spécifique à Spark sera utilisé avec cette connexion à Hadoop.

    Cette nouvelle configuration est prise en compte uniquement pour les Jobs utilisant cette connexion.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici