Accéder au contenu principal Passer au contenu complémentaire

Accéder aux fichiers sur un cluster Hadoop à partir de votre moteur

Avant de commencer

  • Assurez-vous d'utiliser une version récente de docker-compose afin d'éviter des problèmes de volumes mal montés.
  • Contactez votre administrateur système pour obtenir la liste complète des jeux de fichiers de configuration Hadoop (core-site.xml, hdfs-site.xml, etc.).
  • Placez ces fichiers de configuration Hadoop dans un dossier sur votre machine locale et copiez son chemin.

Procédure

  1. Accédez au dossier suivant dans le répertoire d'installation du Moteur distant Gen2.
    default si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.

    eap si vous utilisez le moteur au sein du programme Early Adopter Program.

  2. Créez un fichier et nommez-le :
    docker-compose.override.yml
  3. Modifiez ce fichier pour ajouter ce qui suit : 
    version: '3.6'

services: 

  livy: 
    environment: 
      HADOOP_CONF_DIR: file:/opt/my-hadoop-cluster-config
    volumes: 
      - YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER:/opt/my-hadoop-cluster-config
   
  component-server: 
    environment: 
      HADOOP_CONF_DIR: file:/opt/my-hadoop-cluster-config
    volumes: 
      - YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER:/opt/my-hadoop-cluster-config

    où YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER correspond au chemin d'accès au dossier local où sont stockés vos fichiers de configuration Hadoop.

  4. Sauvegardez le fichier pour prendre en compte vos modifications.
  5. Redémarrez votre Moteur distant Gen2.
  6. Connectez-vous à Talend Cloud Pipeline Designer.
  7. Allez à la page Connections et ajoutez une connexion à HDFS à l'aide de votre moteur et de votre nom d'utilisateur ou d'utilisatrice local.
    Ajouter une connexion à HDFS.
  8. Ajoutez un jeu de données HDFS à l'aide de la nouvelle connexion et assurez-vous d'utiliser le chemin vers vos fichiers (par exemple hdfs://namenode:8020/user/talend/files).
    Ajouter un jeu de données HDFS.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici