Accéder au contenu principal Passer au contenu complémentaire

Accéder aux fichiers à partir de votre moteur

Avant de commencer

Assurez-vous d'utiliser une version récente de docker-compose afin d'éviter des problèmes de volumes mal montés dans Livy.

Procédure

  1. Accédez au dossier suivant dans le répertoire d'installation du Moteur distant Gen2.
    default si vous utilisez le moteur dans les régions AWS USA, AWS Europe, AWS Asie-Pacifique ou Azure.

    eap si vous utilisez le moteur au sein du programme Early Adopter Program.

  2. Créez un fichier et nommez-le :
    docker-compose.override.yml
  3. Modifiez ce fichier pour ajouter ce qui suit : 
    version: '3.6'

services: 

  livy: 
    volumes: 

  component-server: 
    volumes:
  4. Ajoutez une nouvelle entrée sous volumes à l'aide de ce format : 
    YOUR_LOCAL_FOLDER:MOUNT_POINT_INSIDE_CONTAINER

    Exemple

    Si vous avez certains fichiers dans /home/user/my_avro_files sur votre machine que vous souhaitez traiter avec Talend Cloud Pipeline Designer, vous devez ajouter /home/user/my_avro_files:/opt/my_avro_files à la liste des volumes :
    version: '3.6'

services: 

  livy: 
    volumes: 
      - /home/user/my_avro_files:/opt/my_avro_files

  component-server: 
    volumes: 
      - /home/user/my_avro_files:/opt/my_avro_files
  5. Sauvegardez le fichier pour prendre en compte vos modifications.
  6. Redémarrez votre Moteur distant Gen2.
    Votre dossier doit être accessible à partir de l'application Talend Cloud Pipeline Designer sous /opt/my_avro_files.
  7. Connectez-vous à Talend Cloud Pipeline Designer.
  8. Allez à la page Connections (Connexions) et ajoutez une connexion à HDFS à l'aide de votre moteur et de votre nom d'utilisateur ou d'utilisatrice local.
    Capture d'écran présentant l'ajout d'une connexion HDFS.
  9. Ajoutez un jeu de données HDFS à l'aide de la nouvelle connexion et assurez-vous d'utiliser le chemin monté comme chemin d'accès à votre dossier.
    Capture d'écran indiquant comment modifier les propriétés d'un jeu de données HDFS.
  10. Facultatif : Pour écrire à nouveau sur votre machine locale, vous pouvez ajouter un autre jeu de données HDFS à l'aide du dossier monté, par exemple /opt/my_avro_files/my_pipeline_output.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici