Zugreifen auf Dateien über Ihre Engine

Vorbereitungen

Stellen Sie sicher, dass Sie eine neue Version von Docker Compose verwenden, um Probleme in Verbindung mit einem falschen Mounten von Volumes in Livy zu verhindern.

Prozedur

Navigieren Sie zu folgendem Ordner im Installationsverzeichnis von Remote Engine Gen2:
default/docker-compose.yml, wenn Sie die Engine in den Regionen AWS USA, AWS Europa, AWS Asien/Pazifik oder Azure einsetzen.
eap, wenn Sie die Engine im Rahmen eines Early-Adopter-Programms verwenden.
Erstellen Sie eine neue Datei und geben Sie Ihr einen Namen:
docker-compose.override.yml

Bearbeiten Sie die Datei und fügen Sie Folgendes hinzu:

version: '3.6'

services: 

  livy: 
    volumes: 

  component-server: 
    volumes:

Geben Sie unter volumes einen neuen Eintrag hinzu. Verwenden Sie dazu folgendes Format:
```
YOUR_LOCAL_FOLDER:MOUNT_POINT_INSIDE_CONTAINER
```
Example
Wenn in /home/user/my_avro_files auf Ihrem Gerät Dateien enthalten sind, die Sie mit Talend Cloud Pipeline Designer verarbeiten möchten, müssen Sie /home/user/my_avro_files:/opt/my_avro_files zur Liste der Volumes hinzufügen:
```
version: '3.6'

services: 

  livy: 
    volumes: 
      - /home/user/my_avro_files:/opt/my_avro_files

  component-server: 
    volumes: 
      - /home/user/my_avro_files:/opt/my_avro_files
```
Speichern Sie die Datei, damit Ihre Änderungen berücksichtigt werden.
Starten Sie Remote Engine Gen2 neu.
Sie können jetzt über die Anwendung Talend Cloud Pipeline Designer in /opt/my_avro_files auf Ihren Ordner zugreifen.
Stellen Sie eine Verbindung zu Talend Cloud Pipeline Designer her.
Navigieren Sie zur Seite Connections (Verbindungen) und fügen Sie eine neue HDFS-Verbindung unter Verwendung Ihrer Engine und Ihres lokalen Benutzernamens hinzu.
Fügen Sie einen neuen HDFS-Datensatz über die neue Verbindung hinzu. Sie müssen dazu den Mount-Pfad als Pfad Ihres Ordners verwenden.
Optional: Um in Ihr lokales Gerät zurückzuschreiben, können Sie einen anderen HDFS-Datensatz unter Verwendung des Mount-Pfad-Ordners hinzufügen, z. B. /opt/my_avro_files/my_pipeline_output.

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab