Zugreifen auf Dateien in einem Hadoop-Cluster über Ihre Engine

Vorbereitungen

Stellen Sie sicher, dass Sie eine neue Version von Docker Compose verwenden, um Probleme in Verbindung mit einem falschen Mounten von Volumes zu verhindern.
Wenden Sie sich an Ihren Systemadministrator und fordern Sie die Liste des kompletten Satzes an Hadoop-Konfigurationsdateien an (core-site.xml, hdfs-site.xml usw.).
Legen Sie die Hadoop-Konfigurationsdateien in einem Ordner auf Ihrem lokalen Gerät ab und kopieren Sie den entsprechenden Pfad.

Prozedur

Navigieren Sie zu folgendem Ordner im Installationsverzeichnis von Remote Engine Gen2.
default/docker-compose.yml, wenn Sie die Engine in den Regionen AWS USA, AWS Europa, AWS Asien/Pazifik oder Azure einsetzen.
eap, wenn Sie die Engine im Rahmen eines Early-Adopter-Programms verwenden.
Erstellen Sie eine neue Datei und geben Sie Ihr einen Namen:
docker-compose.override.yml

Bearbeiten Sie die Datei und fügen Sie Folgendes hinzu:

version: '3.6'

services: 

  livy: 
    environment: 
      HADOOP_CONF_DIR: file:/opt/my-hadoop-cluster-config
    volumes: 
      - YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER:/opt/my-hadoop-cluster-config
   
  component-server: 
    environment: 
      HADOOP_CONF_DIR: file:/opt/my-hadoop-cluster-config
    volumes: 
      - YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER:/opt/my-hadoop-cluster-config

Hierbei gilt: YOUR_LOCAL_HADOOP_CONFIGURATION_FOLDER entspricht dem Pfad des lokalen Ordners, in dem die Hadoop-Konfigurationsdateien gespeichert sind.

Speichern Sie die Datei, damit Ihre Änderungen berücksichtigt werden.
Starten Sie Remote Engine Gen2 neu.
Stellen Sie eine Verbindung zu Talend Cloud Pipeline Designer her.
Navigieren Sie zur Seite Connections (Verbindungen) und fügen Sie eine neue HDFS-Verbindung unter Verwendung Ihrer Engine und Ihres lokalen Benutzernamens hinzu.
Fügen Sie einen neuen HDFS-Datensatz über die neue Verbindung hinzu und verwenden Sie dazu den Pfad Ihrer Dateien (z. B. hdfs://namenode:8020/user/talend/files).

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab