Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Verarbeiten und Verschieben von Dateien auf einem FTP-Server

Dieses Szenario soll Sie bei der Einrichtung und Verwendung von Konnektoren in einer Pipeline unterstützen. Es wird empfohlen, dass Sie das Szenario an Ihre Umgebung und Ihren Anwendungsfall anpassen.

Beispiel einer Pipeline, die anhand der nachfolgenden Anleitungen erstellt wurde.

Prozedur

  1. Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
  2. Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.

    Example

    FTP
  3. Wählen Sie in der Liste Engine Ihre Engine aus.
    InformationshinweisAnmerkung:
    • Es wird empfohlen, die Remote Engine Gen2 und nicht die Cloud Engine for Design für eine erweiterte Datenverarbeitung einzusetzen.
    • Wenn keine Remote Engine Gen2 in Talend Management Console erstellt wurde bzw. diese vorhanden, aber als nicht verfügbar markiert ist, d. h. sie ist nicht aktiv und wird nicht ausgeführt, dann können Sie weder einen Connection type (Verbindungstyp) in der Liste auswählen noch die neue Verbindung speichern.
    • Die Liste der verfügbaren Verbindungstypen richtet sich nach der ausgewählten Engine.
  4. Wählen Sie den Typ der zu erstellenden Verbindung aus.
    Wählen Sie in diesem Fall FTP aus.
  5. Geben Sie die Verbindungseigenschaften für den Zugriff auf den FTP-Server wie in Eigenschaften von FTP beschrieben ein, prüfen Sie die Verbindung und klicken Sie dann auf Add dataset (Datensatz hinzufügen).
  6. Geben Sie im Fenster Add a new dataset (Neuen Datensatz hinzufügen) die erforderlichen Eigenschaften ein, um auf das FTP-Verzeichnis zu verweisen, in dem sich Ihre Datei befindet, und klicken Sie dann auf View sample (Sample anzeigen), um eine Vorschau des Datensatz-Samples anzuzeigen.
    Konfiguration eines neuen FTP-Datensatzes.
    In diesem Beispiel handelt es sich bei der abzurufenden Datei um eine CSV-Datei in einem Talend/Files-Ordner, in der Restaurants aufgelistet werden:
    Aus dem Talend/Dateien-Ordner abzurufende CSV-Datei
  7. Klicken Sie auf Validate (Validieren), um den Datensatz zu speichern.
  8. Fügen Sie für dieselbe FTP-Verbindung einen weiteren Datensatz hinzu, der als Ziel in Ihrer Pipeline fungieren soll. In diesem Beispiel verweisen Sie auf einen Talend/Out-Ordner.
    CSV-Datensatzdatei, die als Ziel für die Pipeline im Talend/Ausgabe-Ordner verwendet werden soll.
  9. Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
  10. Legen Sie einen sinnvollen Namen für die Pipeline fest.

    Example

    Verarbeiten und Verschieben von Dateien auf einem FTP-Server
  11. Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN) und wählen Sie Ihren Quelldatensatz, restaurant on FTP dir (Restaurant in FTP-Verz.), im daraufhin geöffneten Fenster aus.
  12. Klicken Sie auf add processor (Prozessor hinzufügen), um der Pipeline Prozessoren hinzuzufügen, z. B. einen Prozessor des Typs Aggregate (Aggregieren), um alle Restaurantadressen aufzulisten.
  13. Konfigurieren Sie den Prozessor. Führen Sie im Bereich Operations (Operationen) Folgendes durch:
    1. Wählen Sie .location im Feld Field path (Feldpfad) aus.
    2. Wählen Sie List (Liste) in der Liste Operation aus.
    3. Geben Sie einen Namen in Output field name (Name des Ausgabefelds) ein, in diesem Fall address (Adresse).
    4. Speichern Sie Ihre Konfiguration.
    In der Ausgabedatenvorschau sind die 50 Adressen zu einer Adressenliste geworden.

    Die Restaurantadressen wurden in einem einzelnen Datensatz aggregiert.

  14. Klicken Sie auf add processor (Prozessor hinzufügen), um einen Prozessor des Typs "Normalize (Normalisieren)" zur Pipeline hinzuzufügen, um den Adressdatensatz abzuflachen und jeden Eintrag auf einen separaten Datensatz aufzuteilen.
  15. Konfigurieren Sie den Prozessor. Führen Sie im Bereich Operations (Operationen) Folgendes durch:
    1. Wählen Sie .address in der Liste Field path to normalize (Zu normalisierender Feldpfad) aus.
    2. Aktivieren Sie die Optioin Is list (Ist Liste).
    3. Speichern Sie Ihre Konfiguration.
    In der Ausgabedatenvorschau ist die horizontale Liste der Adressen, die als ein Datensatz zählen, eine vertikale Adressenliste geworden, die als 50 Datensätze zählt.
  16. Klicken Sie auf das Element ADD DESTINATION (ZIEL HINZUFÜGEN) für die Pipeline, um das Fenster zur Auswahl des FTP-Ausgabeverzeichnisses zu öffnen, in dem die Ausgabedatei gespeichert werden soll.
  17. Legen Sie für das Ziel einen aussagekräftigen Namen fest, beispielsweise addresses on FTP out dir (Adressen in FTP-Aus.verz.).
  18. Stellen Sie auf der Registerkarte Configuration (Konfiguration) des Ziels sicher, dass die Datei, die Sie hochladen möchten, das Größenlimit nicht überschreitet.
  19. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  20. Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
  21. Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die in einem FTP-Verzeichnis gespeicherten Restaurantdaten wurden verarbeitet und die Ausgabedatei wird in das von Ihnen angegebene FTP-Zielverzeichnis hochgeladen:

  • Das FTP-Zielverzeichnis mit der neuen, hochgeladenen Datei:

    CSV-Datensatzdatei mit der neu hochgeladenen Datei aus der Pipeline im Talend/Ausgabe-Ordner.
  • Die CSV-Ausgabedatei mit der Liste der Restaurantadressen:
    CSV-Datei mit 50 untereinander aufgelisteten Adressen.

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab