Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Auslesen von Streaming-Nachrichten aus einem Google Pub/Sub-Thema

Dieses Szenario soll Sie bei der Einrichtung und Verwendung von Konnektoren in einer Pipeline unterstützen. Es wird empfohlen, dass Sie das Szenario an Ihre Umgebung und Ihren Anwendungsfall anpassen.

Beispiel einer Pipeline, die anhand der nachfolgenden Anleitungen erstellt wurde.

Warum und wann dieser Vorgang ausgeführt wird

In diesem Szenario werden gestreamte JSON-Nachrichtendaten über in einem Google Pub/Sub-Thema veröffentlichte Bücher verarbeitet.

Prozedur

  1. Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
  2. Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.

    Example

    Google Pub/Sub
  3. Wählen Sie in der Liste Engine Ihre Engine aus.
    InformationshinweisAnmerkung:
    • Es wird empfohlen, die Remote Engine Gen2 und nicht die Cloud Engine for Design für eine erweiterte Datenverarbeitung einzusetzen.
    • Wenn keine Remote Engine Gen2 in Talend Management Console erstellt wurde bzw. diese vorhanden, aber als nicht verfügbar markiert ist, d. h. sie ist nicht aktiv und wird nicht ausgeführt, dann können Sie weder einen Connection type (Verbindungstyp) in der Liste auswählen noch die neue Verbindung speichern.
    • Die Liste der verfügbaren Verbindungstypen richtet sich nach der ausgewählten Engine.
  4. Wählen Sie den Typ der zu erstellenden Verbindung aus.
    Wählen Sie für dieses Beispiel Google Pub/Sub.
  5. Geben Sie die Verbindungseigenschaften für den Zugriff auf Ihr Google-Projekt wie in Eigenschaften von Google Pub/Sub beschrieben ein, u. a. den Projektnamen und die JSON-Anmeldedaten, prüfen Sie die Verbindung und klicken Sie dann auf Add dataset (Datensatz hinzufügen).
  6. Geben Sie im Fensterbereich Add a new dataset (Neuen Datensatz hinzufügen) einen Namen für Ihren Datensatz ein, book prices (Buchpreise).
  7. Wählen Sie Google Pub/Sub in der Verbindungsliste aus.
  8. Geben Sie die erforderlichen Eigenschaften für den Zugriff auf die Datei in Ihrem Pub/Sub-Thema ein (Name des Themas, Abonnementname, Datenformat) und klicken Sie dann auf View sample (Sample anzeigen), um eine Vorschau Ihres Datensatz-Samples anzuzeigen.
    Konfiguration eines neuen Google Pub/Sub-Datensatzes.
  9. Klicken Sie auf Validate (Validieren), um den Datensatz zu speichern.
  10. Gehen Sie genauso vor, um eine Testverbindung und einen Datensatz hinzuzufügen, der als Ziel in Ihrer Pipeline fungieren soll.
  11. Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
  12. Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN), um ein Fenster zu öffnen, in dem Sie die Quelldaten, in diesem Fall die für Pub/Sub veröffentlichten JSON-Nachrichten, auswählen können.
  13. Wählen Sie den Datensatz aus und klicken Sie auf Select (Auswählen), um ihn zur Pipeline hinzuzufügen.
    Benennen Sie ihn um, falls erforderlich.
  14. Klicken Sie auf add processor (Prozessor hinzufügen) und fügen Sie einen Prozessor des Typs Window (Fenster) zur Pipeline hinzu. Daraufhin wird das Konfigurationsfenster geöffnet.
  15. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    5sec window (5-Sek.-Fenster)
  16. Führen Sie auf der Registerkarte Configuration (Konfiguration) Folgendes durch:
    1. Aktivieren Sie die Option Use Window session (Fenstersitzung verwenden).
    2. Geben Sie den Wert 5000 als Fensterdauer ein, damit alle 5 Sekunden Daten erfasst werden.
  17. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  18. Klicken Sie auf ADD DESTINATION (ZIEL HINZUFÜGEN) und wählen Sie den Testdatensatz aus, der Ihre neu organisierten Daten aufnehmen soll.
    Benennen Sie den Datensatz um, falls erforderlich.
  19. Aktivieren Sie auf der Registerkarte Configuration (Konfiguration) die Option Log records to STDOUT (Datensätze in STDOUT protokollieren), da die Ausgabelogs gespeichert werden sollen.
  20. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  21. Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
  22. Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die im Pub/Sub-Thema veröffentlichten Nachrichten werden alle 5 Sekunden abgerufen und können in den Ausgabelogs angezeigt werden. Sie können die Ansicht Metrics (Metriken) im Fenster Pipeline Details (Pipeline-Details) aktualisieren, um die Anzahl der inkrementell aktualisierten Datensätze anzuzeigen.
Ausgabe-Log mit 6 erstellten Datensätzen für eine 256-Byte-Metrik.

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab