Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Veröffentlichen von Nachrichten zu einem Apache Pulsar-Thema

Dieses Szenario soll Sie bei der Einrichtung und Verwendung von Konnektoren in einer Pipeline unterstützen. Es wird empfohlen, dass Sie das Szenario an Ihre Umgebung und Ihren Anwendungsfall anpassen.

Beispiel einer Pipeline, die anhand der nachfolgenden Anleitungen erstellt wurde.

Prozedur

  1. Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
  2. Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.

    Example

    data generator (Datengenerator)
  3. Wählen Sie in der Liste Engine Ihre Engine aus.
    InformationshinweisAnmerkung:
    • Es wird empfohlen, die Remote Engine Gen2 und nicht die Cloud Engine for Design für eine erweiterte Datenverarbeitung einzusetzen.
    • Wenn keine Remote Engine Gen2 in Talend Management Console erstellt wurde bzw. diese vorhanden, aber als nicht verfügbar markiert ist, d. h. sie ist nicht aktiv und wird nicht ausgeführt, dann können Sie weder einen Connection type (Verbindungstyp) in der Liste auswählen noch die neue Verbindung speichern.
    • Die Liste der verfügbaren Verbindungstypen richtet sich nach der ausgewählten Engine.
  4. Wählen Sie den Typ der zu erstellenden Verbindung aus.
    Wählen Sie Data generator (Datengenerator) aus.
  5. Klicken Sie auf Add dataset (Datensatz hinzufügen) und geben Sie die Datensatzeigenschaften wie in Eigenschaften des Datengenerators beschrieben ein.
  6. Geben Sie im Fensterbereich Add a new dataset (Neuen Datensatz hinzufügen) einen Namen für Ihren Datensatz ein.

    Example

    customer generated data (Vom Benutzer generierte Daten)
  7. Geben Sie die Eigenschaften ein, um die Testkundendaten Ihrer Wahl zu generieren. In diesem Beispiel:
    1. Geben Sie im Feld Rows (Zeilen) den Wert 100 ein, da Sie 100 Testdatensätze generieren möchten.
    2. Klicken Sie in das Feld Add (Hinzufügen), geben Sie firstname (Vorname) in das Feld Name des Elements ein, wählen Sie First Name (Vorname) in der Liste Type (Typ) aus und geben Sie 0 in das Feld Blank % (Leer %) ein, da Sie Vornamen nach dem Zufallsprinzip ohne leere Felder generieren möchten.
    3. Klicken Sie in das Feld Add (Hinzufügen), geben Sie lastname (Nachname) in das Feld Name des Elements ein, wählen Sie Last Name (Nachname) in der Liste Type (Typ) aus und geben Sie 0 in das Feld Blank % (Leer %) ein, da Sie Nachnamen nach dem Zufallsprinzip ohne leere Felder generieren möchten.
    4. Klicken Sie in das Feld Add (Hinzufügen), geben Sie age (Alter) in das Feld Name des Elements ein, wählen Sie Age (Alter) in der Liste Type (Typ) aus, geben Sie 18 in das Feld Min ein und 99 in das Feld Max und dann 0 in das Feld Blank % (Leer %), da Sie nach Alter zwischen 18 und 99 ohne leere Felder generieren möchten.
    Head Sample der kundengenerierten Daten mit den Spalten für Vornamen, Nachnamen und Alter.
  8. Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
  9. Wählen Sie den Typ der zu erstellenden Verbindung aus.
    Wählen Sie Apache Pulsar aus.
  10. Geben Sie die Verbindungseigenschaften für den sicheren Zugriff auf den Apache Pulsar-Broker wie in Eigenschaften von Apache Pulsar beschrieben ein, prüfen Sie die Verbindung und klicken Sie dann auf Add dataset (Datensatz hinzufügen).
  11. Geben Sie im Fensterbereich Add a new dataset (Neuen Datensatz hinzufügen) einen Namen für Ihren Datensatz ein. In diesem Beispiel wird das derzeit leere Thema customer-age (Kunde - Alter) verwendet, um Daten zu den verarbeiteten Kundeninformationen zu veröffentlichen.
    Konfiguration eines neuen Pulsar-Datensatzes.
  12. Nennen Sie Ihren Datensatz beispielsweise Customers on Pulsar (Kunden in Pulsar).
  13. Klicken Sie auf Validate (Validieren), um den Datensatz zu speichern.
  14. Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
  15. Legen Sie einen sinnvollen Namen für die Pipeline fest.

    Example

    From Data generator to Pulsar - publish msg to Pulsar (Vom Datengenerator zu Pulsar - Nachricht in Pulsar veröffentlichen)
  16. Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN) und wählen Sie im daraufhin geöffneten Fenster Ihren Quelldatensatz aus, customer generated data (Vom Kunden generierte Daten).
  17. Klicken Sie auf add processor (Prozessor hinzufügen) und fügen Sie einen Prozessor des Typs Type converter (Typkonverter) zur Pipeline hinzu, um den Datentyp des Felds age (Alter) zu ändern und Berechnungen mit den Feldwerten durchführen zu können. Daraufhin wird das Konfigurationsfenster geöffnet.
  18. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    convert age data type (Datentyp von Alter konvertieren)
  19. Führen Sie im Bereich Converters (Konverter) Folgendes durch:
    1. Wählen Sie .age (Alter) in der Liste Field path (Feldpfad) aus, da Sie den Datentyp der Werte dieser spezifischen Datenelemente ändern möchten.
    2. Wählen Sie Double (Doppelwert) in der Liste Output type (Ausgabetyp) aus, um den Datentyp von „Integer (Ganzzahl)“ in „Double (Doppelwert)“ zu ändern.
  20. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  21. (Optional) Sehen Sie sich die Vorschau des Prozessors an, um zu prüfen, wie die Daten nach der Typänderung aussehen.
    In der Ausgabedatenvorschau ist der Datentyp für Alter jetzt „double (Doppelwert)“.
  22. Klicken Sie auf add processor (Prozessor hinzufügen) und fügen Sie einen Prozessor des Typs Aggregate (Aggregieren) zur Pipeline hinzu, um das durchschnittliche Alter der Kunden zu berechnen. Daraufhin wird das Konfigurationsfenster geöffnet.
  23. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    calculate average age (Durchschnittsalter berechnen)
  24. Führen Sie im Bereich Operations (Operationen) Folgendes durch:
    1. Wählen Sie .age (Alter) in der Liste Field path (Feldpfad) aus, um den Durchschnittswert dieser spezifischen Datenelemente zu berechnen.
    2. Wählen Sie Average (Durchschnitt) in der Liste Operation aus.
    3. Geben Sie avg_age (Durchschnittsalter) in das Feld Output field name (Name des Ausgabefelds) ein, um das neu generierte Feld umzubenennen.
  25. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  26. (Optional) Sehen Sie sich die Vorschau des Prozessors an, um zu prüfen, wie die Daten nach dem Aggregierungsvorgang aussehen.
    In der Ausgabedatenvorschau wird der Datensatz für das Durchschnittsalter als Typ „double (Doppelwert)“ angezeigt.
  27. Klicken Sie auf das Element ADD DESTINATION (ZIEL HINZUFÜGEN) der Pipeline, um ein Fenster zu öffnen, in dem Sie das Apache Pulsar-Thema auswählen können, in das Ihre Ausgabedaten geladen werden sollen: Customers on Pulsar (Kunden in Pulsar).
  28. Prüfen Sie auf der Registerkarte Configuration (Konfiguration) des Ziels den Producer name (Producer-Namen) und wählen Sie das Thema aus, in das die Daten geladen werden sollen.
    Konfigurationsregisterkarte des Zielelements.
  29. Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
  30. Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die Durchschnittsalterdaten aus Ihren lokalen Daten werden verarbeitet und der Ausgabe-Flow an das von Ihnen definierte Apache Pulsar-Thema gesendet.

Nächste Maßnahme

Sobald das Ereignis veröffentlicht ist, können Sie die Pulsar-Nachricht in einer anderen Pipeline nutzen und sie als Quelldatensatz verwenden:

Eine neue Pipeline, in der die Quelle die Kundenaltersdaten aus der vorherigen Ziel-Pipeline sind.

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab