Zu Hauptinhalt springen Zu ergänzendem Inhalt springen

Verarbeiten von Leads in Amazon S3 und Laden der Leads in MySQL

Dieses Szenario soll Sie bei der Einrichtung und Verwendung von Konnektoren in einer Pipeline unterstützen. Es wird empfohlen, dass Sie das Szenario an Ihre Umgebung und Ihren Anwendungsfall anpassen.

Beispiel einer Pipeline, die anhand der nachfolgenden Anleitungen erstellt wurde.

Vorbereitungen

  • Wenn Sie dieses Szenario reproduzieren möchten, laden Sie folgende Datei herunter und extrahieren Sie sie: s3_mysql-lead_campaign.zip .

Prozedur

  1. Klicken Sie auf Connections (Verbindungen) > Add connection (Verbindung hinzufügen).
  2. Wählen Sie den Typ der zu erstellenden Verbindung im daraufhin geöffneten Fenster aus.

    Example

    S3
  3. Wählen Sie in der Liste Engine Ihre Engine aus.
    InformationshinweisAnmerkung:
    • Es wird empfohlen, die Remote Engine Gen2 und nicht die Cloud Engine for Design für eine erweiterte Datenverarbeitung einzusetzen.
    • Wenn keine Remote Engine Gen2 in Talend Management Console erstellt wurde bzw. diese vorhanden, aber als nicht verfügbar markiert ist, d. h. sie ist nicht aktiv und wird nicht ausgeführt, dann können Sie weder einen Connection type (Verbindungstyp) in der Liste auswählen noch die neue Verbindung speichern.
    • Die Liste der verfügbaren Verbindungstypen richtet sich nach der ausgewählten Engine.
  4. Wählen Sie den Typ der zu erstellenden Verbindung aus.
    Wählen Sie für dieses Beispiel S3 connection (S3-Verbindung) aus.
  5. Geben Sie die Verbindungseigenschaften für den Zugriff auf das S3-Konto wie in Eigenschaften von Amazon S3 beschrieben ein, prüfen Sie die Verbindung und klicken Sie dann auf Add dataset (Datensatz hinzufügen).
  6. Geben Sie im Fensterbereich Add a new dataset (Neuen Datensatz hinzufügen) einen Namen für Ihren Datensatz ein: lead generation campaign (Kampagne zur Leadgenerierung).
  7. Wählen Sie S3 in der Verbindungsliste aus.
  8. Klicken Sie auf Autodetect (Autom. erkennen) oder geben Sie die erforderlichen Eigenschaften für den Zugriff auf die Datei in Ihrem S3-Bucket manuell ein (CSV-Format, Leerzeichen als Feldbegrenzer, keine Überschrift) und klicken Sie dann auf View sample (Sample anzeigen), um eine Vorschau Ihres Datensatz-Samples anzuzeigen.
    Konfiguration eines neuen Amazon S3-Datensatzes.
  9. Klicken Sie auf Validate (Validieren), um den Datensatz zu speichern.
  10. Gehen Sie genauso vor, um eine MySQL-Verbindung und MySQL-Tabellendatensätze hinzuzufügen, die als Ziel in Ihrer Pipeline fungieren sollen. Geben Sie die Verbindungseigenschaften gemäß der Beschreibung in Eigenschaften von MySQL ein.
  11. Klicken Sie auf der Seite Pipelines auf Add pipeline (Pipeline hinzufügen). Ihre neue Pipeline wird geöffnet.
  12. Legen Sie einen sinnvollen Namen für die Pipeline fest.

    Example

    From S3 to MySQL - Process leads (Von S3 zu MySQL - Leads verarbeiten)
  13. Klicken Sie auf ADD SOURCE (QUELLE HINZUFÜGEN) und wählen Sie Ihren Quelldatensatz, lead generation campaign (Kampagne zur Leadgenerierung), im daraufhin geöffneten Fenster aus.
  14. Klicken Sie auf add processor (Prozessor hinzufügen) und fügen Sie einen Prozessor des Typs Field Selector (Feldauswahl) zur Pipeline hinzu, um spezifische Felder auszuwählen und ihnen einen aussagekräftigen Namen zu geben. Daraufhin wird das Konfigurationsfenster geöffnet.
  15. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    select countries and revenues (Länder und Einnahmen auswählen)
  16. Klicken Sie in der Ansicht Simple (Einfach) der Registerkarte Configuration (Konfiguration) auf das Symbol edit (Bearbeiten), um das Fenster Select fields (Felder auswählen) zu öffnen:
    1. Wählen Sie .field2 (Feld 2) aus und klicken Sie auf das Symbol rename (Umbenennen), um das Element in country (Land) umzubenennen, da die Felder anhand der Länder der Kunden ausgewählt werden sollen.
    2. Wählen Sie .field7 (Feld 7) aus und klicken Sie auf das Symbol rename (Umbenennen), um das Element in revenue (Umsatz) umzubenennen, da die Felder anhand der Kundenumsätze ausgewählt werden sollen.
      Das Popup-Fenster „select fields (Felder auswählen)“ nennt die Anzahl der Felder, die Sie auswählen und umbenennen.
  17. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  18. Klicken Sie auf add processor (Prozessor hinzufügen) und fügen Sie einen Filter-Prozessor zur Pipeline hinzu, um die Datensätze zu filtern und ausschließlich die Kunden beizubehalten, deren Umsatz im Rahmen der Marketing-Kampagne entstanden ist. Daraufhin wird das Konfigurationsfenster geöffnet.
  19. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    remove empty revenues (Leere Einkommen entfernen)
  20. Führen Sie im Bereich Filters (Filter) Folgendes durch:
    1. Wählen Sie .revenue (Einkommen) in der Liste Input (Eingabe) aus, da Sie das Einkommen der Kunden verarbeiten möchten.
    2. Wählen Sie None (Keine) in der Liste Optionally select a function to apply (Optional eine anzuwendende Funktion auswählen) aus, da bei der Filterung der Datensätze keine Funktion angewendet werden soll.
    3. Wählen Sie != in der Liste Operator aus und geben Sie N/A im Feld Value (Wert) ein, da Sie die Kunden ausfiltern möchten, die Ihr Einkommen angegeben haben.
  21. Klicken Sie auf add processor (Prozessor hinzufügen) und fügen Sie einen Prozessor des Typs Type Converter (Typkonverter) zur Pipeline hinzu, um das Format der Umsatzfelder (Zeichenfolgenformat) zu konvertieren. Daraufhin wird das Konfigurationsfenster geöffnet.
  22. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    convert revenue formats (Einkommensformate konvertieren)
  23. Wählen Sie im Bereich Converters (Konverter) den Eintrag .revenue (Einkommen) in der Liste Field path (Feldpfad) und Double (Doppelwert) in der Liste Output type (Ausgabetyp) aus, da Sie das Feld vom Typ Zeichenfolge mit den Einkommensdaten in ein Feld vom Typ Doppelwert konvertieren möchten.
  24. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  25. Klicken Sie auf add processor (Prozessor hinzufügen) und fügen Sie einen Prozessor des Typs Aggregate (Aggregieren) zur Pipeline hinzu. Daraufhin wird das Konfigurationsfenster geöffnet.
  26. Geben Sie einen sinnvollen Namen für den Prozessor an.

    Example

    count average revenue by country (Durchschnittl. Einkommen pro Land erfassen)
  27. Geben Sie im Bereich Group by (Gruppieren nach) die Felder an, die für die Aggregationsgruppe verwendet werden sollen, in diesem Fall .country (Land).
  28. Führen Sie im Bereich Operations (Operationen) Folgendes durch:
    1. Wählen Sie .revenue (Einkommen) in der Liste Field path (Feldpfad) aus und Average (Durchschnitt) in der Liste Operation.
    2. Geben Sie dem erstellten Feld (Output field name (Name des Ausgabefelds)) einen Namen, z. B. average_revenue (Durchschnittl. Einkommen).
  29. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  30. (Optional) Klicken Sie auf den Aggregationsprozessor (Aggregate), um eine Vorschau der nach der Aggregationsoperation berechneten Daten anzuzeigen: Das durchschnittliche Einkommen pro Land.
    Der durchschnittliche Umsatz pro Land wird in der Ausgabedatenvorschau nach dem Aggregationsvorgang angezeigt.
  31. Klicken Sie auf das Element ADD DESTINATION (ZIEL HINZUFÜGEN) für die Pipeline, um das Fenster zur Auswahl des Datensatzes zu öffnen, der Ihre Ausgabedaten (MySQL) aufnehmen soll.
  32. Legen Sie für das Ziel einen aussagekräftigen Namen fest, beispielsweise load in MySQL table (In MySQL-Tabelle laden).
  33. Klicken Sie auf Save (Speichern), um die Konfiguration zu speichern.
  34. Klicken Sie in der oberen Symbolleiste von Talend Cloud Pipeline Designer auf die Schaltfläche Run (Ausführen), um das Fenster zur Auswahl des Ausführungsprofils zu öffnen.
  35. Wählen Sie Ihr Ausführungsprofil in der Liste aus (weitere Informationen finden Sie unter „Ausführungsprofile“) und klicken Sie dann auf Run (Ausführen), um die Pipeline auszuführen.

Ergebnisse

Ihre Pipeline wird ausgeführt, die in S3 gespeicherten Lead-Informationen werden bereinigt, das Einkommen wird pro Land aggregiert und der Ausgabe-Flow an die von Ihnen definierte MySQL-Zieltabelle gesendet.

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab