Hinzufügen von Umwandlungsflüssen

Sie können Flüsse in Umwandlungsaufgaben einschließen. Im Fluss-Designer können Sie einen Umwandlungsfluss mit Quellen, Prozessoren und Zielen erstellen, um komplexe oder einfache Umwandlungen zu definieren.

Umwandlungsflüsse und Prozessoren sind logische Darstellungen. Das bedeutet, dass in ELT-Aufgaben für jedes Ziel nur eine Tabelle erstellt wird und dass alle Prozessoren in eine einzige SQL-Anforderung pro Ziel kompiliert werden.

Unterstützte Zielplattformen

Die folgenden Plattformen werden mit Umwandlungsflüssen unterstützt:

• Snowflake

• Databricks

• Google BigQuery

• Azure Synapse Analytics

• Microsoft Fabric

• Microsoft SQL Server

• Amazon Redshift

  InformationshinweisDie folgenden Amazon Redshift-Funktionen sind nicht verfügbar: „UUID string generation“ und „Edit Distance“.

Voraussetzungen

Bevor Sie einen Umwandlungsfluss erstellen, müssen Sie folgende Schritte ausführen:

• Füllen Sie die Speicheraufgabe mit eingegliederten Daten, die Sie im Umwandlungsfluss verwenden möchten, oder registrieren Sie vorhandene Daten. Weitere Informationen über das Eingliedern (Onboarding) und Registrieren von Daten finden Sie unter Eingliederung von Daten und Registrieren von Daten, die bereits in der Datenplattform vorhanden sind.
• Bereiten Sie die Speicher- oder Umwandlungsaufgabe, die als Quelle in Ihrem Umwandlungsfluss verwendet wird, vor und führen Sie sie aus. Das Ausführen der Speicheraufgabe ist nicht obligatorisch, aber es wird empfohlen, damit bei jedem Schritt des Flusses Vorschaudaten angezeigt werden können.

Erstellen eines Umwandlungsflusses

Um einen gültigen Umwandlungsfluss zu erstellen, benötigen Sie mindestens einen Quelldatensatz und ein benanntes Ziel mit definierten Schlüsseln.

1. Öffnen Sie die Aufgabe Daten umwandeln in der Daten-Pipeline.
2. Wählen Sie unter Umwandeln die Quelldatensätze aus, die in den Umwandlungsfluss eingeschlossen werden sollen, und klicken Sie auf Umwandlungsfluss hinzufügen.

   Umwandlungsfluss hinzufügen wird angezeigt. Dort können Sie Einstellungen für die Umwandlung angeben.

3. Geben Sie einen Namen für den Zieldatensatz in Name ein.

   Sie können auch eine längere Beschreibung in Beschreibung hinzufügen.

4. Wählen Sie bei der Materialisierung aus, ob die umgewandelte Ausgabe materialisiert werden soll oder nicht. Sie können sich entscheiden, die Einstellung aus den Datenaufgabeneinstellungen zu übernehmen.

   • Mit Ein werden Tabellen erstellt und verbundene ELT-Prozesse verarbeitet.

   • Durch Aus werden Ansichten erstellt, die Umwandlungen spontan durchführen.

5. Inkrementelles Laden ermöglicht es Ihnen, die Abfrage für einen inkrementellen Datenladevorgang anzupassen, indem Sie Filter oder andere Bedingungen anwenden, um den gerade verarbeiteten Datensatz mithilfe von Makros zu reduzieren. Inkrementelles Laden ist nur verfügbar, wenn die Daten als Tabellen materialisiert werden.

   • Wenn Inkrementelles Laden auf Ein steht

     Bei der ersten Ausführung der Aufgabe wird ein anfänglicher Ladevorgang durchgeführt. Dadurch werden alle Ergebnisse der Abfrage in Ihre Zieltabelle eingefügt. Nachfolgende Ausführungen führen inkrementelle Ladevorgänge durch, wobei Filter oder bestimmte Bedingungen genutzt werden, die Sie für die inkrementelle Verarbeitung definiert haben. Während des inkrementellen Ladevorgangs verarbeitet die Aufgabe nur Daten als Update oder Einfügung.Löschungen werden nicht verwaltet.

   • Wenn Inkrementelles Laden auf Ein steht

     Bei der ersten Ausführung der Aufgabe wird ein anfänglicher Ladevorgang durchgeführt. Dadurch werden alle Ergebnisse der Abfrage in Ihre Zieltabelle eingefügt. Nachfolgende Ausführungen führen alle Ergebnisse der Anforderung aus, indem sie sie mit Ihrer Zieltabelle vergleichen und Datensätze verarbeiten, die neu, verändert oder gelöscht sind.

   InformationshinweisSetzen Sie Inkrementelles Laden auf „Aus“, wenn die Abfrage alle Datensätze auswählt, die im Ziel vorhanden sein sollen. Nicht ausgewählte Datensätze werden im Ziel gelöscht.

6. Klicken Sie auf Hinzufügen, wenn Sie zum Erstellen des Umwandlungsflusses bereit sind.

   Der Fluss-Designer wird geöffnet. Das Ziel wird erstellt und in Ihrem Fluss als Zielkomponente angezeigt.

   InformationshinweisSie müssen einen eindeutigen Namen für Ihr Flussziel angeben. Wenn Sie das Flussziel später umbenennen möchten, wählen Sie das Ziel aus und geben Sie den neuen Namen unter Datensatzname ein.
7. Wenn für das Ziel keine Schlüssel definiert sind, klicken Sie neben dem Feld für Schlüssel und nullwertfähige Werte auf Bearbeiten. Das Konfigurationsfenster wird geöffnet.
   InformationshinweisSchlüssel werden nicht von Quelldatensätzen geerbt und müssen manuell definiert werden. Nullwertfähige Werte werden von Quelldatensätzen geerbt und können geändert werden.
8. Wählen Sie in Schlüssel und nullwertfähige Werte konfigurieren die Option Schlüssel in der Spalte aus, die Sie als Primärschlüssel definieren möchten, und wählen Sie Nullwertfähige Werte in der Spalte bzw. den Spalten aus, die Sie als nullwertfähig definieren möchten.
9. Klicken Sie auf Bestätigen, um die Änderungen zu speichern und das Konfigurationsfenster zu schließen.

Wenn der Status Ihres Umwandlungsflusses gültig ist, können Sie den Fluss schließen und Ihre Daten vorbereiten.

Sie können die Einstellungen für Materialisierung und Inkrementelles Laden später in den Zieleinstellungen ändern.

• Wählen Sie das Ziel aus und klicken Sie auf Bearbeiten neben Einstellungen in der Zielkonfiguration.

Hinzufügen eines Prozessors

Sie können Prozessoren zu Ihren Flüssen hinzufügen.

Prozessoren sind Komponenten, die Sie Ihren Flüssen hinzufügen können, um Ihre eingehenden Daten umzuwandeln und die umgewandelten Daten an den nächsten Schritt des Flusses zurückzugeben.

1. Wählen Sie im Fluss-Designer die Flusskomponente aus, nach der Sie einen Prozessor hinzufügen möchten.
2. Klicken Sie in der Flusskomponente auf und dann auf Prozessor hinzufügen. Wählen Sie aus, welchen Prozessor Sie hinzufügen möchten. Sie können den Prozessor auch aus dem linken Fenster auf die Arbeitsfläche ziehen.
TipphinweisEine kurze Beschreibung des Prozessors kann angezeigt werden, indem Sie den Prozessor im Fenster Prozessoren auswählen.
3. Konfigurieren Sie den Prozessor wie gewünscht und klicken Sie auf Speichern, um die Änderungen zu speichern und die Datenvorschau zu aktualisieren.
   InformationshinweisMit SQL und Datenvorschau können Sie eine Vorschau einer Stichprobe Ihrer Daten anzeigen. Weitere Informationen finden Sie unter Datenvorschau.

Verfügbare Prozessoren

Aggregieren-Prozessor

KI-Prozessor

Bereinigen-Prozessor

Zusammenfassen-Prozessor

Filter-Prozessor

Verzweigen-Prozessor

Hash-Prozessor

„Inkrementeller Filter“-Prozessor

Join-Prozessor

Rechnen-Prozessor

Zahlen-Prozessor

„Spalten entfernen“-Prozessor

„Spalten auswählen“-Prozessor

SQL-Ausdrucksprozessor

Strings-Prozessor

Verbindung-Prozessor

Anwendungsfall: Verknüpfen, Aggregieren und Filtern von Daten in Snowflake

In diesem Anwendungsfall müssen Snowflake-Kundendaten mit Prozessoren umgewandelt werden. Da die Kundendaten aus zwei Datensätzen stammen, müssen Sie zuerst einen Join-Prozessor hinzufügen, um die Datensätze zu kombinieren. Daneben verwenden Sie einen Aggregieren-Prozessor, um den durchschnittlichen Preis der Bestellungen zu berechnen, sowie einen Filter-Prozessor, um nach dem Typ der Kundendateneinträge zu filtern, die Sie in den Ausgabedatensätzen beibehalten möchten.

Der erste Datensatz basiert auf einer Snowflake-Tabelle mit dem Namen CUSTOMER_ACCOUNT, deren Schema wie folgt aussieht:

Der zweite Datensatz basiert auf einer Snowflake-Tabelle mit dem Namen CUSTOMER_ORDER, deren Schema wie folgt aussieht:

1. Ziehen Sie einen Join-Prozessor aus dem Fenster Prozessoren auf der linken Seite auf die Arbeitsfläche.
2. Verknüpfen Sie die zweite Quelle mit dem Join-Prozessor, damit die Daten aus beiden Datensätzen kombiniert werden können.
3. Konfigurieren Sie den Join-Prozessor, um die beiden Quelldatensätze mit den Kunden-ID-Schlüsseln (CUSTOMER_ID) zu verknüpfen.
4. Ziehen Sie einen Aggregieren-Prozessor hinter den Join-Prozessor.
5. Konfigurieren Sie den Aggregieren-Prozessor zum Berechnen des durchschnittlichen Kunden-Einkaufsbetrags (ORDER_TOTAL_PRICE) und speichern Sie ihn in einer neuen Spalte, die Sie avg_order_price nennen. Zudem gruppieren Sie die Dateneinträge nach Kundensegmenttyp (LEFT_CUSTOMER_SEGMENT).
6. Ziehen Sie einen Filter-Prozessor aus dem Fenster Prozessoren auf der linken Seite auf die Arbeitsfläche.
7. Konfigurieren Sie den Filter-Prozessor zum Filtern nach den Geschäftskundentypen (Business-Kunden).
8. Wählen Sie im Filter-Prozessor aus, um das Menü zu öffnen, und klicken Sie auf Nicht übereinstimmendes Ziel hinzufügen, um ein zweites Ziel zu Ihrem Fluss hinzuzufügen.

   Dieses Ziel ist für die Dateneinträge bestimmt, die nicht den Filterkriterien entsprachen, die Einzelkundentypen (Einzelkunden).

9. Geben Sie einen Namen für den neuen Zieldatensatz ein, z. B. individual_cust.
10. Prüfen Sie die Ausgabevorschau in beiden Zielen:

    Das Ziel business_cust zeigt den durchschnittlichen Bestellpreis für Business-Kundentypen, hier 157.463687151.

    

    Das Ziel individual_cust zeigt den durchschnittlichen Bestellpreis für Einzelkundentypen, hier 153.576530612.

    
11. Vergewissern Sie sich, dass Ihr Umwandlungsfluss einen gültigen Status hat und schließen Sie ihn.
12. Klicken Sie im Fenster Umwandeln auf Vorbereiten, um Ihre Daten vorzubereiten.

Best Practices

Wenn Sie Quell- oder Zieldatensätze zu Ihren Flüssen hinzufügen, müssen Sie die Schlüssel und nullwertfähigen Werte im Konfigurationsfenster der Zieldatensätze festlegen.