Umwandeln von Daten

Erstellen Sie wiederverwendbare und regelbasierte Datenumwandlungen als Teil Ihrer Daten-Pipeline. Sie können Umwandlungen als Teil Ihrer Dateneingliederung durchführen oder wiederverwendbare Umwandlungs-Datenaufgaben erstellen. Sie können Umwandlungen auf Zeilenebene durchführen und Datensätze erstellen, die entweder als Tabelle umgesetzt oder als Ansichten erstellt werden, in denen Umwandlungen direkt bei Bedarf durchgeführt werden.

• Sie können explizite Datensatzumwandlungen durchführen oder globale Regeln erstellen, die mehrere Datensätze umwandeln. Sie können auch einen Datensatz filtern, um einen Teilsatz von Zeilen zu erstellen.

• Sie können SQL-Umwandlungen hinzufügen. Mit einer SQL-Umwandlung können Sie eine SQL SELECT-Abfrage in eine Pipeline eingeben, um komplexe oder einfache Umwandlungen zu definieren.

• Sie können visuelle Umwandlungsflüsse mit Quellen, Prozessoren und Zielen hinzufügen, um komplexe oder einfache Umwandlungen zu definieren.

Eine Umwandlungsdatenaufgabe enthält drei Ansichten:

• Umwandeln

  In dieser Ansicht werden alle Umwandlungen angezeigt, um den Fluss vom Quelldatensatz zum Zieldatensatz zu visualisieren.

• Datensätze

  In dieser Ansicht werden alle grundlegenden Umwandlungen der Datensätze angezeigt, wie z. B. das Filtern von Daten oder das Hinzufügen von Spalten sowie Regeln zur Durchführung globaler Umwandlungen.

• Modell

  Mit dieser Ansicht können Sie ein Datenmodell mit den Beziehungen zwischen den eingeschlossenen Datensätzen erstellen.

Erstellen einer Umwandlungs-Datenaufgabe

Die einfachste Art und Weise, eine Umwandlungs-Datenaufgabe zu erstellen, ist es, für eine Speicher-Datenaufgabe auf ... zu klicken und dann Daten umwandeln auszuwählen.

Sie können auch auf Erstellen in einem Projekt klicken und Daten umwandeln auswählen. In diesem Fall müssen Sie definieren, welche Quell-Datenaufgabe verwendet werden soll.

1. Definieren Sie Ihre Quelldaten und Ziele in Umwandeln.

   Sie haben zwei Möglichkeiten:

   • Grundlegende Datensatzumwandlungen durchführen

     Wählen Sie Quelldatensätze aus und klicken Sie auf Zu Ziel hinzufügen, um sie zu Ziel hinzuzufügen.

     Sie können dann in Datensätze grundlegende Umwandlungen auf die Datensätze anwenden, also beispielsweise Daten filtern oder Spalten hinzufügen.

     Weitere Informationen finden Sie unter Verwalten von Datensätzen.

   • Eine SQL-Umwandlung hinzufügen

     Wählen Sie Quelldatensätze aus und klicken Sie auf SQL-Umwandlung hinzufügen

     Mit einer SQL-Umwandlung können Sie eine SQL SELECT-Abfrage in eine Pipeline eingeben, um komplexe oder einfache Umwandlungen zu definieren.

     Weitere Informationen finden Sie unter Hinzufügen von SQL-Umwandlungen.

   • Einen Umwandlungsfluss hinzufügen

     Wählen Sie Quelldatensätze aus und klicken Sie auf Umwandlungsfluss hinzufügen

     Im Fluss-Designer können Sie einen Umwandlungsfluss mit Quellen, Prozessoren und Zielen erstellen, um komplexe oder einfache Umwandlungen zu definieren.

     Weitere Informationen finden Sie unter Hinzufügen von Umwandlungsflüssen.

   TipphinweisSie können auch mehrere Datensätze aus anderen Speicherdatenaufgaben hinzufügen, indem Sie auf Quelldaten auswählen klicken.

2. Nachdem Sie die gewünschten Transformationen hinzugefügt haben, validieren Sie die Datensätze, indem Sie auf Datensätze validieren klicken. Falls bei der Validierung Fehler gefunden werden, beheben Sie diese, bevor Sie fortfahren.

   Weitere Informationen finden Sie unter Validieren und Anpassen der Datensätze.

3. Datenmodell erstellen

   Klicken Sie auf Modell, um die Beziehungen zwischen den enthaltenen Datasets festzulegen.

   Weitere Informationen finden Sie unter Erstellung eines Datenmodells.

4. Klicken Sie auf Vorbereiten, um die Datenaufgabe und alle erforderlichen Artefakte vorzubereiten. Dies kann eine Weile dauern.

   Sie können den Fortschritt unter Vorbereitungsfortschritt unten im Bildschirm verfolgen.

5. Wenn der Status Vorbereitet anzeigt, können Sie die Datenaufgabe ausführen.

   Klicken Sie auf ... und dann auf Ausführen.

Die Datenaufgabe beginnt nun mit der Erstellung von Datensätzen, um die Daten umzuwandeln.

Verwenden der Ansicht Umwandeln

In Umwandeln werden alle Umwandlungen angezeigt, um den Fluss vom Quelldatensatz zum Zieldatensatz zu visualisieren.

• Wählen Sie eine Umwandlung aus, um zu sehen, welche Quelldatensätze verwendet und welche Zieldatensätze erstellt werden.

• Wählen Sie eine Quelle aus, um alle Umwandlungen, in denen sie verwendet wird, und alle daraus resultierenden Ziele anzuzeigen.

• Wählen Sie ein Ziel aus, um zu sehen, welche Quelldatensätze verwendet werden und welche Umwandlung in diesem Zieldatensatz erstellt wird.

Sie können die folgenden Einstellungen ändern, indem Sie auf Anzeigeoptionen klicken:

• Nach Umwandlungstyp filtern

  Zeigen Sie nur Umwandlungen von einem oder zwei Umwandlungstypen an.

• Filtern

  Zeigen Sie alle Umwandlungen oder nur die ausgewählte Umwandlung an. Sie müssen eine Umwandlung auswählen, um diese Option zu aktivieren.

• Dichte

  Wählen Sie aus, ob Sie Umwandlungen in einem kompakten Layout oder in einem breiten Layout mit mehr Platzbedarf anzeigen möchten.

Verwenden der Ansicht Datensätze

Unter Datensätze können Sie alle Zieldatensätze in der Umwandlungsaufgabe anzeigen und bearbeiten.

Unter Verwalten von Datensätzen finden Sie weitere Informationen.

Hinzufügen eines Zieldatensatzes

Sie können der Umwandlungsaufgabe weitere Zieldatensätze hinzufügen.

1. Klicken Sie auf Datensatz hinzufügen.

2. Geben Sie den Namen und optional die Beschreibung für den Datensatz an.

3. Wählen Sie einen Quelldatensatz aus den Datensätzen aus, die in der Aufgabe in Quelldatensatz verfügbar sind.

   TipphinweisSie können Kein Quelldatensatz auswählen, um einen leeren Datensatz zu erstellen, der mit keiner Quelle verbunden ist. Sie können während des Entwurfs Spalten zum Datensatz hinzufügen, aber Sie müssen eine Verbindung zu einem Quelldatensatz herstellen, bevor Sie die Aufgabe vorbereiten können.

Der Zieldatensatz ist jetzt hinzugefügt.

Ändern des Quelldatensatzes

Sie können den Quelldatensatz eines Zieldatensatzes ändern.

1. Klicken Sie auf nach Quelle: [Name des Quelldatensatzes].

2. Wählen Sie einen weiteren Quelldatensatz aus den Datensätzen aus, die in der Aufgabe in Quelldatensatz verfügbar sind.

   TipphinweisSie können Kein Quelldatensatz auswählen, um die Verbindung zwischen dem Zieldatensatz und der Quelle zu trennen. Sie können den Datensatz während des Entwurfs bearbeiten, aber Sie müssen eine Verbindung zu einem Quelldatensatz herstellen, bevor Sie die Aufgabe vorbereiten können.

Hinzufügen neuer Spalten

Sie können dem Zieldatensatz neue Spalten hinzufügen.

• Hinzufügen einer vollständig neuen Spalte

  Klicken Sie auf + Hinzufügen.

  Geben Sie einen Namen für die Spalte an, und legen Sie eine Formel fest, um die Daten der Spalte zu definieren.

  Weitere Informationen finden Sie unter Hinzufügen von Spalten zu einem Dataset.

• Hinzufügen einer Spalte aus der Quelle

  Klicken Sie auf neben Hinzufügen und wählen Sie Spalte aus Quelle hinzufügen.

  Wählen Sie eine Spalte aus dem Quelldatensatz aus.

Neuanordnung von Spalten

Sie können die ordinale Position einer Spalte ändern.

1. Wählen Sie eine Spalte aus.

2. Klicken Sie auf und dann auf Neu ordnen.

3. Verwenden Sie die Pfeile, um die Spalte nach oben oder unten zu verschieben.

4. Schließen Sie Ordinal ändern, wenn Sie fertig sind.

Erstellen von Umwandlungsregeln

Sie können wiederverwendbare Umwandlungsregeln erstellen, um globale Umwandlungen für Datensätze durchzuführen.

Weitere Informationen zum Erstellen von Regeln finden Sie unter Erstellen von Regeln zur Umwandlung von Datensätzen.

Filtern eines Datensatzes

Sie können Daten filtern, um bei Bedarf einen Teilsatz der Zeilen zu erstellen.

• Klicken Sie auf und dann auf Filtern.

Weitere Informationen zu Filtern finden Sie unter Filtern eines Datensatzes.

Planen einer Umwandlungsaufgabe

Sie können eine Umwandlungsaufgabe planen, damit sie regelmäßig aktualisiert wird. Sie können einen zeitbasierten Plan festlegen oder die Aufgabe so einrichten, dass sie nach dem Abschluss von Eingabedatenaufgaben ausgeführt wird.

Klicken Sie in einer Datenaufgabe auf ... und wählen Sie Planung aus, um einen Plan zu erstellen. Die Standardplanungseinstellung wird aus den Einstellungen im Projekt übernommen. Weitere Informationen zu Standardeinstellungen finden Sie unter Umwandlungsstandardwerte.

Sie müssen Planung immer auf Ein festlegen, um den Plan zu aktivieren.

Zeitbasierte Pläne

Sie können zeitbasierte Pläne verwenden, um Aufgaben unabhängig davon auszuführen, wann die einzelnen Eingabequellen aktualisiert werden.

• Wählen Sie in Datenaufgabe ausführen die Option Zu einer bestimmten Uhrzeit aus.

Sie können einen stündlichen, täglichen, wöchentlichen oder monatlichen Plan erstellen.

Ereignisbasierte Pläne

Sie können einen ereignisbasierten Plan festlegen oder die Aufgabe so einrichten, dass sie nach dem Abschluss von Eingabedatenaufgaben ausgeführt wird.

• Wählen Sie in Datenaufgabe ausführen die Option Bei einem bestimmten Ereignis aus.

Sie können auswählen, ob die Aufgabe ausgeführt werden soll, nachdem eine der Eingabeaufgaben erfolgreich abgeschlossen wurde, oder nachdem eine Auswahl an Eingabeaufgaben erfolgreich abgeschlossen wurde.

Überwachen einer Umwandlungsaufgabe

Sie können den Status und Fortschritt einer Umwandlungsaufgabe überwachen, indem Sie auf Überwachen klicken.

Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe.

Laden von Daten

Sie können Tabellen manuell laden, wenn die Daten als physische Tabellen materialisiert sind. Das ist nützlich, wenn Probleme mit einer oder mehreren Tabellen vorliegen.

1. Öffnen Sie die Datenaufgabe und wählen Sie die Registerkarte Überwachen aus.

2. Wählen Sie die Tabellen aus, die Sie laden möchten.

3. Klicken Sie auf Tabellen laden.

Der Ladevorgang findet bei der nächsten Aufgabenausführung statt. Der Ladeprozess verhält sich unterschiedlich, je nach der Verlaufseinstellung und dem Umwandlungstyp der einzelnen Datensätze. Das bedeutet, dass der Ladeprozess zwischen Datensätzen in einer Datenaufgabe unterschiedlich sein kann.

• Datensatzumwandlungen werden durch Abschneiden und Neuladen geladen.

• SQL-Umwandlungen und Umwandlungsflüsse können neu geladen werden, indem abgeschnitten und neu geladen wird oder mit dem vollständigen Ladevorgang verglichen und Änderungen angewendet werden. Als Best Practice wird Vergleichen und Anwenden empfohlen.

  Neuladen eines Datensatzes basierend auf SQL-Umwandlung oder Umwandlungsfluss

Sie können den Ladevorgang für Tabellen mit ausstehendem Laden abbrechen, indem Sie auf Ladevorgang abbrechen klicken. Bereits geladene Tabellen sind davon nicht betroffen, und aktuell laufende Ladevorgänge werden abgeschlossen.

Nachgelagerte Aufgaben werden neu geladen, um Änderungen anzuwenden und Rückdatierung zu vermeiden.

Die Auswirkung auf nachgelagerte Objekte hängt vom Typ des durchgeführten Ladevorgangs und vom Typ des unmittelbar nachgelagerten Datensatzes ab. Standardverarbeitung bedeutet, dass der Datensatz reagieren und die Daten mit der konfigurierten Methode für den angegebenen Datensatz verarbeiten wird.

Beispiel: Erneutes Laden eines Datensatzes mit Abschneiden und Neuladen

• Wenn der nächste Datensatz Datensatzumwandlungen verwendet, wird er bei der nächsten Ausführung durch Abschneiden und Neuladen geladen.

• Wenn der nächste Datensatz eine SQL-Umwandlung oder ein Umwandlungsfluss ist, wird er mit Vergleichen und Anwenden neu geladen.

Neuladen eines Datensatzes ohne Verlauf

In diesem Fall ist kein Verlauf zu berücksichtigen. Um die Verarbeitung im Ziel zu reduzieren, wird der Ladevorgang wie folgt durchgeführt:

1. Die Tabellen werden abgeschnitten.

2. Die aktuellen Daten werden aus der vorgelagerten Datenaufgabe geladen.

Nachgelagerte Aufgaben werden neu geladen, um Änderungen anzuwenden.

Neuladen eines Datensatzes mit aktiviertem Verlauf

Der Ladevorgang wird wie folgt durchgeführt:

1. Aktuelle, vorherige und Änderungstabellen werden abgeschnitten.

2. Daten aus der vorgelagerten Datenaufgabe, einschließlich vorheriger Tabellen, werden geladen.

Neuladen eines Datensatzes basierend auf SQL-Umwandlung oder Umwandlungsfluss

• Abschneiden und neu laden

  InformationshinweisDiese Option kann zu einem Verlaufsverlust führen.

  1. Aktuelle und Änderungstabellen werden abgeschnitten.

  2. Die Abfrage wird ausgeführt und in die aktuellen Tabellen geladen.

• Neu laden und vergleichen

  1. Die Abfrage wird ausgeführt und mit den aktuellen Tabellen verglichen.

  2. Änderungen werden hinzugefügt.

Umwandlungseinstellungen

Sie können Eigenschaften für die Umwandlungsdatenaufgabe festlegen.

• Klicken Sie auf Einstellungen.

Allgemeine Einstellungen

• Datenbank

  Datenbank, die in der Datenquelle verwendet werden soll

• Aufgabenschema

  Sie können den Namen des Datenaufgabenschemas ändern. Der Standardname ist der Name der Aufgabe.

• Internes Schema

  Sie können den Namen des internen Speicherschemas ändern. Der Standardname ist der Name der Aufgabe, an den "__internal" angehängt ist.

• Präfix für alle Tabellen und Ansichten

  Sie können ein Präfix für alle Tabellen und Ansichten festlegen, die mit dieser Aufgabe erstellt wurden.

  InformationshinweisSie müssen ein eindeutiges Präfix verwenden, wenn Sie ein Datenbankschema in mehreren Datenaufgaben nutzen möchten.

• Eingetreten

  Sie können auswählen, nur Ansichten zu erstellen, die spontan Umwandlungen durchführen können (Nicht materialisiert), oder sowohl Tabellen als auch Ansichten zu erstellen (Materialisiert).

• Verlauf

  Sie können Verlaufsänderungsdaten beibehalten, um Daten leicht erneut so erstellen zu können, wie sie zu einem bestimmten Zeitpunkt aussahen. Sie können Verlaufsansichten und Live-Verlaufsansichten verwenden, um Verlaufsdaten anzuzeigen.

Laufzeiteinstellungen

• Parallele Ausführung

  Sie können die maximale Anzahl an Verbindungen für vollständige Ladevorgänge auf eine Zahl von 1 bis 5 setzen.

• Warehouse

  Der Name des Cloud Data Warehouse.

Katalogeinstellungen

• In Katalog veröffentlichen

  Wählen Sie diese Option aus, um diese Version der Daten als Datensatz im Katalog zu veröffentlichen. Der Kataloginhalt wird aktualisiert, wenn Sie diese Aufgabe zum nächsten Mal vorbereiten.

Weitere Informationen zu Katalog finden Sie unter Verstehen Ihrer Daten mit Katalogwerkzeugen.

Beschränkungen

• Es ist nicht möglich, Datentypen in einer Umwandlungsdatenaufgabe zu ändern, wenn die Option Nicht eingetreten ausgewählt ist.

• Die Herkunft auf Feldebene ist für Datensätze, die in SQL-Transformationen oder Umwandlungsflüssen erstellt wurden, nicht verfügbar.