Umwandeln von Daten

Erstellen Sie wiederverwendbare und regelbasierte Datenumwandlungen als Teil Ihrer Daten-Pipeline. Sie können Umwandlungen als Teil Ihrer Dateneingliederung durchführen oder wiederverwendbare Umwandlungs-Datenaufgaben erstellen. Sie können Umwandlungen auf Zeilenebene durchführen und Datensätze erstellen, die entweder als Tabelle umgesetzt oder als Ansichten erstellt werden, in denen Umwandlungen direkt bei Bedarf durchgeführt werden.

• Sie können explizite Umwandlungen pro Datensatz durchführen oder globale Regeln erstellen, die mehrere Datensätze umwandeln. Sie können auch einen Datensatz filtern, um einen Teilsatz von Zeilen zu erstellen.

• Sie können SQL-Umwandlungen hinzufügen.

Erstellen einer Umwandlungs-Datenaufgabe

Die einfachste Art und Weise, eine Umwandlungs-Datenaufgabe zu erstellen, ist es, für eine Speicher-Datenaufgabe auf ... zu klicken und dann Daten umwandeln auszuwählen.

Sie können auch auf Neu hinzufügen in einem Datenprojekt klicken und Daten umwandeln auswählen. In diesem Fall müssen Sie definieren, welche Quell-Datenaufgabe verwendet werden soll.

1. Definieren Sie Ihre Quelldaten in Dataset umwandeln.

   Wählen Sie Quelldatensätze aus und klicken Sie auf Hinzufügen, um sie zu Ziel hinzuzufügen.

   Sie können eine SQL-Umwandlung hinzufügen, indem Sie einen Datensatz auswählen und auf SQL-basierten Datensatz hinzufügen klicken.

   Hinzufügen von SQL-Umwandlungen

   TipphinweisSie können auch mehrere Datensätze aus anderen Speicher-Datenobjekten hinzufügen, indem Sie auf Quelldaten auswählen klicken.

2. Nehmen Sie alle notwendigen Änderungen an den inbegriffenen Datasets wie beispielsweise Transformationen, Filtern von Daten oder Hinzufügen von Spalten vor.

   Weitere Informationen finden Sie unter Verwalten von Datensätzen.

3. Nachdem Sie die gewünschten Transformationen hinzugefügt haben, validieren Sie die Datensätze, indem Sie auf Datensätze validieren klicken. Falls bei der Validierung Fehler gefunden werden, beheben Sie diese, bevor Sie fortfahren.

   Weitere Informationen finden Sie unter Validieren und Anpassen der Datensätze.

4. Datenmodell erstellen

   Klicken Sie auf Modell, um die Beziehungen zwischen den enthaltenen Datasets festzulegen.

   Weitere Informationen finden Sie unter Erstellung eines Datenmodells.

5. Klicken Sie auf Vorbereiten, um die Datenaufgabe und alle erforderlichen Artefakte vorzubereiten. Dies kann eine Weile dauern.

   Sie können den Fortschritt unter Vorbereitungsfortschritt unten im Bildschirm verfolgen.

6. Wenn der Status Vorbereitet anzeigt, können Sie die Datenaufgabe ausführen.

   Klicken Sie auf ... und dann auf Ausführen.

Die Datenaufgabe beginnt nun mit der Erstellung von Datensätzen, um die Daten umzuwandeln.

Hinzufügen von SQL-Umwandlungen

Sie können SQL-Umwandlungen in Umwandlungsaufgaben aufnehmen. Mit einer SQL-Umwandlung können Sie eine SQL SELECT-Abfrage in eine Pipeline eingeben, um komplexe oder einfache Umwandlungen zu definieren.

• Wählen Sie bei Dataset umwandeln die Datasets, die in die Abfrage eingeschlossen werden sollen, und klicken Sie auf SQL-Umwandlung hinzufügen.

Weitere Informationen finden Sie unter Hinzufügen von SQL-Umwandlungen.

Planen einer Umwandlungsaufgabe

Sie können eine Umwandlungsaufgabe planen, damit sie regelmäßig aktualisiert wird. Sie können einen zeitbasierten Plan festlegen oder die Aufgabe so einrichten, dass sie nach dem Abschluss von Eingabedatenaufgaben ausgeführt wird.

Klicken Sie in einer Datenaufgabe auf ... und wählen Sie Planung aus, um einen Plan zu erstellen. Die Standardplanungseinstellung wird aus den Einstellungen im Datenprojekt übernommen. Weitere Informationen zu Standardeinstellungen finden Sie unter Umwandlungsstandardwerte.

Sie müssen Planung immer auf Ein festlegen, um den Plan zu aktivieren.

Zeitbasierte Pläne

Sie können zeitbasierte Pläne verwenden, um Aufgaben unabhängig davon auszuführen, wann die einzelnen Eingabequellen aktualisiert werden.

• Wählen Sie in Datenaufgabe ausführen die Option Zu einer bestimmten Uhrzeit aus.

Sie können einen stündlichen, täglichen, wöchentlichen oder monatlichen Plan erstellen.

Ereignisbasierte Pläne

Sie können einen ereignisbasierten Plan festlegen oder die Aufgabe so einrichten, dass sie nach dem Abschluss von Eingabedatenaufgaben ausgeführt wird.

• Wählen Sie in Datenaufgabe ausführen die Option Bei einem bestimmten Ereignis aus.

Sie können auswählen, ob die Aufgabe ausgeführt werden soll, nachdem eine der Eingabeaufgaben erfolgreich abgeschlossen wurde, oder nachdem eine Auswahl an Eingabeaufgaben erfolgreich abgeschlossen wurde.

Überwachen einer Umwandlungsaufgabe

Sie können den Status und Fortschritt einer Umwandlungsaufgabe überwachen, indem Sie auf Überwachen klicken.

Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe.

Laden von Daten

Sie können Tabellen manuell laden, wenn die Daten als physische Tabellen materialisiert sind. Das ist nützlich, wenn Probleme mit einer oder mehreren Tabellen vorliegen. Wenn Datensätze nicht materialisiert sind, müssen Sie die Quelldatensätze in den vorgelagerten Datenaufgaben neu laden, um die Daten zu aktualisieren.

1. Öffnen Sie die Datenaufgabe und wählen Sie die Registerkarte Überwachen aus.

2. Wählen Sie die Tabellen aus, die Sie laden möchten.

3. Klicken Sie auf Tabellen laden.

Der Ladevorgang findet bei der nächsten Aufgabenausführung statt. Der Ladeprozess verhält sich unterschiedlich, je nach der Verlaufseinstellung und dem Umwandlungstyp der einzelnen Datensätze. Das bedeutet, dass der Ladeprozess zwischen Datensätzen in einer Datenaufgabe unterschiedlich sein kann.

Sie können den Ladevorgang für Tabellen mit ausstehendem Laden abbrechen, indem Sie auf Ladevorgang abbrechen klicken. Bereits geladene Tabellen sind davon nicht betroffen, und aktuell laufende Ladevorgänge werden abgeschlossen.

Nachgelagerte Aufgaben werden neu geladen, um Änderungen anzuwenden und Rückdatierung zu vermeiden. Dies wird wie folgt durchgeführt:

1. Es wird mit dem vollständigen Laden verglichen, und die Änderungen werden angewendet.

2. Die nach dem Ladevorgang erfolgten Änderungen werden angewendet.

Neuladen eines Datensatzes ohne Verlauf

In diesem Fall ist kein Verlauf zu berücksichtigen. Um die Verarbeitung im Ziel zu reduzieren, wird der Ladevorgang wie folgt durchgeführt:

1. Die Tabellen werden abgeschnitten.

2. Die aktuellen Daten werden aus der vorgelagerten Datenaufgabe geladen.

Nachgelagerte Aufgaben werden neu geladen, um Änderungen anzuwenden.

Neuladen eines Datensatzes mit aktiviertem Verlauf

Der Ladevorgang wird wie folgt durchgeführt:

1. Aktuelle, vorherige und Änderungstabellen werden abgeschnitten.

2. Daten aus der vorgelagerten Datenaufgabe, einschließlich vorheriger Tabellen, werden geladen.

Neuladen eines Datensatzes basierend auf SQL-Umwandlung

• Abschneiden und neu laden

  InformationshinweisDiese Option kann zu einem Verlaufsverlust führen.

  1. Aktuelle und Änderungstabellen werden abgeschnitten.

  2. Die Abfrage wird ausgeführt und in die aktuellen Tabellen geladen.

• Neu laden und vergleichen

  1. Die Abfrage wird ausgeführt und mit den aktuellen Tabellen verglichen.

  2. Änderungen werden hinzugefügt.

Umwandlungseinstellungen

Sie können Eigenschaften für die Umwandlungsdatenaufgabe festlegen.

• Klicken Sie auf Einstellungen.

Allgemeine Einstellungen

• Datenbank

  Datenbank, die in der Datenquelle verwendet werden soll.

• Datenaufgabenschema

  Sie können den Namen des Speicher-Datenaufgabenschemas ändern. Der Standardname lautet store.

• Internes Schema

  Sie können den Namen des internen Speicherschemas ändern. Der Standardname lautet store__internal.

• Präfix für alle Tabellen und Ansichten

  Sie können ein Präfix für alle Tabellen und Ansichten festlegen, die mit dieser Aufgabe erstellt wurden.

  InformationshinweisSie müssen ein eindeutiges Präfix verwenden, wenn Sie ein Datenbankschema in mehreren Datenaufgaben nutzen möchten.

• Eingetreten

  Sie können auswählen, nur Ansichten zu erstellen, die spontan Umwandlungen durchführen können (Nicht materialisiert), oder sowohl Tabellen als auch Ansichten zu erstellen (Materialisiert).

• Verlauf

  Sie können Verlaufsänderungsdaten beibehalten, um Daten leicht erneut so erstellen zu können, wie sie zu einem bestimmten Zeitpunkt aussahen. Sie können Verlaufsansichten und Live-Verlaufsansichten verwenden, um Verlaufsdaten anzuzeigen.

Laufzeiteinstellungen

• Parallele Ausführung

  Sie können die maximale Anzahl an Datenverbindungen für vollständige Ladevorgänge auf eine Zahl von 1 bis 5 setzen.

• Warehouse

  Der Name des Cloud Data Warehouse.

Beschränkungen

• Es ist nicht möglich, Datentype in einer Umwandlungsdatenaufgabe zu ändern, wenn die Option Nicht eingetreten ausgewählt ist.

• Nicht materialisierte SQL-basierte Datensätze stellen nur den vollen Ergebnissatz bereit. Inkrementelles Filtern wird nicht unterstützt. Nicht materialisierte SQL-basierte Datensätze stellen auch nur aktuelle Daten bereit und bewahren keine Verlaufsdaten auf.