Replizieren von Daten mit einem Qlik Talend Cloud Starter-Abonnement

Mithilfe des Aufgaben-Einrichtungsassistenten können Sie mit wenigen Klicks eine Replikationsaufgabe einrichten.

Die im Assistenten gezeigten Einstellungen geben den ausgewählten Zieltyp wieder. Wenn Sie beispielsweise an Speicherziele wie Amazon S3 replizieren, werden Sie zur Eingabe eines Speicherorts aufgefordert. Wenn Sie dagegen an Ziele wie Amazon Redshift replizieren, die einen Bereitstellungsbereich erfordern, werden Sie aufgefordert, einen Bereitstellungsbereich zu definieren oder auszuwählen.

Die folgende Tabelle unterstützt Sie beim Navigieren durch dieses Thema entsprechend Ihrem gewählten Ziel.

Replizieren an Datenbanken und Data Warehouses ohne Bereitstellung

In diesem Abschnitt wird erläutert, wie Sie eine Replikationsaufgabe an Datenbanken und Data Warehouses einrichten, die keinen getrennten Bereitstellungsbereich erfordern.

Gehen Sie wie folgt vor:

1. Klicken Sie in Datenintegration > Startseite auf Daten replizieren.

   Der Assistent Daten replizieren wird geöffnet.

2. Gehen Sie auf der Registerkarte Allgemein wie folgt vor:

   • Aufgabenname

     Geben Sie einen Namen für Ihre Aufgabe an.

   • Beschreibung

     Geben Sie optional eine Beschreibung für Ihre Aufgabe ein.

   • Projekt

     Gehen Sie folgendermaßen vor:

     • Wählen Sie ein vorhandenes Projekt aus

     • Geben Sie einen Namen für ein neues Projekt an und klicken Sie dann unter dem Feld Projekt auf Neues Projekt hinzufügen: <ihr-projektname>.

       Der Projektname wird im Feld Projekt hinzugefügt.

   • Bereich

     Wählen Sie einen Datenbereich für Ihr Replikationsprojekt aus. Wenn Sie noch keine Datenbereiche erstellt haben, führen Sie einen der folgenden Schritte aus:

     • Wählen Sie Data-Space aus (den Standard-Datenbereich des Mandanten).

       InformationshinweisData-Space hat vollständige Berechtigungen für alle Mitglieder. Sie können die Rollen und Berechtigungen der einzelnen Mitglieder später wie in Rollen und Berechtigungen für Datenbereiche beschrieben bearbeiten.

     • Brechen Sie den Assistenten ab, erstellen Sie Ihren eigenen Datenbereich wie in Erstellen eines Datenbereichs beschrieben und führen Sie dann den Assistenten erneut aus.

     Weitere Informationen zu Datenbereichen finden Sie unter Arbeiten in Bereichen in Qlik Talend Data Integration.

3. Klicken Sie auf Weiter. Wählen Sie auf der Registerkarte Quellverbindung auswählen eine Verbindung zur Datenquelle aus. Sie können optional die Verbindungseinstellungen bearbeiten, indem Sie im Menü in der Spalte Aktionen die Option Bearbeiten auswählen.

   Wenn Sie noch keine Verbindung zur Datenquelle erstellt haben, müssen Sie zuerst eine erstellen, indem Sie oben rechts auf der Registerkarte auf Verbindung erstellen klicken.

   Sie können die Liste der Verbindung mit den Filtern auf der linken Seite filtern. Verbindungen können nach Quelltyp, Gateway, Bereich und Besitzer gefiltert werden. Die Schaltfläche Alle Filter über der Verbindungsliste zeigt die Anzahl der aktuellen Filter. Mithilfe dieser Schaltfläche können Sie das Fenster Filter auf der linken Seite öffnen oder schließen. Derzeit aktive Filter werden auch oberhalb der Liste der verfügbaren Verbindungen angezeigt.

   Sie können die Liste auch sortieren, indem Sie in der Dropdown-Liste rechts Zuletzt geändert, Zuletzt erstellt oder Alphabetisch auswählen. Klicken Sie auf den Pfeil rechts neben der Liste, um die Sortierreihenfolge zu ändern.

   Nachdem Sie eine Datenquellenverbindung ausgewählt haben, klicken Sie optional oben rechts auf der Registerkarte auf Verbindung testen (empfohlen) und dann auf Weiter.

4. Wählen Sie auf der Registerkarte Datensätze auswählen Tabellen bzw. Ansichten aus, die in die Replikationsaufgabe eingeschlossen werden sollen. Sie können auch Platzhalter verwenden und Auswahlregeln erstellen, wie in Auswählen von Daten aus einer Datenbank beschrieben.

5. Wählen Sie auf der Registerkarte Zielverbindung auswählen das Ziel aus der Liste der verfügbaren Verbindungen aus und klicken Sie dann auf Weiter. Die Registerkarte funktioniert genauso wie die oben beschriebene Registerkarte Quellverbindung auswählen.

6. Auf der Registerkarte Einstellungen können Sie optional die folgenden Einstellungen ändern und dann auf Weiter klicken.

   Replikationsmodus

   InformationshinweisWenn aus SaaS-Anwendungsquellen repliziert wird, ist der Replikationsmodus Vollständiges Laden standardmäßig aktiviert und kann nicht deaktiviert werden.
   • Vollständiges Laden: Lädt die Daten aus den ausgewählten Quelltabellen in die Zielplattform und erstellt bei Bedarf die Zieltabellen. Vollständiges Laden findet automatisch statt, wenn die Aufgabe gestartet wird, kann aber bei Bedarf auch manuell durchgeführt werden.

   • Änderungen anwenden: Aktualisiert die Zieltabellen fortlaufend mit allen an den Quelltabellen vorgenommenen Änderungen.

   • Änderungen speichern: Speichert die Änderungen an den Quelltabellen in Änderungstabellen (eine pro Quelltabelle).

     Weitere Informationen finden Sie unter Änderungen speichern.

   Die Häufigkeit der Änderungsdatenerfassung wird durch die Scheduler-Einstellungen bestimmt. Das Standardintervall für die Änderungserfassung ist alle sechs Stunden. Weitere Informationen finden Sie unter Planen von Aufgaben beim Arbeiten ohne Data Movement Gateway.

   Benutzerdefinierte Schemas

   • Zieldatensatzschema: Wählen Sie optional das Schema aus, in dem die Datensätze im Ziel erstellt werden sollen.
   • Kontrolltabellenschema: Wählen Sie optional das Schema aus, in dem die Kontrolltabellen im Ziel erstellt werden sollen.

   Replikationsplaner

   • Daten replizieren alle: Sie können planen, wie häufig Änderungen an der Datenquelle erfasst werden, und eine Startuhrzeit und ein Startdatum einrichten. Wenn die Quelldatensätze CDC (Change Data Capture) unterstützen, werden nur die Quelldaten repliziert und auf die entsprechenden Zieltabellen angewendet. Wenn die Quelldatensätze CDC nicht unterstützen (z. B. Ansichten), werden die Änderungen angewendet, indem alle Quelldaten erneut in die entsprechenden Zieltabellen geladen werden. Wenn einige der Quelldatensätze CDC unterstützen und andere nicht, werden zwei getrennte Unteraufgaben erstellt (wobei davon ausgegangen wird, dass die Replikationsoptionen Änderungen anwenden oder Änderungen speichern ausgewählt sind): eine zum erneuten Laden der Datensätze, die CDC nicht unterstützen, und eine zum Erfassen der Änderungen für Datensätze, die CDC unterstützen.

     Mit dem Aufgaben-Einrichtungsassistenten können Sie ein stündliches Intervall planen. Nachdem Sie die Einrichtung der Aufgabe abgeschlossen haben, können Sie verschiedene Planungsoptionen prüfen, wie in Planen von Aufgaben beim Arbeiten ohne Data Movement Gateway beschrieben.

   Weitere Informationen zu Mindestplanintervallen entsprechend dem Datenquellentyp und der Abonnementstufe finden Sie unter Zulässige Mindestintervalle für die Planung.

   Sie können die Einstellungen später wie in Datenreplikations-Aufgabeneinstellungen beschrieben ändern.

7. Auf der Registerkarte Zusammenfassung wird eine Darstellung der Daten-Pipeline angezeigt. Wählen Sie eine der folgenden Aktionen für Nach dem Erstellen der Pipeline aus:

   • Projekt <Name> öffnen (Standard)

   • Datenaufgabe <Name> öffnen

     InformationshinweisWenn einige der ausgewählten Datensätze CDC nicht unterstützen, werden zwei Pipelines angezeigt: eine für die CDC-Aufgabe und eine für die Ladeaufgabe.

   Klicken Sie dann auf Erstellen und ausführen (Standard) oder auf Erstellen, um die Aufgabe zu erstellen, ohne sie auszuführen.

   Wenn Sie auf Erstellen und ausführen klicken, wird die Aufgabe erstellt und ihre Ausführung gestartet (dies kann einige Augenblicke dauern).

8. Wenn Sie auf Erstellen geklickt haben, tritt eines der folgenden Ereignisse ein, je nach der zuvor ausgewählten Aktion für Nach dem Erstellen der Pipeline:

   • Das Projekt wird geöffnet und zeigt die neu erstellte Aufgabe an.

   • Die Aufgabe wird auf der Registerkarte Datensätze geöffnet. Auf der Registerkarte Datensätze werden die Struktur und die Metadaten der ausgewählten Quelltabellen angezeigt. Dazu gehören alle explizit aufgelisteten Tabellen sowie Tabellen, die mit den Auswahlregeln übereinstimmen.

     Wenn Sie weitere Tabellen aus der Datenquelle hinzufügen möchten, klicken Sie auf Quelldaten auswählen.

9. Sie können Umwandlungen auf die Datensätze anwenden, Daten filtern oder Spalten hinzufügen.

   Weitere Informationen finden Sie unter Verwalten von Datensätzen.

10. Wenn Sie die gewünschten Transformationen hinzugefügt haben, können Sie die Datasets validieren, indem Sie auf Datensätze validieren klicken. Falls die Validierung fehlschlägt, beheben Sie die Fehler, bevor Sie fortfahren.

    Weitere Informationen finden Sie unter Validieren und Anpassen der Datensätze.

11. Wenn Sie fertig sind, klicken Sie auf Vorbereiten und ausführen, um die Datenaufgabe vorzubereiten und auszuführen.

    Informationen zum Wiederherstellen von Aufgaben und zu anderen Methoden der Aufgabenausführung finden Sie unter Erweiterte Ausführungsoptionen.

12. Die Replikationsaufgabe beginnt, und Sie können den Fortschritt in Überwachung anzeigen. Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe.

Replizieren an Data Warehouses mit Bereitstellung

In diesem Abschnitt wird erläutert, wie Sie eine Replikationsaufgabe an Data Warehouses einrichten, die einen getrennten Bereitstellungsbereich erfordern.

Gehen Sie wie folgt vor:

1. Klicken Sie in Datenintegration> Startseite auf Daten replizieren.

   Der Assistent Daten replizieren wird geöffnet.

2. Gehen Sie auf der Registerkarte Allgemein wie folgt vor:

   • Aufgabenname

     Geben Sie einen Namen für Ihre Aufgabe an.

   • Beschreibung

     Geben Sie optional eine Beschreibung für Ihre Aufgabe ein.

   • Projekt

     Gehen Sie folgendermaßen vor:

     • Wählen Sie ein vorhandenes Projekt aus

     • Geben Sie einen Namen für ein neues Projekt an und klicken Sie dann unter dem Feld Projekt auf Neues Projekt hinzufügen: <ihr-projektname>.

       Der Projektname wird im Feld Projekt hinzugefügt.

   • Bereich

     Wählen Sie einen Datenbereich für Ihr Replikationsprojekt aus. Wenn Sie noch keine Datenbereiche erstellt haben, führen Sie einen der folgenden Schritte aus:

     • Wählen Sie Data-Space aus (den Standard-Datenbereich des Mandanten).

       InformationshinweisData-Space hat vollständige Berechtigungen für alle Mitglieder. Sie können die Rollen und Berechtigungen der einzelnen Mitglieder später wie in Rollen und Berechtigungen für Datenbereiche beschrieben bearbeiten.

     • Brechen Sie den Assistenten ab, erstellen Sie Ihren eigenen Datenbereich wie in Erstellen eines Datenbereichs beschrieben und führen Sie den Assistenten erneut aus.

     Weitere Informationen zu Datenbereichen finden Sie unter Arbeiten in Bereichen in Qlik Talend Data Integration.

3. Klicken Sie auf Weiter. Wählen Sie auf der Registerkarte Quellverbindung auswählen eine Verbindung zur Datenquelle aus. Sie können optional die Verbindungseinstellungen bearbeiten, indem Sie im Menü in der Spalte Aktionen die Option Bearbeiten auswählen.

   Wenn Sie noch keine Verbindung zur Datenquelle erstellt haben, müssen Sie zuerst eine erstellen, indem Sie oben rechts auf der Registerkarte auf Verbindung erstellen klicken.

   Sie können die Liste der Verbindung mit den Filtern auf der linken Seite filtern. Verbindungen können nach Quelltyp, Gateway, Bereich und Besitzer gefiltert werden. Die Schaltfläche Alle Filter über der Verbindungsliste zeigt die Anzahl der aktuellen Filter. Mithilfe dieser Schaltfläche können Sie das Fenster Filter auf der linken Seite öffnen oder schließen. Derzeit aktive Filter werden auch oberhalb der Liste der verfügbaren Verbindungen angezeigt.

   Sie können die Liste auch sortieren, indem Sie in der Dropdown-Liste rechts Zuletzt geändert, Zuletzt erstellt oder Alphabetisch auswählen. Klicken Sie auf den Pfeil rechts neben der Liste, um die Sortierreihenfolge zu ändern.

   Nachdem Sie eine Datenquellenverbindung ausgewählt haben, klicken Sie optional oben rechts auf der Registerkarte auf Verbindung testen (empfohlen) und dann auf Weiter.

4. Wählen Sie auf der Registerkarte Datensätze auswählen Tabellen bzw. Ansichten aus, die in die Replikationsaufgabe eingeschlossen werden sollen. Sie können auch Platzhalter verwenden und Auswahlregeln erstellen, wie in Auswählen von Daten aus einer Datenbank beschrieben.

5. Wählen Sie auf der Registerkarte Zielverbindung auswählen das Ziel aus der Liste der verfügbaren Verbindungen aus und klicken Sie dann auf Weiter. Die Registerkarte funktioniert genauso wie die oben beschriebene Registerkarte Quellverbindung auswählen.

6. Auf der Registerkarte Einstellungen können Sie optional die folgenden Einstellungen ändern und dann auf Weiter klicken.

   Replikationsmodus

   InformationshinweisWenn aus SaaS-Anwendungsquellen repliziert wird, ist der Replikationsmodus Vollständiges Laden standardmäßig aktiviert und kann nicht deaktiviert werden.
   • Vollständiges Laden: Lädt die Daten aus den ausgewählten Quelltabellen in die Zielplattform und erstellt bei Bedarf die Zieltabellen. Vollständiges Laden findet automatisch statt, wenn die Aufgabe gestartet wird, kann aber bei Bedarf auch manuell durchgeführt werden.

   • Änderungen anwenden: Aktualisiert die Zieltabellen fortlaufend mit allen an den Quelltabellen vorgenommenen Änderungen.

   • Änderungen speichern: Speichert die Änderungen an den Quelltabellen in Änderungstabellen (eine pro Quelltabelle).

     Weitere Informationen finden Sie unter Änderungen speichern.

   Die Häufigkeit der Änderungsdatenerfassung wird durch die Scheduler-Einstellungen bestimmt. Das Standardintervall für die Änderungserfassung ist alle sechs Stunden. Weitere Informationen finden Sie unter Planen von Aufgaben beim Arbeiten ohne Data Movement Gateway.

   Verbindung zu Bereitstellungsbereich

   Wenn die Replikation an die unten aufgelisteten Data Warehouses erfolgt, müssen Sie einen Bereitstellungsbereich einrichten. Die Daten werden im Bereitstellungsbereich verarbeitet und vorbereitet, bevor sie an das Warehouse übertragen werden.

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   Wählen Sie entweder einen vorhandenen Bereitstellungsbereich aus oder klicken Sie auf Neu erstellen, um einen neuen Bereitstellungsbereich zu definieren, und befolgen Sie die Anleitungen in Verbinden mit Cloud-Speicher.

   Um die Verbindungseinstellungen zu bearbeiten, klicken Sie auf Bearbeiten. Um die Verbindung zu testen (empfohlen), klicken Sie auf Verbindung testen.

   Weitere Informationen dazu, welche Bereitstellungsbereiche für welche Data Warehouses unterstützt werden, finden Sie in der Spalte Als Bereitstellungsbereich unterstützt in Zielplattform-Anwendungsfälle und unterstützte Versionen.

   Benutzerdefinierte Schemas

   • Zieldatensatzschema: Wählen Sie optional das Schema aus, in dem die Datensätze im Ziel erstellt werden sollen.
   • Kontrolltabellenschema: Wählen Sie optional das Schema aus, in dem die Kontrolltabellen im Ziel erstellt werden sollen.

   Replikationsplaner

   • Daten replizieren alle: Sie können planen, wie häufig Änderungen an der Datenquelle erfasst werden, und eine Startuhrzeit und ein Startdatum einrichten. Wenn die Quelldatensätze CDC (Change Data Capture) unterstützen, werden nur die Quelldaten repliziert und auf die entsprechenden Zieltabellen angewendet. Wenn die Quelldatensätze CDC nicht unterstützen (z. B. Ansichten), werden die Änderungen angewendet, indem alle Quelldaten erneut in die entsprechenden Zieltabellen geladen werden. Wenn einige der Quelldatensätze CDC unterstützen und andere nicht, werden zwei getrennte Unteraufgaben erstellt (wobei davon ausgegangen wird, dass die Replikationsoptionen Änderungen anwenden oder Änderungen speichern ausgewählt sind): eine zum erneuten Laden der Datensätze, die CDC nicht unterstützen, und eine zum Erfassen der Änderungen für Datensätze, die CDC unterstützen.

     Mit dem Aufgaben-Einrichtungsassistenten können Sie ein stündliches Intervall planen. Nachdem Sie die Einrichtung der Aufgabe abgeschlossen haben, können Sie verschiedene Planungsoptionen prüfen, wie in Planen von Aufgaben beim Arbeiten ohne Data Movement Gateway beschrieben.

   Sie können die Einstellungen später wie in Datenreplikations-Aufgabeneinstellungen beschrieben ändern.

7. Auf der Registerkarte Zusammenfassung wird eine Darstellung der Daten-Pipeline angezeigt. Wählen Sie eine der folgenden Aktionen für Nach dem Erstellen der Pipeline aus:

   • Projekt <Name> öffnen (Standard)

   • Datenaufgabe <Name> öffnen

     InformationshinweisWenn einige der ausgewählten Datensätze CDC nicht unterstützen, werden zwei Pipelines angezeigt: eine für die CDC-Aufgabe und eine für die Ladeaufgabe.

   Klicken Sie dann auf Erstellen und ausführen (Standard) oder auf Erstellen, um die Aufgabe zu erstellen, ohne sie auszuführen.

   Wenn Sie auf Erstellen und ausführen klicken, wird die Aufgabe erstellt und ihre Ausführung gestartet (dies kann einige Augenblicke dauern).

8. Wenn Sie auf Erstellen geklickt haben, tritt eines der folgenden Ereignisse ein, je nach der zuvor ausgewählten Aktion für Nach dem Erstellen der Pipeline:

   • Das Projekt wird geöffnet und zeigt die neu erstellte Aufgabe an.

   • Die Aufgabe wird auf der Registerkarte Datensätze geöffnet. Auf der Registerkarte Datensätze werden die Struktur und die Metadaten der ausgewählten Quelltabellen angezeigt. Dazu gehören alle explizit aufgelisteten Tabellen sowie Tabellen, die mit den Auswahlregeln übereinstimmen.

     Wenn Sie weitere Tabellen aus der Datenquelle hinzufügen möchten, klicken Sie auf Quelldaten auswählen.

9. Sie können Umwandlungen auf die Datensätze anwenden, Daten filtern oder Spalten hinzufügen.

   Weitere Informationen finden Sie unter Verwalten von Datensätzen.

10. Wenn Sie die gewünschten Transformationen hinzugefügt haben, können Sie die Datasets validieren, indem Sie auf Datensätze validieren klicken. Falls die Validierung fehlschlägt, beheben Sie die Fehler, bevor Sie fortfahren.

    Weitere Informationen finden Sie unter Validieren und Anpassen der Datensätze.

11. Wenn Sie fertig sind, klicken Sie auf Vorbereiten und ausführen, um die Datenaufgabe vorzubereiten und auszuführen.

    Informationen zum Wiederherstellen von Aufgaben und zu anderen Methoden der Aufgabenausführung finden Sie unter Erweiterte Ausführungsoptionen.

12. Die Replikationsaufgabe beginnt, und Sie können den Fortschritt in Überwachung anzeigen. Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe.

Replizieren an Cloud-Speicher

In diesem Abschnitt wird erläutert, wie Sie eine Replikationsaufgabe an Cloud-Speicher einrichten.

Gehen Sie wie folgt vor:

1. Klicken Sie in Datenintegration> Startseite auf Daten replizieren.

   Der Assistent Daten replizieren wird geöffnet.

2. Gehen Sie auf der Registerkarte Allgemein wie folgt vor:

   • Aufgabenname

     Geben Sie einen Namen für Ihre Aufgabe an.

   • Beschreibung

     Geben Sie optional eine Beschreibung für Ihre Aufgabe ein.

   • Projekt

     Gehen Sie folgendermaßen vor:

     • Wählen Sie ein vorhandenes Projekt aus

     • Geben Sie einen Namen für ein neues Projekt an und klicken Sie dann unter dem Feld Projekt auf Neues Projekt hinzufügen: <ihr-projektname>.

       Der Projektname wird im Feld Projekt hinzugefügt.

   • Bereich

     Wählen Sie einen Datenbereich für Ihr Replikationsprojekt aus. Wenn Sie noch keine Datenbereiche erstellt haben, führen Sie einen der folgenden Schritte aus:

     • Wählen Sie Data-Space aus (den Standard-Datenbereich des Mandanten).

       InformationshinweisData-Space hat vollständige Berechtigungen für alle Mitglieder. Sie können die Rollen und Berechtigungen der einzelnen Mitglieder später wie in Rollen und Berechtigungen für Datenbereiche beschrieben bearbeiten.

     • Brechen Sie den Assistenten ab, erstellen Sie Ihren eigenen Datenbereich wie in Erstellen eines Datenbereichs beschrieben und führen Sie den Assistenten erneut aus.

     Weitere Informationen zu Datenbereichen finden Sie unter Arbeiten in Bereichen in Qlik Talend Data Integration.

3. Klicken Sie auf Weiter. Wählen Sie auf der Registerkarte Quellverbindung auswählen eine Verbindung zur Datenquelle aus. Sie können optional die Verbindungseinstellungen bearbeiten, indem Sie im Menü in der Spalte Aktionen die Option Bearbeiten auswählen.

   Wenn Sie noch keine Verbindung zur Datenquelle erstellt haben, müssen Sie zuerst eine erstellen, indem Sie oben rechts auf der Registerkarte auf Verbindung erstellen klicken.

   Sie können die Liste der Verbindung mit den Filtern auf der linken Seite filtern. Verbindungen können nach Quelltyp, Gateway, Bereich und Besitzer gefiltert werden. Die Schaltfläche Alle Filter über der Verbindungsliste zeigt die Anzahl der aktuellen Filter. Mithilfe dieser Schaltfläche können Sie das Fenster Filter auf der linken Seite öffnen oder schließen. Derzeit aktive Filter werden auch oberhalb der Liste der verfügbaren Verbindungen angezeigt.

   Sie können die Liste auch sortieren, indem Sie in der Dropdown-Liste rechts Zuletzt geändert, Zuletzt erstellt oder Alphabetisch auswählen. Klicken Sie auf den Pfeil rechts neben der Liste, um die Sortierreihenfolge zu ändern.

   Nachdem Sie eine Datenquellenverbindung ausgewählt haben, klicken Sie optional oben rechts auf der Registerkarte auf Verbindung testen (empfohlen) und dann auf Weiter.

4. Wählen Sie auf der Registerkarte Datensätze auswählen Tabellen bzw. Ansichten aus, die in die Replikationsaufgabe eingeschlossen werden sollen. Sie können auch Platzhalter verwenden und Auswahlregeln erstellen, wie in Auswählen von Daten aus einer Datenbank beschrieben.

5. Wählen Sie auf der Registerkarte Zielverbindung auswählen das Ziel aus der Liste der verfügbaren Verbindungen aus und klicken Sie dann auf Weiter. Die Registerkarte funktioniert genauso wie die oben beschriebene Registerkarte Quellverbindung auswählen.

6. Auf der Registerkarte Einstellungen können Sie optional die folgenden Einstellungen ändern und dann auf Weiter klicken.

   Aktualisierungsmethode

   • Change Data Capture (CDC): Die Data Lake-Bereitstellungsaufgaben starten mit einem vollständigen Ladevorgang (bei dem alle ausgewählten Tabellen bereitgestellt werden). Die bereitgestellten Daten werden dann mit der CDC-Technologie (Change Data Capture) aktualisiert gehalten.

     InformationshinweisCDC (Change Data Capture) von DDL-Vorgängen wird nicht unterstützt.

     Die Häufigkeit der Änderungsdatenerfassung wird durch die Scheduler-Einstellungen bestimmt. Das Standardintervall für die Änderungserfassung ist alle sechs Stunden. Weitere Informationen finden Sie unter Planen von Aufgaben beim Arbeiten ohne Data Movement Gateway.

   • Laden: Führt einen vollständigen Ladevorgang der Daten aus den ausgewählten Quelltabellen in die Zielplattform durch und erstellt bei Bedarf die Zieltabellen. Vollständiges Laden findet automatisch statt, wenn die Aufgabe gestartet wird, kann aber bei Bedarf auch manuell durchgeführt werden oder in regelmäßigen Intervallen geplant werden.

   Wenn Sie Change Data Capture (CDC) auswählen und Ihre Daten auch Tabellen, die CDC nicht unterstützen, oder Ansichten enthalten, werden zwei Daten-Pipelines erstellt. Eine Pipeline enthält alle Tabellen, die CDC unterstützen, und die andere Pipeline alle anderen Tabellen und Ansichten, die Neu laden verwenden.

   Zu verwendender Ordner

   Wählen Sie eine der folgenden Optionen aus, je nachdem, in welchen Bucket-Ordner die Dateien geschrieben werden sollen:

   • Standardordner: Das Standard-Ordnerformat lautet <ihr-projektname>/<ihr-aufgabenname>
   • Stammordner: Die Dateien werden direkt in das Bucket geschrieben.

   • Ordner: Geben Sie den Ordnernamen ein. Wenn der Ordner nicht vorhanden ist, wird er während der Data Lake-Bereitstellungsaufgabe erstellt.

     Informationshinweis Der Ordnername darf keine Sonderzeichen (@, #, ! usw.) enthalten.

   Replikationsplaner

   • Daten replizieren alle: Sie können planen, wie häufig Änderungen an der Datenquelle erfasst werden, und eine Startuhrzeit und ein Startdatum einrichten. Wenn die Quelldatensätze CDC (Change Data Capture) unterstützen, werden nur die Quelldaten repliziert und auf die entsprechenden Zieltabellen angewendet. Wenn die Quelldatensätze CDC nicht unterstützen (z. B. Ansichten), werden die Änderungen angewendet, indem alle Quelldaten erneut in die entsprechenden Zieltabellen geladen werden. Wenn einige der Quelldatensätze CDC unterstützen und andere nicht, werden zwei getrennte Unteraufgaben erstellt (wobei davon ausgegangen wird, dass die Aktualisierungsmethode Change Data Capture ausgewählt ist): eine zum erneuten Laden der Datensätze, die CDC nicht unterstützen, und eine zum Erfassen der Änderungen für Datensätze, die CDC unterstützen.

     Mit dem Aufgaben-Einrichtungsassistenten können Sie ein stündliches Intervall planen. Nachdem Sie die Einrichtung der Aufgabe abgeschlossen haben, können Sie verschiedene Planungsoptionen prüfen, wie in Planen von Aufgaben beim Arbeiten ohne Data Movement Gateway beschrieben.

   Sie können die Aufgabeneinstellungen später wie in Einstellungen für Cloud-Speicherziele beschrieben ändern.

7. Auf der Registerkarte Zusammenfassung wird eine Darstellung der Daten-Pipeline angezeigt. Wählen Sie eine der folgenden Aktionen für Nach dem Erstellen der Pipeline aus:

   • Projekt <Name> öffnen (Standard)

   • Datenaufgabe <Name> öffnen

     InformationshinweisWenn einige der ausgewählten Datensätze CDC nicht unterstützen, werden zwei Pipelines angezeigt: eine für die CDC-Aufgabe und eine für die Ladeaufgabe.

   Klicken Sie dann auf Erstellen und ausführen (Standard) oder auf Erstellen, um die Aufgabe zu erstellen, ohne sie auszuführen.

   Wenn Sie auf Erstellen und ausführen klicken, wird die Aufgabe erstellt und ihre Ausführung gestartet (dies kann einige Augenblicke dauern).

8. Wenn Sie auf Erstellen geklickt haben, tritt eines der folgenden Ereignisse ein, je nach der zuvor ausgewählten Aktion für Nach dem Erstellen der Pipeline:

   • Das Projekt wird geöffnet und zeigt die neu erstellte Aufgabe an.

   • Die Aufgabe wird auf der Registerkarte Datensätze geöffnet. Auf der Registerkarte Datensätze werden die Struktur und die Metadaten der ausgewählten Quelltabellen angezeigt. Dazu gehören alle explizit aufgelisteten Tabellen sowie Tabellen, die mit den Auswahlregeln übereinstimmen.

     Wenn Sie weitere Tabellen aus der Datenquelle hinzufügen möchten, klicken Sie auf Quelldaten auswählen.

9. Sie können Umwandlungen auf die Datensätze anwenden, Daten filtern oder Spalten hinzufügen.

   Weitere Informationen finden Sie unter Verwalten von Datensätzen.

10. Wenn Sie die gewünschten Transformationen hinzugefügt haben, können Sie die Datasets validieren, indem Sie auf Datensätze validieren klicken. Falls die Validierung fehlschlägt, beheben Sie die Fehler, bevor Sie fortfahren.

    Weitere Informationen finden Sie unter Validieren und Anpassen der Datensätze.

11. Wenn Sie fertig sind, klicken Sie auf Vorbereiten und ausführen, um die Datenaufgabe vorzubereiten und auszuführen.

    Informationen zum Wiederherstellen von Aufgaben und zu anderen Methoden der Aufgabenausführung finden Sie unter Erweiterte Ausführungsoptionen.

12. Die Replikationsaufgabe beginnt, und Sie können den Fortschritt in Überwachung anzeigen. Weitere Informationen finden Sie unter Überwachen einer einzelnen Datenaufgabe

Festlegen der Ladepriorität für Datensätze

Sie können die Ladereihenfolge der Datensätze in Ihrer Datenaufgabe steuern, indem Sie jedem Datensatz eine Ladepriorität zuweisen. Das kann zum Beispiel nützlich sein, wenn kleinere Datensätze vor größeren Datensätzen geladen werden sollen.

1. Klicken Sie auf Ladepriorität.

2. Wählen Sie für jeden Datensatz eine Ladepriorität aus.

   Die Standard-Ladepriorität ist Normal. Datensätze werden in der folgenden Prioritätsreihenfolge geladen:

   • Höchste

   • Höher

   • Hoch

   • Normal

   • Niedrig

   • Niedriger

   • Niedrigste

   Datensätze mit der gleichen Priorität werden in keiner bestimmten Reihenfolge geladen.

3. Klicken Sie auf OK.

Aktualisieren von Metadaten

Sie können die Metadaten in der Aufgabe in der Ansicht Design einer Aufgabe aktualisieren, um sie an Änderungen in den Metadaten in der Quelle auszurichten. Für SaaS-Anwendungen, die Metadata Manager verwenden, muss Metadata Manager aktualisiert werden, bevor Sie Metadaten in der Datenaufgabe aktualisieren können.

1. Sie haben folgende Möglichkeiten:

   • Klicken Sie auf ... und dann auf Metadaten aktualisieren, um Metadaten für alle Datensätze in der Aufgabe zu aktualisieren.

   • Klicken Sie auf ... in einem Datensatz in Datensätze und dann auf Metadaten aktualisieren, um Metadaten für einen einzelnen Datensatz zu aktualisieren.

   Sie können den Status der Metadatenaktualisierung unter Metadaten aktualisieren unten im Bildschirm anzeigen. Unter können Sie einsehen, wann die Metadaten zuletzt aktualisiert wurden.

2. Bereiten Sie die Datenaufgabe vor, um die Änderungen anzuwenden.

   Wenn Sie die Datenaufgabe vorbereitet haben und die Änderungen angewendet wurden, werden die Änderungen aus Metadaten aktualisieren entfernt.

Sie müssen Speicheraufgaben vorbereiten, die diese Aufgabe nutzen, um die Änderungen weiterzugeben.

Wenn eine Spalte entfernt wird, wird eine Umwandlung mit Null-Werten hinzugefügt, um sicherzustellen, dass im Speicher keine historischen Daten verloren gehen.

Beschränkungen

• Wenn vor dem Umbenennen im gleichen Zeitfenster eine Spalte gelöscht wurde, führt dies zur Umbenennung der gelöschten Spalte, falls sie den gleichen Datentyp und die gleiche Datenlänge hat.

  Beispiel:  

  Vorher: a b c d

  Nachher: a c1 d

  In diesem Beispiel wurde b gelöscht und c in c1 umbenannt, und b und c haben den gleichen Datentyp und die gleiche Datenlänge.

  Dies wird als Umbenennung von b in c1 und Löschen von c interpretiert.

• Die Umbenennung der letzten Spalte wird nicht erkannt, auch wenn die letzte Spalte gelöscht und die vorherige umbenannt wurde.

  Beispiel:  

  Vorher: a b c d

  Nachher: a b c1

  In diesem Beispiel wurde d gelöscht und c in c1 umbenannt.

  Dies wird als Löschen von c und d und Hinzufügen von c1 interpretiert.

• Es wird davon ausgegangen, dass neue Spalten am Ende hinzugefügt werden. Wenn Spalten in der Mitte mit dem gleichen Datentyp wie die nächste Spalte hinzugefügt werden, kann dies als Löschen und Umbenennen interpretiert werden.