Eine Übersicht über Zielaktualisierungsmethoden

Sie können festlegen, welche Aktualisierungsmethode festgelegt werden soll, entweder während der ersten Aufgabeneinrichtung oder später in den Einstellungen der Datenaufgabe. Die Aktualisierungsmethode kann nicht mehr geändert werden, nachdem die Datenaufgabe vorbereitet wurde. Welche Aktualisierungsmethoden verfügbar sind, hängt vom Aufgabentyp ab: Bereitstellung, Replikation oder Bereitstellen von Daten in einem Data Lake.

Aktualisierungsmethoden bei der Bereitstellung von Daten

Change Data Capture (CDC)

Die Datenaufgabe beginnt mit einem vollständigen Ladevorgang. Die Zieldaten werden dann mithilfe von inkrementellen Ladevorgängen gestützt auf Datumsfelder aktualisiert gehalten. CDC wird möglicherweise nicht von allen Datenquellen unterstützt.

InformationshinweisDELETE-Vorgänge werden nicht unterstützt. Das bedeutet, dass eine Zeile, die in der Quelle gelöscht wird, in den Bereitstellungsdaten nicht gelöscht wird. Wenn der Löschvorgang wichtig ist, verwenden Sie stattdessen Neu laden und vergleichen.

Bei der Arbeit mit Data Movement Gateway und Bereitstellungsdaten aus SaaS-Anwendungen legen Sie das Intervall zwischen den Lesevorgängen der Änderungen aus der Quelle in Einstellungen > Laufzeit fest. Bei der Arbeit ohne Data Movement Gateway legen Sie das Intervall mit dem Planer fest. Weitere Informationen finden Sie unterPlanen von CDC-Aufgaben beim Arbeiten ohne Data Movement Gateway.
Neu laden und vergleichen

Die Datenaufgabe führt nur vollständige Ladevorgänge von der Quelle aus. Das ist beispielsweise nützlich, wenn Ihre Quelle CDC nicht unterstützt, oder wenn Sie DELETE-Vorgänge (die von CDC nicht unterstützt werden) an das Ziel weitergeben möchten. „Neu laden und vergleichen“ kann mit beliebigen unterstützten Datenquellen verwendet und in regelmäßigen Zeitabständen geplant werden.

Aktualisierungsmethoden beim Replizieren an Datenbank- oder Data Warehouse-Ziele

Vollständiges Laden: Lädt die Daten aus den ausgewählten Quelltabellen in die Zielplattform und erstellt bei Bedarf die Zieltabellen. Vollständiges Laden findet automatisch statt, wenn die Aufgabe gestartet wird, kann aber bei Bedarf auch manuell durchgeführt werden.
Änderungen anwenden: Aktualisiert die Zieltabellen fortlaufend mit allen an den Quelltabellen vorgenommenen Änderungen.
Änderungen speichern: Speichert die Änderungen an den Quelltabellen in Änderungstabellen (eine pro Quelltabelle).

Weitere Informationen finden Sie unter Änderungen speichern.

Bei der Arbeit mit Data Movement Gateway werden Änderungen an der Quelle nahezu in Echtzeit erfasst. Bei der Arbeit ohne Data Movement Gateway (beispielsweise mit einem Qlik Talend Cloud Starter-Abonnement oder wenn Keine ausgewählt wurde) werden Änderungen entsprechend den Scheduler-Einstellungen erfasst. Weitere Informationen finden Sie unter Planen von Aufgaben beim Arbeiten ohne Data Movement Gateway.

Aktualisierungsmethoden beim Replizieren an Cloud-Speicher (Data Lakes)

Change Data Capture (CDC): Die Data Lake-Bereitstellungsaufgaben starten mit einem vollständigen Ladevorgang (bei dem alle ausgewählten Tabellen bereitgestellt werden). Die bereitgestellten Daten werden dann mit der CDC-Technologie (Change Data Capture) aktualisiert gehalten.

InformationshinweisCDC (Change Data Capture) von DDL-Vorgängen wird nicht unterstützt.

Bei der Arbeit mit Data Movement Gateway werden Änderungen an der Quelle nahezu in Echtzeit erfasst. Bei der Arbeit ohne Data Movement Gateway werden Änderungen entsprechend den Scheduler-Einstellungen erfasst. Weitere Informationen finden Sie unter Planen von Aufgaben beim Arbeiten ohne Data Movement Gateway.
Laden: Führt einen vollständigen Ladevorgang der Daten aus den ausgewählten Quelltabellen in die Zielplattform durch und erstellt bei Bedarf die Zieltabellen. Vollständiges Laden findet automatisch statt, wenn die Aufgabe gestartet wird, kann aber bei Bedarf auch manuell durchgeführt werden oder in regelmäßigen Intervallen geplant werden.

Das Verfahren für das Einrichten der Replikation an Cloud-Speicher ist je nach Ihrer Abonnementstufe unterschiedlich.

Falls Sie ein Abonnement für die Standard-, Premium- oder Enterprise-Edition haben, lesen Sie unter Bereitstellen von Daten in einem Data Lake mit einem Standard-, Premium- oder Enterprise-Abonnement nach.
Wenn Sie ein Starter-Abonnement haben, finden Sie weitere Informationen unter Replizieren von Daten mit einem Qlik Talend Cloud Starter-Abonnement.

Verständnis der geplanten Änderungsdatenerfassung (CDC)

Bei der Arbeit ohne Data Movement Gateway werden Änderungen entsprechend einem geplanten Intervall erfasst. Es ist wichtig zu wissen, wie die Planung funktioniert. Dies wird am besten durch ein Beispiel gezeigt. Im folgenden Beispiel wurde die Ausführung einer Aufgabe alle 30 Minuten mit Beginn um 9:00 Uhr geplant.

Die Aufgabe beginnt um 9:00 Uhr mit einem vollständigen Ladevorgang.
Der vollständige Ladevorgang endet um 9:40 Uhr, was bedeutet, dass die Ausführung um 9:30 Uhr übersprungen wird.
Die nächste Ausführung beginnt um 10:00 Uhr und erfasst alle fest geschriebenen Änderungen bis 10:00 Uhr.
Die Ausführung um 10:00 Uhr endet um 10:15 Uhr.
Die nächste Ausführung beginnt um 10:30 Uhr und erfasst alle Änderungen zwischen 10:00 Uhr und 10:30 Uhr.

Je nach Last auf dem System, Anzahl der gleichzeitig ausgeführten Aufgaben und wie viele Pods verfügbar sind, beginnt die nächste geplante Instanz nicht genau zur geplanten Uhrzeit.

Beschränkungen

Manche der von der SaaS-Anwendung zurückgegebenen Tabellen werden von Change Data Capture (CDC) nicht unterstützt. In diesem Fall wird eine Warnmeldung in Validierungsfehler angezeigt. Sie haben zwei Möglichkeiten:

Löschen Sie die Tabelle aus der Datenaufgabe.
Ändern Sie die Aktualisierungsmethode der Datenaufgabe zu Neu laden und vergleichen.

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!

Geben Sie hier Ihr Feedback ab