Methoden zur Zielaktualisierung

Sie können festlegen, welche Aktualisierungsmethode festgelegt werden soll, entweder während der ersten Aufgabeneinrichtung oder später in den Einstellungen der Datenaufgabe. Die Aktualisierungsmethode kann nicht mehr geändert werden, nachdem die Datenaufgabe vorbereitet wurde.

Die verfügbaren Aktualisierungsmethoden werden durch den Aufgabentyp und die Fähigkeiten des Konnektors bestimmt. Die verfügbaren Datenbewegungs-Aufgabentypentypen sind Bereitstellung, Replikation oder Bereitstellung von Daten in einem Data Lake.

Aktualisierungsmethoden bei der Bereitstellung von Daten in Daten-pipeline-Projekten

• Change Data Capture (CDC) mithilfe von Änderungstabellen

  Die Datenaufgabe beginnt mit einem vollständigen Ladevorgang. Die Zieldaten werden dann mithilfe von inkrementellen Ladevorgängen gestützt auf Datumsfelder aktualisiert gehalten. CDC wird möglicherweise nicht von allen Datenquellen unterstützt.

  InformationshinweisDELETE-Vorgänge werden nicht unterstützt. Das bedeutet, dass eine Zeile, die in der Quelle gelöscht wird, in den Bereitstellungsdaten nicht gelöscht wird. Wenn der Löschvorgang wichtig ist, verwenden Sie stattdessen Neu laden und vergleichen.

  Bei der Arbeit ohne Data Movement Gateway oder bei der Verwendung von regulären Konnektoren für SaaS-Anwendungen legen Sie das Intervall mit dem Planer fest. Weitere Informationen finden Sie unter Scheduling tasks. Bei der Arbeit mit Data Movement Gateway und bei der Verwendung von SaaS-Anwendungen Lite-Konnektoren, legen Sie das Intervall zwischen dem Lesen von Änderungen aus der Quelle fest, in Einstellungen > Feinabstimmung der Änderungsverarbeitung.

• Neu laden und vergleichen

  Die Datenaufgabe führt nur vollständige Ladevorgänge von der Quelle aus. Das ist beispielsweise nützlich, wenn Ihre Quelle CDC nicht unterstützt, oder wenn Sie DELETE-Vorgänge (die von CDC nicht unterstützt werden) an das Ziel weitergeben möchten. „Neu laden und vergleichen“ kann mit beliebigen unterstützten Datenquellen verwendet und in regelmäßigen Zeitabständen geplant werden.

Aktualisierungsmethoden beim Replizieren an Datenbank- oder Data Warehouse-Ziele

• Vollständiger Ladevorgang: Lädt die Daten aus den ausgewählten Quelltabellen in die Zielplattform und erstellt bei Bedarf die Zieltabellen. Vollständiges Laden findet automatisch statt, wenn die Aufgabe gestartet wird, kann aber bei Bedarf auch manuell durchgeführt werden. Manuelles vollständiges Laden ist z. B. erforderlich, wenn Sie Aktualisierungen an Ansichten replizieren müssen (die während CDC nicht erfasst werden) oder wenn Sie aus einer Datenquelle replizieren, die CDC nicht unterstützt.

  InformationshinweisBei Verwendung eines SaaS-Anwendungs-Konnektors ist diese Option immer aktiviert, da ein vollständiges Laden erforderlich ist.

• Änderungen anwenden: Aktualisiert die Zieltabellen fortlaufend mit allen an den Quelltabellen vorgenommenen Änderungen.

• Änderungen speichern: Speichert die Änderungen an den Quelltabellen in Änderungstabellen (eine pro Quelltabelle).

  Weitere Informationen finden Sie unter Änderungen speichern.

Bei der Arbeit mit Data Movement Gateway, außer bei der Verwendung von SaaS-Anwendungsquellen, werden Änderungen von der Quelle nahezu in Echtzeit erfasst. Bei der Arbeit ohne Data Movement Gateway (beispielsweise mit einem Qlik Talend Cloud Starter-Abonnement oder wenn Keine ausgewählt wurde) oder bei der Verwendung von SaaS-Anwendungsquellen werden Änderungen entsprechend den Scheduler-Einstellungen erfasst. Weitere Informationen finden Sie unter Scheduling tasks.

Aktualisierungsmethoden beim Replizieren an Cloud-Speicher (Data Lakes)

• Änderungsdatenerfassung (CDC) mithilfe von Änderungstabellen: Data Lake-Bereitstellungsaufgaben starten mit einem vollständigen Ladevorgang (bei dem alle ausgewählten Tabellen in das Ziel geladen werden). Die Zieldaten werden dann mit der CDC-Technologie (Change Data Capture) aktualisiert gehalten.

  InformationshinweisCDC (Change Data Capture) von DDL-Vorgängen wird nicht unterstützt.

  Bei der Arbeit mit Data Movement Gateway, außer bei Verwendung einer SaaS-Anwendungsquelle, werden Änderungen von der Quelle nahezu in Echtzeit erfasst. Bei der Arbeit ohne Data Movement Gateway oder mit SaaS-Anwendungsquellen werden Änderungen entsprechend den Scheduler-Einstellungen erfasst. Weitere Informationen finden Sie unter Scheduling tasks.

• Neuladen: Führt einen vollständigen Ladevorgang der Daten aus den ausgewählten Quelltabellen in die Zielplattform durch und erstellt bei Bedarf die Zieltabellen. Vollständiges Laden findet automatisch statt, wenn die Aufgabe gestartet wird, kann aber bei Bedarf auch manuell durchgeführt werden oder in regelmäßigen Intervallen geplant werden.

  InformationshinweisDiese Einstellung ist für einen SaaS-Anwendungs-Konnektor nicht verfügbar.

Verständnis der geplanten Änderungsdatenerfassung (CDC)

Bei der Arbeit ohne Data Movement Gateway oder bei Verwendung von SaaS-Anwendungskonnektoren die keine Lite-Konnektoren sind, werden Änderungen entsprechend einem geplanten Intervall erfasst. Es ist wichtig zu wissen, wie die Planung funktioniert. Dies wird am besten durch ein Beispiel gezeigt. Im folgenden Beispiel wurde die Ausführung einer Aufgabe alle 30 Minuten mit Beginn um 9:00 Uhr geplant.

• Die Aufgabe beginnt um 9:00 Uhr mit einem vollständigen Ladevorgang.
• Der vollständige Ladevorgang endet um 9:40 Uhr, was bedeutet, dass die Ausführung um 9:30 Uhr übersprungen wird.
• Die nächste Ausführung beginnt um 10:00 Uhr und erfasst alle fest geschriebenen Änderungen bis 10:00 Uhr.
• Die Ausführung um 10:00 Uhr endet um 10:15 Uhr.
• Die nächste Ausführung beginnt um 10:30 Uhr und erfasst alle Änderungen zwischen 10:00 Uhr und 10:30 Uhr.