Daten-Onboarding von Qlik Replicate
Sie können die volle Funktionalität von Qlik Open Lakehouse nutzen, ohne Ihre bestehende Replicate Infrastruktur aufzugeben. Verwenden Sie den Assistenten für die Dateningliederung, um eine pipeline zu erstellen, die Daten aus der Qlik Replicate Amazon S3-Ausgabe verarbeitet und sie als Iceberg-Tabellen mithilfe von Qlik Open Lakehouse speichert.
Voraussetzungen
Bevor Sie den Assistenten für die Dateneingliederung starten, stellen Sie sicher, dass Sie die folgenden Voraussetzungen erfüllt haben.
Qlik Replicate Voraussetzungen
Richten Sie eine Qlik Replicate Aufgabe ein, um Daten in eine Amazon S3 Spanne zu verschieben (über den Amazon S3 Ziel-Endpunkt).
Qlik Replicate Aufgabenvoraussetzungen
-
Aktivieren Sie nur die Replikationsoptionen Vollständiges Laden und/oder Änderungen speichern (erforderlich, um die Daten auf dem neuesten Stand zu halten).
-
Auf der Registerkarte Änderungseinstellungen speichern der Aufgabeneinstellungen:
-
Konfigurieren Sie die Tabelleneinstellungen ändern wie folgt:
-
Suffix: __ct
-
Präfix der Kopfzeilenspalte: Header__
-
DDL-Optionen: Auf Änderungstabelle anwenden
-
Bei AKTUALISIERUNG: Nur nach Image speichern
-
-
Lassen Sie Change Data Partitioning (Datenpartitionierung ändern) deaktiviert (Standard).
-
-
In den Aufgabeneinstellungen auf der Registerkarte Metadaten > Steuertabellen stellen Sie sicher, dass die Steuertabellen Ausnahmen anwenden und DDL-Verlauf ausgewählt sind.
Weitere Informationen zu diesen Einstellungen finden Sie in der Qlik Replicate-Aufgabeneinstellungen-Hilfe (nur auf Englisch).
Qlik Replicate Amazon S3 Zielendpunkt-Voraussetzungen
Auf der Registerkarte Allgemein:
- Im Abschnitt Metadatendateien aktivieren Sie die Option Metadatendateien im Zielordner erstellen (Replicate November 2025 oder früher) oder die Option Eine Metadatendatei für jede Datendatei erstellen (Replicate Mai 2026 oder später). Dadurch werden Dateien mit einer .dfm Erweiterung in der S3-Spanne erstellt.
- Im Dateieigenschaften Abschnitt, achten Sie darauf, dass:
- CSV ist das ausgewählte Format (der Standard)
- Dateien komprimieren mit ist eingestellt auf Keine (Standard)
- Beide der Metadaten-Header hinzufügen Optionen sind aktiviert (Mit Spaltennamen und Mit Datentypen)
- Beim Konfigurieren der Amazon S3-Speichereinstellungen wird empfohlen, einen Zielordner anzugeben, wenn Ihre Spanne Nicht-Replicate-Dateien enthält. Dadurch wird es einfacher, die benötigte Ausgabe beim Onboarding der Daten mit Qlik Open Lakehouse zu finden.
Weitere Informationen zu diesen Einstellungen finden Sie in der Hilfe zum Amazon S3-Ziel-Endpunkt (nur auf Englisch).
Qlik Open Lakehouse Voraussetzungen
Ein AWS S3 Data Stream Konnektor, konfiguriert für den Zugriff auf die Replicate Amazon S3-Ausgabe.
Anweisungen hierzu finden Sie unter AWS S3 Data Stream.
Wie Replicate Daten in S3 organisiert
Die Kenntnis der Struktur, die Qlik Replicate zur Organisation von Daten in S3 verwendet, wird es erleichtern, diese Dateien im Verzeichnis-Browser zu finden, der unten unter Onboarding-Aufgabe erstellen beschrieben wird.
-
s3://bucket-name/target-path/schema.table/
Enthält vollständige Ladedateien und DFM-Metadatendateien im sequenziellen Format, wie im folgenden Beispiel:
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Enthält Change Data Capture-Dateien und DFM-Metadatendateien im Zeitstempelformat, wie im folgenden Beispiel:
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Eine Onboarding-Aufgabe erstellen
Führen Sie die folgenden Schritte aus, um eine Onboarding-Aufgabe für Replicate-Daten zu konfigurieren:
-
Starten Sie den Onboarding-Assistenten wie folgt:
-
Neues Projekt: Klicken Sie in der Mitte des Projektfensters auf Onboarding für Daten.
-
Bestehendes Projekt: Oben rechts in Ihrem Qlik Open Lakehouse Projekt klicken Sie auf Neu erstellen > Daten eingliedern, um den Onboarding-Assistenten zu starten.
-
- Geben Sie einen Aufgabennamen und eine Beschreibung ein.
- Wählen Sie Qlik Replicate aus den Datenherkunft-Optionen aus. Klicken Sie dann auf Weiter.
- Wählen Sie den AWS S3 Data Stream Konnektor aus, den Sie zuvor konfiguriert haben. Klicken Sie dann auf Weiter.
-
Im Verzeichnis-Browser-Bereich auf der linken Seite wählen Sie das Stammverzeichnis aus, das die Replicate-Ausgabe enthält.
TipphinweisWenn Sie keinen Zielordner in den Replicate Amazon S3-Ziel-Endpunkteinstellungen angegeben haben (wie in den obigen Voraussetzungen empfohlen), könnte Ihre Spanne viele nicht zusammenhängende Dateien enthalten. In diesem Fall, wenn Sie den genauen Pfad kennen, können Sie ihn direkt in das Feld Replicate Stammverzeichnispfad einfügen. - Klicken Sie auf Laden, um verfügbare Tabellen zu erkennen. Alle verfügbaren Tabellen werden in der Liste Ausgewählte Tabellen zur Registrierung angezeigt.
- Im Bereich Datenquelle zur Erkennung von Tabellen auswählen auf der rechten Seite sind die folgenden Einstellungen verfügbar:
- Alle aktuellen Tabellen einschließen: Aktivieren, um alle vorhandenen Tabellen bereitzustellen. Wenn diese Option deaktiviert ist, müssen Sie einzelne Tabellen auswählen.
Quelldateien nach der Aufnahme löschen: Aktivieren Sie diese Option, um Dateien dauerhaft aus der Replicate S3-Spanne zu entfernen, nachdem sie erfolgreich verarbeitet wurden.
Sobald die S3-Dateien gelöscht sind, werden alle verbundenen Pipelines, die dieselben S3-Dateien als Quelle verwenden, inaktiv und funktionsunfähig. Sie sollten diese Option daher nur aktivieren, wenn Sie sicher sind, dass die Dateien von keinem anderen pipeline-Prozess benötigt werden.
- Klicken Sie auf Weiter.
- Im Schritt Inhaltstyp wird das Dateiformat (CSV) automatisch aus Ihren Replicate-Daten erkannt. Die folgenden Optionen sind ebenfalls verfügbar:
- Verlaufsdatenspeicher (Typ 2): Aktivieren Sie diese Option, wenn Sie historische Versionen von Datensätzen pflegen und ein Archiv der Änderungen führen müssen.
- Stellen Sie sicher, dass die Ereignisse korrekt geladen werden: Sie können einen Datensatz auswählen, um zu überprüfen, ob er die richtigen Daten enthält.
- Klicken Sie auf Weiter.
- Überprüfen Sie die Aufgabenkonfiguration und klicken Sie auf Erstellen, um die Eingliederungsaufgabe zu erstellen.
-
Klicken Sie auf Vorbereiten, um die Datenaufgabe zu katalogisieren und sie für die Ausführung vorzubereiten.
Sie können den Vorbereitungsfortschritt in der Aufgabenkachel verfolgen. Nach Abschluss sollte Vorbereiten: Erfolg angezeigt werden.
-
Wenn Sie bereit sind, mit dem Onboarding von Daten zu beginnen, klicken Sie auf Ausführen.
Was passiert als Nächstes
Nach der Aktivierung, die Eingliederungsaufgabe:
- Startet die Überwachung Ihrer Replicate S3 Spanne auf Datenänderungen
- Erkennt vollständiges Laden und CDC (Change Data Capture) Dateien von Replicate
- Verarbeitet die Dateien und erstellt Iceberg-Tabellen in Qlik Open Lakehouse
- Überwacht weiterhin neue Daten
- Wenn aktiviert, werden Quelldateien nach erfolgreicher Erfassung automatisch gelöscht
Aufgabeneinstellungen
Um die Aufgabeneinstellungen zu ändern, öffnen Sie die Aufgabe Onboarding_Qlik_Replicate (Standardname) und klicken Sie auf die Schaltfläche Einstellungen in der Symbolleiste.
Das Dialogfeld Einstellungen: <task name> wird geöffnet.
Registerkarte „Allgemein“
Diese Optionen werden in Schritt 7 von Eine Bereitstellungsaufgabe erstellen oben beschrieben.
-
Alle aktuellen und zukünftigen Tabellen automatisch einschließen
-
Quelldateien nach der Aufnahme löschen
Registerkarte „Laufzeit“
Ändern Sie den Lakehouse-Cluster
Einschränkungen und Überlegungen
Allgemeine Überlegungen und Einschränkungen
- Vorgänge zum vollständigen Laden und Neuladen können eine Verarbeitungsverzögerung erfahren, bevor Daten in Iceberg-Tabellen erscheinen. Das System wartet bis zu 15 Minuten nach Abschluss des vollständigen Ladevorgangs, um sicherzustellen, dass die Dateien vollständig sind. Infolgedessen wird das Ausführen vollständiger Ladevorgänge in Replicate (geplant oder manuell), die weniger als 15 Minuten auseinanderliegen, nicht unterstützt.
- Leere Replicate-Tabellen (Tabellen ohne Datendateien) werden vom System nicht erkannt oder registriert.
- Wenn Sie Quelldateien nach der Aufnahme löschen aktivieren, kann die Bereitstellungsaufgabe nicht neu geladen werden. Um Daten zu laden, müssen Sie sie in Replicate neu generieren.
- Qlik Replicates Tabellen sind bereits geladen. (nur auf Englisch)Die erweiterte Ausführungsoption Verarbeitung von Änderungen starten ab (nur auf Englisch) wird nicht unterstützt. Wenn Typ 2 (Verlaufsdaten) aktiviert ist, wird die Verwendung dieser Option die Verlaufstabelle beschädigen.
- Schemaentwicklung wird nicht unterstützt
CDC vs. Replicate Pipeline
In einer regulären pipeline, die von CDC-Quellen ingestiert, zeigt die Metrik Daten aktualisiert bis immer die aktuelle Aktualität der Daten an (zum Beispiel vor 1 Minute). Dies liegt daran, dass die pipeline direkten Zugriff auf das Datenbank-Transaktionsprotokoll hat, das Echtzeit-Informationen über jedes INSERT/UPDATE/DELETE-Ereignis liefert. Allerdings gibt in einer pipeline, die Daten von Replicate aufnimmt, die Metrik Daten aktualisiert am nicht die aktuelle Aktualität der Daten an und kann tatsächlich den falschen Eindruck erwecken, dass die Daten veraltet sind (zum Beispiel vor 8 Stunden). Dies liegt daran, dass die Replicate pipeline keinen direkten Zugriff auf das Transaktionsprotokoll hat. Stattdessen schreibt Replicate Dateien in eine S3-Spanne, und die pipeline prüft den Erstellungs-Zeitstempel der Datei, um die Daten-Aktualität zu bestimmen. Wenn also eine Weile lang keine neuen Änderungen in der Quelldatenbank vorgenommen wurden, wird Replicate keine neue Datei erstellen und der Daten aktualisiert bis Zeitstempel wird alt werden (was den falschen Eindruck erweckt, dass die Daten veraltet sind).