Onboarding von Daten aus Qlik Replicate

Sie können die volle Funktionalität von Qlik Open Lakehouse nutzen, ohne Ihre bestehende Replicate Infrastruktur aufzugeben. Verwenden Sie den Onboarding-Daten-Assistenten, um eine pipeline zu erstellen, die Daten aus der Qlik Replicate Amazon S3-Ausgabe verarbeitet und sie als Iceberg-Tabellen speichert, unter Verwendung von Qlik Open Lakehouse.

Wird in Qlik Cloud Government nicht unterstützt.

Voraussetzungen

Bevor Sie den Assistenten für die Dateneingliederung starten, stellen Sie sicher, dass Sie die folgenden Voraussetzungen erfüllt haben.

Qlik Replicate Voraussetzungen

Richten Sie eine Qlik Replicate Aufgabe ein, um Daten in eine Amazon S3 Spanne zu verschieben (über den Amazon S3 Ziel-Endpunkt).

Qlik Replicate Aufgabenvoraussetzungen

Aktivieren Sie nur die Replikationsoptionen Vollständiges Laden und/oder Änderungen speichern (erforderlich, um die Daten auf dem neuesten Stand zu halten).
In der Registerkarte Änderungseinstellungen speichern der Aufgabeneinstellungen:
- Konfigurieren Sie die Tabelleneinstellungen ändern wie folgt:
  - Suffix: __ct
  - Präfix der Kopfzeilenspalte: Header__
  - DDL-Optionen: Auf Änderungstabelle anwenden
  - Bei AKTUALISIERUNG: Nur nach Image speichern
- Lassen Sie Change Data Partitioning (Datenpartitionierung ändern) deaktiviert (Standard).
In den Aufgabeneinstellungen auf der Registerkarte Metadaten > Steuertabellen stellen Sie sicher, dass die Steuertabellen Ausnahmen anwenden und DDL-Verlauf ausgewählt sind.

Weitere Informationen zu diesen Einstellungen finden Sie in der Qlik Replicate-Aufgabeneinstellungen-Hilfe (nur auf Englisch).

Qlik Replicate Amazon S3 Zielendpunkt-Voraussetzungen

Auf der Registerkarte Allgemein:

Im Abschnitt Metadatendateien aktivieren Sie die Option Metadatendateien im Zielordner erstellen (Replicate November 2025 oder früher) oder die Option Eine Metadatendatei für jede Datendatei erstellen (Replicate Mai 2026 oder später). Dadurch werden Dateien mit einer .dfm-Erweiterung im S3-Spanne erstellt.
Im Dateieigenschaften Abschnitt, achten Sie darauf, dass:
- CSV ist das ausgewählte Format (der Standard)
- Dateien komprimieren mit ist eingestellt auf Keine (Standard)
- Beide Optionen für Metadaten-Header hinzufügen sind aktiviert (Mit Spaltennamen und Mit Datentypen)
Beim Konfigurieren der Amazon S3-Speichereinstellungen wird empfohlen, einen Zielordner anzugeben, wenn Ihre Spanne nicht-Replicate-Dateien enthält. Dadurch wird es einfacher, die benötigte Ausgabe beim Onboarding der Daten mit Qlik Open Lakehouse zu finden.

Weitere Informationen zu diesen Einstellungen finden Sie in der Hilfe zum Amazon S3-Ziel-Endpunkt (nur auf Englisch).

Qlik Open Lakehouse Voraussetzungen

Ein AWS S3 Data Stream Konnektor, konfiguriert für den Zugriff auf die Replicate Amazon S3-Ausgabe.

Anweisungen hierzu finden Sie unter AWS S3 Data Stream.

Wie Replicate Daten in S3 organisiert

Die Kenntnis der Struktur, die Qlik Replicate zur Organisation von Daten in S3 verwendet, wird es erleichtern, diese Dateien im Verzeichnis-Browser zu finden, der unten unter Onboarding-Aufgabe erstellen beschrieben wird.

s3://bucket-name/target-path/schema.table/

Enthält vollständige Ladedateien und DFM-Metadatendateien im sequenziellen Format, wie im folgenden Beispiel:
- LOAD00000001.csv
- LOAD00000001.dfm
- LOAD00000002.csv
- LOAD00000002.dfm
s3://bucket-name/target-path/schema.table__ct/

Enthält Change Data Capture-Dateien und DFM-Metadatendateien im Zeitstempelformat, wie im folgenden Beispiel:
- 20250121-083015000.csv
- 20250121-083015000.dfm
- 20250121-091522000.csv
- 20250121-091522000.dfm

Eine Onboarding-Aufgabe erstellen

Führen Sie die folgenden Schritte aus, um eine Onboarding-Aufgabe für Replicate-Daten zu konfigurieren:

Starten Sie den Onboarding-Assistenten wie folgt:
- Neues Projekt: Klicken Sie auf Onboarding für Daten in der Mitte des Projektfensters.
- Bestehendes Projekt: Oben rechts in Ihrem Qlik Open Lakehouse Projekt klicken Sie auf Neu erstellen > Daten eingliedern, um den Onboarding-Assistenten zu starten.
Geben Sie einen Aufgabennamen und eine Beschreibung ein.
Wählen Sie Qlik Replicate aus den Data origin-Optionen. Klicken Sie dann auf Weiter.
Wählen Sie den AWS S3 Data Stream Konnektor aus, den Sie zuvor konfiguriert haben. Klicken Sie dann auf Weiter.
Im Verzeichnis-Browser-Bereich auf der linken Seite wählen Sie das Stammverzeichnis aus, das die Replicate-Ausgabe enthält.

TipphinweisWenn Sie keinen Zielordner in den Replicate Amazon S3-Ziel-Endpunkteinstellungen angegeben haben (wie in den obigen Voraussetzungen empfohlen), könnte Ihre Spanne viele nicht zusammenhängende Dateien enthalten. In diesem Fall, wenn Sie den genauen Pfad kennen, können Sie ihn direkt in das Replicate-Stammverzeichnispfad-Feld einfügen.
Klicken Sie auf Laden, um verfügbare Tabellen zu erkennen. Alle verfügbaren Tabellen werden in der Liste Ausgewählte Tabellen zur Registrierung angezeigt.
Im Bereich Datenquelle zur Erkennung von Tabellen auswählen auf der rechten Seite sind die folgenden Einstellungen verfügbar:
- Alle aktuellen Tabellen einschließen: Aktivieren, um alle vorhandenen Tabellen bereitzustellen. Wenn diese Option deaktiviert ist, müssen Sie einzelne Tabellen auswählen.
- Quelldateien nach der Aufnahme löschen: Aktivieren Sie diese Option, um Dateien dauerhaft aus der Replicate S3-Spanne zu entfernen, nachdem sie erfolgreich verarbeitet wurden.
  Sobald die S3-Dateien gelöscht sind, werden alle verbundenen Pipelines, die dieselben S3-Dateien als Quelle verwenden, inaktiv und funktionsunfähig. Sie sollten diese Option daher nur aktivieren, wenn Sie sicher sind, dass die Dateien von keinem anderen pipeline-Prozess benötigt werden.
Klicken Sie auf Weiter.
Im Schritt Inhaltstyp wird das Dateiformat (CSV) automatisch aus Ihren Replicate-Daten erkannt. Die folgenden Optionen sind ebenfalls verfügbar:
- Verlaufsdatenspeicher (Typ 2): Aktivieren Sie diese Option, wenn Sie historische Versionen von Datensätzen pflegen und ein Archiv der Änderungen führen müssen.
- Stellen Sie sicher, dass die Ereignisse korrekt geladen werden: Sie können einen Datensatz auswählen, um zu überprüfen, ob er die richtigen Daten enthält.
Klicken Sie auf Weiter.
Überprüfen Sie die Aufgabenkonfiguration und klicken Sie auf Erstellen, um die Eingliederungsaufgabe zu erstellen.
Klicken Sie auf Vorbereiten, um die Datenaufgabe zu katalogisieren und sie für die Ausführung vorzubereiten.

Sie können den Vorbereitungsfortschritt in der Aufgabenkachel verfolgen. Nach Abschluss sollte Vorbereiten: Erfolg angezeigt werden.
Wenn Sie bereit sind, mit dem Onboarding von Daten zu beginnen, klicken Sie auf Ausführen.

Wie geht es weiter

Nach der Aktivierung, die Eingliederungsaufgabe:

Startet die Überwachung Ihrer Replicate S3 Spanne auf Datenänderungen
Erkennt vollständiges Laden und CDC (Change Data Capture) Dateien von Replicate
Verarbeitet die Dateien und erstellt Iceberg-Tabellen in Qlik Open Lakehouse
Überwacht weiterhin neue Daten
Wenn aktiviert, werden Quelldateien nach erfolgreichem Einlesen automatisch gelöscht

Aufgabeneinstellungen

Um die Aufgabeneinstellungen zu ändern, öffnen Sie die Onboarding_Qlik_Replicate (Standardname)-Aufgabe und klicken Sie in der Symbolleiste auf die Schaltfläche Settings .

Das Dialogfeld Einstellungen: <task name> wird geöffnet.

Registerkarte „Allgemein“

Diese Optionen werden in Schritt 7 von Eine Bereitstellungsaufgabe erstellen oben beschrieben.

Alle aktuellen und zukünftigen Tabellen automatisch einschließen
Quelldateien nach der Aufnahme löschen

Registerkarte „Laufzeit“

Ändern Sie den Lakehouse-Cluster

Einschränkungen und Überlegungen

Allgemeine Überlegungen und Einschränkungen

Vollständiges Laden- und Neuladen-Operationen können eine Verarbeitungsverzögerung aufweisen, bevor Daten in Iceberg-Tabellen erscheinen. Das System wartet bis zu 15 Minuten nach Abschluss des vollständigen Ladevorgangs, um sicherzustellen, dass die Dateien vollständig sind. Infolgedessen wird das Ausführen vollständiger Ladevorgänge in Replicate (geplant oder manuell) im Abstand von weniger als 15 Minuten nicht unterstützt.
Leere Replicate-Tabellen (Tabellen ohne Datendateien) werden vom System nicht erkannt oder registriert.
Wenn Sie Quelldateien nach der Aufnahme löschen aktivieren, kann die Bereitstellungsaufgabe nicht neu geladen werden. Um Daten zu laden, müssen Sie sie in Replicate neu generieren.
Qlik Replicates Tabellen sind bereits geladen. (nur auf Englisch)Die Verarbeitung von Änderungen starten ab (nur auf Englisch) erweiterte Ausführungsoption wird nicht unterstützt. Wenn Typ 2 (Verlaufsdaten) aktiviert ist, wird die Verlaufstabelle durch die Verwendung dieser Option beschädigt.
Schemaentwicklung wird nicht unterstützt

CDC vs. Replicate Pipeline

In einer regulären pipeline, die von CDC-Quellen ingestiert, zeigt die Metrik Daten aktualisiert bis immer die aktuelle Aktualität der Daten an (zum Beispiel vor 1 Minute). Dies liegt daran, dass die pipeline direkten Zugriff auf das Datenbank-Transaktionsprotokoll hat, das Echtzeit-Informationen über jedes INSERT/UPDATE/DELETE-Ereignis liefert. Allerdings gibt in einer pipeline, die Daten von Replicate aufnimmt, die Metrik Daten aktualisiert am nicht die aktuelle Aktualität der Daten an und kann tatsächlich den falschen Eindruck erwecken, dass die Daten veraltet sind (zum Beispiel vor 8 Stunden). Dies liegt daran, dass die Replicate pipeline keinen direkten Zugriff auf das Transaktionsprotokoll hat. Stattdessen schreibt Replicate Dateien in eine S3-Spanne, und die pipeline prüft den Erstellungs-Zeitstempel der Datei, um die Daten-Aktualität zu bestimmen. Wenn also eine Weile lang keine neuen Änderungen in der Quelldatenbank vorgenommen wurden, wird Replicate keine neue Datei erstellen und der Daten aktualisiert bis Zeitstempel wird alt werden (was den falschen Eindruck erweckt, dass die Daten veraltet sind).

Hat diese Seite Ihnen geholfen?

Wenn Sie ein Problem mit dieser Seite oder ihrem Inhalt feststellen, sei es ein Tippfehler, ein ausgelassener Schritt oder ein technischer Fehler, informieren Sie uns bitte!

Geben Sie hier Ihr Feedback ab