Datensatzarchitektur in einem Qlik Open Lakehouse

Wenn Sie Datensätze in einem Qlik Open Lakehouse generieren, werden Speichertabellen, Änderungstabellen und Ansichten automatisch von Qlik Talend Data Integration generiert. Sie können diese Ansichten abfragen, um auf aktuelle und historische Daten zuzugreifen, die im offenen Iceberg-Tabellenformat gespeichert sind.

Eine intuitive und geführte Benutzeroberfläche unterstützt Sie bei der Erstellung, Modellierung und Ausführung von Daten-Pipelines. Sie können automatisch Schemas für Operational Data Stores (ODS) und Historical Data Stores (HDS) ohne manuelle Codierung generieren.

Schemas

Artefakte werden in einem internen Schema und einem Datenaufgabenschema generiert.

• Das interne Schema enthält eine physische Tabelle mit mehreren Partitionen.

• Das Datenaufgabenschema enthält die Ansichten, die Sie für die Nutzung der Daten verwenden können.

  Wenn ein Schema mit mehr als einer Datenaufgabe verknüpft ist, muss jede Datenaufgabe ein eindeutiges Präfix für Tabellen und Ansichten verwenden. Sie können das Präfix in den Datenaufgabeneinstellungen festlegen.

Es werden nur interne Schemas für Benennungskonflikte geprüft. Bei anderen Schemas müssen Sie sicherstellen, dass keine Benennungskonflikte in den Tabellennamen bestehen. Die optimale Vorgehensweise ist die Benennung des internen Schemas mit dem gleichen Namen wie das Datenaufgabenschema, aber mit dem Namenszusatz _internal. Dadurch wird sichergestellt, dass jede Schema-Präfix-Kombination eindeutig ist.

Tabellen

Für jede Quelltabelle wird eine Tabelle im internen Schema mit dem Suffix _internal erstellt, wobei das folgende Format verwendet wird:

<INTERNAL_SCHEMA>.<TABLE_NAME>_internal

Diese Tabelle enthält fünf Partitionen, die jeweils einen bestimmten Zweck bei der Verarbeitung und Speicherung der Daten erfüllen. Jede Partition nutzt eine Teilmenge der Tabellenspalten entsprechend ihrer Rolle im Lebenszyklus der Daten.

Der interne Datensatz ist so strukturiert, dass eingehende Daten aus Ihrem Quellsystem effizient verwaltet werden können. Er unterstützt das Einlesen in Echtzeit und eine Verlaufsverfolgung. Der Datenfluss wird über mehrere spezialisierte Partitionen verwaltet, die im Folgenden beschrieben werden:

• Partition „Changes“: Einlesen in Echtzeit

  Alle Änderungen aus dem Quellsystem – Einfügungen, Aktualisierungen und Löschungen – werden zunächst an die Partition „Changes“angehängt.

  • Die Partition fungiert als unbearbeitetes Änderungsprotokoll und liefert einen vollständigen Überblick über die Quellaktivität, bevor irgendwelche Umwandlungen stattfinden.

  • Jede Änderung ist mit einem Typ (I, U oder D) gekennzeichnet, der angibt, wie sie verarbeitet wird.

  • Ereignisse werden in der Quelle erfasst, sobald sie auftreten. Die Partition wird nahezu in Echtzeit aktualisiert.

  • Die Partition „Changes“ ist verfügbar, wenn die folgenden Einstellungen auf die Lake-Bereitstellungsdatenaufgabe angewendet wurden.

    • Auf der Registerkarte Allgemein ist die Aktualisierungsmethode auf CDC festgelegt.

    • Vollständiges Laden ist aktiviert.

• Partition „Asset_state“: Verfolgen des Fortschritts

  Wenn Änderungen eingelesen werden, protokolliert die Partition „Asset_state“ zwei wichtige Zeitstempel:

  • Wann die Änderungen zuletzt an die Partition „Changes“ angehängt wurden.

  • Wann die Änderungen zuletzt in die Partition „Current“ übernommen wurden.

  Dies ermöglicht einen vollständigen Einblick in die Synchronisierungs-Pipeline und hilft bei der Überwachung oder Fehlerbehebung bei Verzögerungen.

• Partition „Current“ (ODS): Neuestes Replikat der Quelle

  Änderungen aus der Partition „Changes“ werden regelmäßig in die Partition „Current“ übernommen, um eine aktuelle, für Abfragen optimierte Kopie der Quelldaten zu erhalten.

  • Eine Hintergrundaufgabe wird automatisch ausgeführt, um diese Aktualisierungen zu übernehmen. Dieser Vorgang basiert auf dem Volumen der kumulierten Änderungen und nicht auf einem festen Zeitplan.

  • Der anfängliche vollständige Ladevorgang wird direkt in die Partition „Current“ geschrieben.

  • Diese Partition spiegelt den aktuellen Zustand der Daten wider und ist für effiziente Abfragen konzipiert.

• Partition „Prior“ (HDS): Verlaufsdaten

  Wenn ein Datensatz in der Partition „Current“ aktualisiert oder gelöscht wird, wird eine Kopie der vorherigen Version in die Partition „Prior“ geschrieben. 

  • Datensätze enthalten Metadaten, einschließlich des Änderungsverlaufs und des Datumsbereichs, in dem die Daten gültig sind.

  • Sich langsam ändernde Dimensionen des Typs 2 (SCD2) werden unterstützt.

  • Die Partition „Prior“ ist verfügbar, wenn die Option Verlaufsdatensätze und Änderungsdatensatzarchiv aufbewahren auf der Registerkarte Allgemein in den Einstellungen der Speicherdatenaufgabe aktiviert ist.

  • Wenn eine aktualisierte Version eines Datensatzes in die Partition „Current“ aufgenommen wird, wird der vorherige Datensatz zur Nachverfolgung in die Partition „Prior“ verschoben.

• Partition „Reload“

  Die Partition „Reload“ dient als temporärer Bereitstellungsbereich bei manuellen oder geplanten vollständigen Ladevorgängen:

  • Neue Daten werden zuerst in die Partition „Reload“ geschrieben.

  • Regelmäßige Wartungsaufgaben löschen alle ausstehenden Änderungen, bevor sie pausiert werden.

  • Die Daten werden mit der Partition „Current“ verglichen, und nur die Unterschiede werden in die Partition „Current“ verschoben.

  • Die Partition „Reload“ wird gelöscht, wenn der Vorgang abgeschlossen ist.

  Dieser Prozess gewährleistet eine minimale Unterbrechung des Hauptdatensatzes während des vollständigen Ladevorgangs.

Partition „Current“

Partition „Prior“

Partition „Changes“

Partition „Asset_state“

Partition „Reload“

Die von der Partition „Reload“ verwendeten Spalten sind identisch mit denen der Partition „Current“.

Aufrufe

Alle erstellten Ansichten werden nahezu in Echtzeit aktualisiert. Die folgenden Ansichten sind verfügbar, um Abfragen und Berichte zu vereinfachen:

Aktuell

Die Ansicht „Aktuell“ spiegelt den letzten Stand der Daten wider. Diese Ansicht stellt ein Replikat der Quelltabelle dar, das nahezu in Echtzeit aktualisiert wird. Sie führt die Daten aus den Partitionen „Current“ und „Changes“ zusammen.

Name: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>

Es werden keine Kopfzeilenspalten zur Tabellenstruktur hinzugefügt.

Verlauf

Eine Ansicht „Verlauf“ wird im Datenobjektschema für jede ausgewählte Quelltabelle generiert, wenn Verlauf in den Datenaufgabeneinstellungen aktiviert ist. Die Ansicht „Verlauf“ führt die Daten aus den Partitionen „Prior“ und „Changes“ zusammen. Sie bietet einen vollständigen zeitlichen Verlauf der Änderungen, ideal für Audits oder Verlaufsanalysen.

Name: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_<Suffix for history views>

Die folgenden Kopfzeilenfelder werden zur Ansicht „Verlauf“ hinzugefügt.