Erstellen eines Qlik Open Lakehouse-Projekts

Erstellen Sie ein Qlik Open Lakehouse Pipeline-Projekt zum Einlesen von Daten aus beliebigen Quellen. Speichern Sie die Daten im offenen Iceberg-Tabellenformat.

Voraussetzungen

Um ein Qlik Open Lakehouse-Projekt zu erstellen, benötigen Sie:

• Eine Netzwerkintegration, die es Qlik ermöglicht, Rechenressourcen für Sie bereitzustellen und zu verwalten.

• Einen Lakehouse-Cluster, der so konfiguriert ist, dass er die Datenspeicheraufgabe innerhalb des Iceberg-Projekts ausführt.

• Eine Verbindung zu einem Datenkatalog, der als Datenziel für Ihr Projekt verwendet werden soll, oder die notwendigen Details, damit Sie eine neue Verbindung erstellen können.

Unterstützte Aufgaben

Die folgenden Aufgaben werden in einem Qlik Open Lakehouse-Projekt unterstützt.

CDC- und SaaS-Anwendungsquellen

• Lake-Datenbereitstellungsaufgabe

  Stellen Sie Daten im CSV-Format in S3 aus einer beliebigen von Qlik unterstützten Datenquelle bereit, einschließlich Datenströme in hohem Volumen.

  Weitere Informationen finden Sie unter Bereitstellen von Daten an Qlik Open Lakehouse.

• Speicherdatenaufgabe

  Die Speicherdatenaufgabe nutzt die Daten, die von der Lake-Bereitstellungsaufgabe bereitgestellt wurden. Die Aufgabe schreibt Daten zur effizienten Speicherung und Abfrage in Iceberg-Tabellen.

• Weitere Informationen finden Sie unter Speichern von Datensätzen.

• Spiegeldatenaufgabe

  Spiegeln Sie Iceberg-Tabellen von Ihrer Speicheraufgabe in Ihr Cloud Data Warehouse. Benutzer können Daten über externe Tabellen abfragen, ohne die Daten zu Ihrem Cloud Data Warehouse migrieren zu müssen.

Streaming-Quellen

• Streaming-Bereitstellungsdatenaufgabe

  Stellen Sie Daten im Avro-Format in S3 aus einer beliebigen von Qlik unterstützten Streaming-Quelle bereit.

  Weitere Informationen finden Sie unter Bereitstellen von Streaming-Daten an Qlik Open Lakehouse.

• Streaming-Umwandlungsdatenaufgabe

  Die Streaming-Umwandlungsdatenaufgabe nutzt die Ereignisse, die von der Streaming-Bereitstellungsaufgabe in der Cloud bereitgestellt wurden. Die Aufgabe schreibt Daten zur effizienten Speicherung und Abfrage in Iceberg-Tabellen und unterstützt Umwandlungen.

  Weitere Informationen finden Sie unter Speichern von Streaming-Datensätzen.

• Spiegeldatenaufgabe

  Spiegeln Sie Iceberg-Tabellen von Ihrer Streaming-Speicheraufgabe in Ihr Cloud Data Warehouse. Benutzer können Daten über externe Tabellen abfragen, ohne die Daten zu Ihrem Cloud Data Warehouse migrieren zu müssen.

Beispiel für das Erstellen eines Qlik Open Lakehouse-Projekts

Im folgenden Beispiel werden ein Qlik Open Lakehouse Pipeline-Projekt erstellt, Daten aus einer CDC-Quelle eingegliedert und die Daten in Tabellen im Iceberg-Format gespeichert. In diesem Beispiel wird eine einfache Pipeline erstellt, die Sie durch das Eingliedern weiterer Datenquellen erweitern können. Sie könnten eine Spiegeldatenaufgabe hinzufügen, um Ihre Tabellen in Ihrem Data Warehouse zu spiegeln, ohne Daten zu duplizieren, oder dieses Projekt als Quelle für ein Projekt verwenden, das Umwandlungen in Ihrem Cloud Data Warehouse erfordert.

Um ein Qlik Open Lakehouse-Projekt zu erstellen, gehen Sie wie folgt vor:

1. Klicken Sie auf der Startseite von Data Integration auf Pipeline erstellen und konfigurieren Sie sie:

• Name: Geben Sie den Namen für das Projekt ein.

• Bereich: Wählen Sie den Bereich aus, zu dem das Projekt gehören soll.

• Beschreibung: Geben Sie optional eine Beschreibung des Projekts ein.

2. Wählen Sie als Anwendungsfall die Option Daten-Pipeline aus.

3. Konfigurieren Sie die Datenplattform:

• Datenplattform: Wählen Sie Qlik Open Lakehouse in der Liste aus.

• Datenkatalogverbindung: Wählen Sie in der Liste eine bestehende Verbindung aus oder klicken Sie auf Neu erstellen, um eine neue Datenkatalogverbindung hinzuzufügen.

• Bereitstellungszielverbindung: Wählen Sie den S3-Bucket für die Bereitstellung der Daten aus oder klicken Sie auf Neu erstellen, um einen neuen Bucket-Speicherort hinzuzufügen.

• Speicherberechnungs-Cluster: Wählen Sie den Lakehouse-Cluster aus, auf dem die Speicheraufgabe ausgeführt werden soll.

4. Erstellen Sie das Projekt.

5. Folgen Sie den Schritten im Assistenten für die Dateneingliederung.Weitere Informationen finden Sie unter Eingliederung von Daten, wo Anweisungen für CDC- und Streaming-Quellen bereitgestellt werden.