Schritt 4: Erstellen eines Qlik Open Lakehouse-Projekts

Erstellen Sie ein Qlik Open Lakehouse Pipeline-Projekt zum Einlesen von Daten aus beliebigen Quellen. Speichern Sie die Daten im offenen Iceberg-Tabellenformat.

Voraussetzungen

Um ein Qlik Open Lakehouse-Projekt zu erstellen, benötigen Sie:

• Eine Netzwerkintegration, die es Qlik ermöglicht, Rechenressourcen für Sie bereitzustellen und zu verwalten.

• Einen Lakehouse-Cluster, der so konfiguriert ist, dass er die Datenspeicheraufgabe innerhalb des Iceberg-Projekts ausführt.

• Eine Verbindung zu einem Datenkatalog, der als Datenziel für Ihr Projekt verwendet werden soll, oder die notwendigen Details, damit Sie eine neue Verbindung erstellen können.

Unterstützte Aufgaben

Die folgenden Aufgaben werden in einem Qlik Open Lakehouse-Projekt unterstützt:

• Lake-Datenbereitstellungsaufgabe

  Stellen Sie Daten im CSV-Format in S3 aus einer beliebigen von Qlik unterstützten Datenquelle bereit, einschließlich Datenströme in hohem Volumen.

• Speicherdatenaufgabe

  Die Speicherdatenaufgabe nutzt die Daten, die von der Lake-Bereitstellungsaufgabe bereitgestellt wurden. Die Aufgabe schreibt Daten zur effizienten Speicherung und Abfrage in Iceberg-Tabellen.

• Spiegeldatenaufgabe

  Spiegeln Sie die Iceberg-Tabellen von Ihrem Qlik Open Lakehouse an Snowflake. Benutzer können Daten über externe Tabellen abfragen, ohne die Daten zu Snowflake migrieren zu müssen.

Beispiel für das Erstellen eines Qlik Open Lakehouse-Projekts

Im folgenden Beispiel werden ein Qlik Open Lakehouse Pipeline-Projekt erstellt, Daten eingegliedert und die Daten in Tabellen im Iceberg-Format gespeichert. In diesem Beispiel wird eine einfache Pipeline erstellt, die Sie durch das Eingliedern weiterer Datenquellen erweitern können. Sie könnten eine Spiegeldatenaufgabe hinzufügen, um Ihre Tabellen in Snowflake zu spiegeln, ohne Daten zu duplizieren, oder dieses Projekt als Quelle für ein Projekt verwenden, das Umwandlungen in Snowflake erfordert.

Um ein Qlik Open Lakehouse-Projekt zu erstellen, gehen Sie wie folgt vor:

1. Klicken Sie auf der Startseite von Data Integration auf Pipeline erstellen und konfigurieren Sie sie:

• Name: Geben Sie den Namen für das Projekt ein.

• Bereich: Wählen Sie den Bereich aus, zu dem das Projekt gehören soll.

• Beschreibung: Geben Sie optional eine Beschreibung des Projekts ein.

2. Wählen Sie als Anwendungsfall die Option Daten-Pipeline aus.

3. Konfigurieren Sie die Datenplattform:

• Datenplattform: Wählen Sie Qlik Open Lakehouse in der Liste aus.

• Datenkatalogverbindung: Wählen Sie in der Liste eine bestehende Verbindung aus oder klicken Sie auf Neu erstellen, um eine neue Datenkatalogverbindung hinzuzufügen.

• Bereitstellungszielverbindung: Wählen Sie den S3-Bucket für die Bereitstellung der Daten aus oder klicken Sie auf Neu erstellen, um einen neuen Bucket-Speicherort hinzuzufügen.

• Speicherberechnungs-Cluster: Wählen Sie den Lakehouse-Cluster aus, auf dem die Speicheraufgabe ausgeführt werden soll.

4. Erstellen Sie das Projekt.

5. Folgen Sie den Schritten im Assistenten für die Dateneingliederung. Weitere Informationen finden Sie unter Eingliederung von Daten.