Bereitstellen von Streaming-Daten an Qlik Open Lakehouse

Die Daten werden in Amazon S3 bereitgestellt und können von der Streaming-Umwandlungsaufgabe in das offene Iceberg-Tabellenformat konvertiert werden. Sie können Daten aus allen von Qlik unterstützten Streaming-Quellen bereitstellen.

Die Bereitstellung von Streaming-Daten in einem Qlik Open Lakehouse erfordert einen vorkonfigurierten Amazon S3-Bucket. Qlik Open Lakehouse ist speziell für hochvolumige Datenquellen optimiert und mit allen von Qlik unterstützten Streaming-Datenquellen kompatibel. Weitere Informationen zu unterstützten Streaming-Quellen finden Sie unter „Verbinden mit Daten-Streams“.

Rohdaten werden im Avro-Format in S3 bereitgestellt, und die Streaming-Umwandlungsaufgabe konvertiert die Daten in das Iceberg-Format. Die Iceberg-Spezifikation ermöglicht die Abfrage von Daten von jeder Engine aus, die Trino SQL nativ unterstützt, zum Beispiel Amazon Athena, Ahana oder Starburst Enterprise. Optional können die Tabellen in Ihren Cloud Data Warehouse gespiegelt werden, wo sie ohne Datenduplizierung abgefragt werden können.

Die Bereitstellung von Daten in einem Qlik Open Lakehouse ist in Projekten mit einer AWS Glue Data Catalog-Zielverbindung verfügbar.

Vorbereitungen

• Ein Speicher-Lakehouse-Cluster ist für die Ausführung der Erfassung erforderlich und muss vor dem Erstellen Ihres Projekts konfiguriert werden.

• Sie können zwar die Quell- und Zielverbindungseinstellungen im Einrichtungs-Assistenten konfigurieren. Zum Vereinfachen der Einrichtung wird aber empfohlen, dies vor Erstellen der Aufgabe zu tun.

• Um Daten in Ihrem Cloud Data Warehouse zu spiegeln, müssen Sie zunächst ein Qlik Open Lakehouse Projekt erstellen, um Ihre Daten einzulesen und sie im offenen Iceberg-Tabellenformat zu speichern. Sie können nach der Streaming-Umwandlungsaufgabe eine Spiegeldatenaufgabe hinzufügen. Weitere Informationen finden Sie unter Spiegeln von Daten in einem Cloud Data Warehouse.

Erstellen einer Streaming-Bereitstellungsaufgabe

Um eine Streaming-Bereitstellungsaufgabe zu erstellen, müssen Sie zuerst das Projekt erstellen. Gehen Sie wie folgt vor:

1. Erstellen Sie ein Projekt und wählen Sie in Anwendungsfall die Option Daten-Pipeline aus.

2. Wählen Sie in Datenplattform die Option Qlik Open Lakehouse aus und stellen Sie eine Verbindung zum Datenkatalog her.

3. Richten Sie in Bereitstellungszielverbindung einen Speicherbereich ein.

4. Wählen Sie den Speicher-Lakehouse-Cluster für die Durchführung der Erfassung und Optimierung der Daten aus.

5. Klicken Sie auf Erstellen, um das Projekt zu erstellen.

Wenn Sie Daten eingliedern oder eine Bereitstellungsaufgabe im Projekt erstellen, wird eine Streaming-Bereitstellungsaufgabe anstelle einer Bereitstellungsaufgabe erstellt. Streaming-Bereitstellungsaufgaben funktionieren und verhalten sich ähnlich wie eine Bereitstellungsaufgabe, stellen aber Daten aus Streaming-Quellen an den Cloud-Speicher bereit. Weitere Informationen finden Sie unter Verbinden mit Daten-Streams.

Alle Dateien werden im Avro-Format bereitgestellt. Nach der Aktualisierung der Bereitstellungsdaten nutzt die Streaming-Umwandlungsaufgabe die Bereitstellungsdaten und aktualisiert die externen Tabellen.

Einstellungen

Weitere Informationen zu Aufgabeneinstellungen finden Sie unter Streaming-Lake-Bereitstellungseinstellungen.