Krok 4: Utwórz projekt Qlik Open Lakehouse

Utwórz projekt potoku Qlik Open Lakehouse, aby pozyskiwać dane z dowolnego źródła. Przechowuj dane w formacie tabeli Iceberg.

Wymagania wstępne

Do utworzenia projektu Qlik Open Lakehouse potrzebne są:

• Integracja sieciowa umożliwiająca Qlik udostępnianie zasobów obliczeniowych i zarządzanie nimi w imieniu użytkownika.

• Klaster lakehouse skonfigurowany do uruchamiania zadania przechowywania danych w ramach projektu Iceberg.

• Połączenie z katalogiem danych do wykorzystania jako cel danych dla projektu lub niezbędne dane umożliwiające utworzenie nowego połączenia.

Obsługiwane zadania

W ramach projektu Qlik Open Lakehouse obsługiwane są następujące zadania:

• Zadanie umieszczania danych w jeziorze

  Umieszczanie danych w formacie CSV w S3, z dowolnego źródła obsługiwanego przez Qlik, w tym strumieni danych o dużej objętości.

• Zadanie przechowywania danych

  Zadanie przechowywania danych korzysta z danych umieszczonych w chmurze przez zadanie umieszczania danych w jeziorze. Zadanie to zapisuje dane w tabelach Iceberg w celu wydajnego przechowywania i wysyłania zapytań.

• Utwórz kopię lustrzaną danych

  Tworzenie kopii lustrzanej tabel Iceberg z Qlik Open Lakehouse do Snowflake. Użytkownicy mogą wyszukiwać dane za pośrednictwem zewnętrznych tabel bez konieczności migracji danych do Snowflake.

Przykład tworzenia projektu Qlik Open Lakehouse

Poniższy przykład tworzy projekt potoku Qlik Open Lakehouse, wprowadza dane i przechowuje je w tabelach w formacie Iceberg. Ten przykład tworzy prosty potok, który można rozszerzyć, dodając więcej źródeł danych. Można dodać zadanie utworzenia kopii lustrzanej danych, aby odzwierciedlić tabele danych w Snowflake bez duplikowania danych lub użyć tego projektu jako źródła dla projektu, który wymaga transformacji w Snowflake.

Aby utworzyć projekt Qlik Open Lakehouse, wykonaj następujące czynności:

1. Na stronie głównej Integracja danych kliknij przycisk Utwórz potok i skonfiguruj go:

• Nazwa: wprowadź nazwę projektu.

• Przestrzeń: wybierz przestrzeń, do której będzie należeć projekt.

• Opis opcjonalnie wprowadź opis projektu.

2. Jako Zastosowanie wybierz Potok danych.

3. Konfiguracja Platformy danych:

• Platforma danych: wybierz Qlik Open Lakehouse z listy.

• Połączenie katalogu danych: na liście wybierz istniejące połączenie lub kliknij przycisk Utwórz nowe, aby dodać nowe połączenie katalogu danych.

• Docelowe połączenie do umieszczania danych: wybierz zasobnik S3 do umieszczania danych lub kliknij Utwórz nowy, aby dodać nową lokalizację zasobnika.

• Klaster obliczeniowy magazynu: wybierz klaster lakehouse, który uruchomi zadanie magazynu.

4. Utwórz projekt.

5. Wykonaj kroki w kreatorze wdrażania. Więcej informacji zawiera temat Dołączanie danych.