Krok 4: Utwórz projekt Qlik Open Lakehouse

Utwórz projekt potoku Qlik Open Lakehouse, aby pozyskiwać dane z dowolnego źródła. Przechowuj dane w formacie tabeli Iceberg.

Wymagania wstępne

Do utworzenia projektu Qlik Open Lakehouse potrzebne są:

• Integracja sieciowa umożliwiająca Qlik udostępnianie zasobów obliczeniowych i zarządzanie nimi w imieniu użytkownika.

• Klaster lakehouse skonfigurowany do uruchamiania zadania przechowywania danych w ramach projektu Iceberg.

• Połączenie z katalogiem danych do wykorzystania jako cel danych dla projektu lub niezbędne dane umożliwiające utworzenie nowego połączenia.

Obsługiwane zadania

W ramach projektu Qlik Open Lakehouse obsługiwane są następujące zadania:

• Zadanie umieszczania danych w jeziorze

  Umieszczanie danych w formacie CSV w S3, z dowolnego źródła obsługiwanego przez Qlik, w tym strumieni danych o dużej objętości.

• Zadanie przechowywania danych

  Zadanie przechowywania danych korzysta z danych umieszczonych w chmurze przez zadanie umieszczania danych w jeziorze. Zadanie to zapisuje dane w tabelach Iceberg w celu wydajnego przechowywania i wysyłania zapytań.

• Utwórz kopię lustrzaną danych

  Tworzenie kopii lustrzanej tabel Iceberg z Qlik Open Lakehouse do Redshift lub Snowflake. Użytkownicy mogą wyszukiwać dane za pośrednictwem zewnętrznych tabel bez migrowania danych do Twojej hurtowni danych w chmurze.

Przykład tworzenia projektu Qlik Open Lakehouse

Poniższy przykład tworzy projekt potoku Qlik Open Lakehouse, wprowadza dane i przechowuje je w tabelach w formacie Iceberg. Ten przykład tworzy prosty potok, który można rozszerzyć, dodając więcej źródeł danych. Można dodać zadanie utworzenia kopii lustrzanej danych, aby odzwierciedlić tabele danych w Redshift lub Snowflake bez duplikowania danych lub użyć tego projektu jako źródła dla projektu, który wymaga transformacji w Twojej hurtowni danych w chmurze.

Aby utworzyć projekt Qlik Open Lakehouse, wykonaj następujące czynności:

1. Na stronie głównej Integracja danych kliknij przycisk Utwórz potok i skonfiguruj go:

• Nazwa: wprowadź nazwę projektu.

• Przestrzeń: wybierz przestrzeń, do której będzie należeć projekt.

• Opis opcjonalnie wprowadź opis projektu.

2. Jako Zastosowanie wybierz Potok danych.

3. Konfiguracja Platformy danych:

• Platforma danych: wybierz Qlik Open Lakehouse z listy.

• Połączenie katalogu danych: na liście wybierz istniejące połączenie lub kliknij przycisk Utwórz nowe, aby dodać nowe połączenie katalogu danych.

• Docelowe połączenie do umieszczania danych: wybierz zasobnik S3 do umieszczania danych lub kliknij Utwórz nowy, aby dodać nową lokalizację zasobnika.

• Klaster obliczeniowy magazynu: wybierz klaster lakehouse, który uruchomi zadanie magazynu.

4. Utwórz projekt.

5. Wykonaj kroki w kreatorze wdrażania. Więcej informacji zawiera temat Dołączanie danych.