Krok 4: Utwórz projekt Otwarty lakehouse Qlik

Utwórz projekt potoku Otwarty lakehouse Qlik, aby pozyskiwać dane z dowolnego źródła. Przechowuj dane w formacie tabeli Iceberg.

Wymagania wstępne

Do utworzenia projektu Otwarty lakehouse Qlik potrzebne są:

• Integracja sieciowa umożliwiająca Qlik udostępnianie zasobów obliczeniowych i zarządzanie nimi w imieniu użytkownika.

• Klaster lakehouse skonfigurowany do uruchamiania zadania przechowywania danych w ramach projektu Iceberg.

• Połączenie z katalogiem danych do wykorzystania jako cel danych dla projektu lub niezbędne dane umożliwiające utworzenie nowego połączenia.

Obsługiwane zadania

W ramach projektu Otwarty lakehouse Qlik obsługiwane są następujące zadania:

• Zadanie umieszczania danych w jeziorze

  Umieszczanie danych w formacie CSV w S3, z dowolnego źródła obsługiwanego przez Qlik, w tym strumieni danych o dużej objętości.

• Zadanie przechowywania danych

  Zadanie przechowywania danych korzysta z danych umieszczonych w chmurze przez zadanie umieszczania danych w jeziorze. Zadanie to zapisuje dane w tabelach Iceberg w celu wydajnego przechowywania i wysyłania zapytań.

• Utwórz kopię lustrzaną danych

  Tworzenie kopii lustrzanej tabel Iceberg z Otwarty lakehouse Qlik do Snowflake. Użytkownicy mogą wyszukiwać dane za pośrednictwem zewnętrznych tabel bez konieczności migracji danych do Snowflake.

Przykład tworzenia projektu Otwarty lakehouse Qlik

Poniższy przykład tworzy projekt potoku Otwarty lakehouse Qlik, wprowadza dane i przechowuje je w tabelach w formacie Iceberg. Ten przykład tworzy prosty potok, który można rozszerzyć, dodając więcej źródeł danych. Można dodać zadanie utworzenia kopii lustrzanej danych, aby odzwierciedlić tabele danych w Snowflake bez duplikowania danych lub użyć tego projektu jako źródła dla projektu, który wymaga transformacji w Snowflake.

Aby utworzyć projekt Otwarty lakehouse Qlik, wykonaj następujące czynności:

1. Na stronie głównej Integracja danych kliknij przycisk Utwórz potok i skonfiguruj go:

• Nazwa: wprowadź nazwę projektu.

• Przestrzeń: wybierz przestrzeń, do której będzie należeć projekt.

• Opis opcjonalnie wprowadź opis projektu.

2. Jako Zastosowanie wybierz Potok danych.

3. Konfiguracja Platformy danych:

• Platforma danych: wybierz Otwarty lakehouse Qlik z listy.

• Połączenie katalogu danych: na liście wybierz istniejące połączenie lub kliknij przycisk Utwórz nowe, aby dodać nowe połączenie katalogu danych.

• Docelowe połączenie do umieszczania danych: wybierz zasobnik S3 do umieszczania danych lub kliknij Utwórz nowy, aby dodać nową lokalizację zasobnika.

• Klaster obliczeniowy magazynu: wybierz klaster lakehouse, który uruchomi zadanie magazynu.

4. Utwórz projekt.

5. Wykonaj kroki w kreatorze wdrażania. Więcej informacji zawiera temat Dołączanie danych.