Tworzenie projektu Qlik Open Lakehouse

Utwórz projekt potoku Qlik Open Lakehouse, aby pozyskiwać dane z dowolnego źródła. Przechowuj dane w formacie tabeli Iceberg.

Wymagania wstępne

Do utworzenia projektu Qlik Open Lakehouse potrzebne są:

• Integracja sieciowa umożliwiająca Qlik udostępnianie zasobów obliczeniowych i zarządzanie nimi w imieniu użytkownika.

• Klaster lakehouse skonfigurowany do uruchamiania zadania przechowywania danych w ramach projektu Iceberg.

• Połączenie z katalogiem danych do wykorzystania jako cel danych dla projektu lub niezbędne dane umożliwiające utworzenie nowego połączenia.

Obsługiwane zadania

W ramach projektu Qlik Open Lakehouse obsługiwane są następujące zadania.

Źródła aplikacji CDC i SaaS

• Zadanie umieszczania danych w jeziorze

  Umieszczanie danych w formacie CSV w S3, z dowolnego źródła obsługiwanego przez Qlik, w tym strumieni danych o dużej objętości.

  Więcej informacji zawiera temat Umieszczanie danych w Qlik Open Lakehouse.

• Zadanie przechowywania danych

  Zadanie przechowywania danych korzysta z danych umieszczonych w chmurze przez zadanie umieszczania danych w jeziorze. Zadanie to zapisuje dane w tabelach Iceberg w celu wydajnego przechowywania i wysyłania zapytań.

• Więcej informacji zawiera temat Przechowywanie zestawów danych.

• Utwórz kopię lustrzaną danych

  Odbij tabele Iceberg z zadania przechowywania do hurtowni danych w chmurze. Użytkownicy mogą wyszukiwać dane za pośrednictwem zewnętrznych tabel bez migrowania danych do Twojej hurtowni danych w chmurze.

Źródła strumieniowe

• Zadanie umieszczania danych strumieniowych

  Umieszczanie danych w formacie Avro w S3, z dowolnego obsługiwanego przez Qlik źródła strumieniowego.

  Więcej informacji zawiera temat Umieszczanie strumieniowych danych w Qlik Open Lakehouse

• Zadanie transformacji strumieniowania danych

  Zadanie transformacji strumieniowania danych przetwarza zdarzenia umieszczone w chmurze przez zadanie umieszczania strumieniowego. Zadanie to zapisuje dane w tabelach Iceberg w celu wydajnego przechowywania i wysyłania zapytań oraz obsługuje transformacje.

  Więcej informacji zawiera temat Przechowywanie strumieniowych zestawów danych.

• Utwórz kopię lustrzaną danych

  Replikuj tabele Iceberg z zadania przechowywania strumieniowego do hurtowni danych w chmurze. Użytkownicy mogą wyszukiwać dane za pośrednictwem zewnętrznych tabel bez migrowania danych do Twojej hurtowni danych w chmurze.

Przykład tworzenia projektu Qlik Open Lakehouse

Poniższy przykład tworzy projekt potoku Qlik Open Lakehouse, wprowadza dane ze źródła CDC i przechowuje je w tabelach w formacie Iceberg. Ten przykład tworzy prosty potok, który można rozszerzyć, dodając więcej źródeł danych. Można dodać zadanie utworzenia kopii lustrzanej danych, aby odzwierciedlić tabele w hurtowni danych bez duplikowania danych, lub użyć tego projektu jako źródła dla projektu, który wymaga transformacji w Twojej hurtowni danych w chmurze.

Aby utworzyć projekt Qlik Open Lakehouse, wykonaj następujące czynności:

1. Na stronie głównej Integracja danych kliknij przycisk Utwórz potok i skonfiguruj go:

• Nazwa: wprowadź nazwę projektu.

• Przestrzeń: wybierz przestrzeń, do której będzie należeć projekt.

• Opis opcjonalnie wprowadź opis projektu.

2. Jako Zastosowanie wybierz Potok danych.

3. Konfiguracja Platformy danych:

• Platforma danych: wybierz Qlik Open Lakehouse z listy.

• Połączenie katalogu danych: na liście wybierz istniejące połączenie lub kliknij przycisk Utwórz nowe, aby dodać nowe połączenie katalogu danych.

• Docelowe połączenie do umieszczania danych: wybierz zasobnik S3 do umieszczania danych lub kliknij Utwórz nowy, aby dodać nową lokalizację zasobnika.

• Klaster obliczeniowy magazynu: wybierz klaster lakehouse, który uruchomi zadanie magazynu.

4. Utwórz projekt.

5. Wykonaj kroki w kreatorze wdrażania.Aby uzyskać więcej informacji, zobacz Dołączanie danych, które zawiera instrukcje dotyczące źródeł CDC i strumieniowych.