Dołączanie danych do Qlik Open Lakehouse
Qlik Open Lakehouse umożliwia przenoszenie danych z dowolnego obsługiwanego źródła do tabel Apache Iceberg. Otwarty format tabeli Iceberg zapewnia interoperacyjność między aplikacjami i platformami danych, umożliwiając odczyt danych z różnych narzędzi, zmniejszając potrzebę duplikowania danych. Tabele danych w projektach Qlik Open Lakehouse można kopiować do Snowflake i użytkownicy mogą wyszukiwać dane bezpośrednio w Snowflake.
Aby wprowadzić dane do Qlik Open Lakehouse i przechowywać je w tabelach w formacie Iceberg, należy rozpocząć od ustanowienia integracji sieciowej z VPC AWS. Integracja ta umożliwia Qlik bezpieczne udostępnianie zasobów i zarządzanie nimi w środowisku chmury. Następnie należy utworzyć klaster lakehouse zapewniający środowisko obliczeniowe do przetwarzania i przechowywania danych. Ostatnim krokiem przygotowywania danych jest skonfigurowanie połączenia katalogu danych ze scentralizowanym repozytorium metadanych.
Po skonfigurowaniu tych komponentów można tworzyć potoki danych przy użyciu projektów Qlik Open Lakehouse. Potoki danych pozyskują dane i przechowują je w tabelach Iceberg. Dostęp do tabel Iceberg można uzyskać za pomocą szerokiej gamy narzędzi, w tym bezpośrednio z Snowflake.
Architektura programu Qlik Open Lakehouse
Dzięki Qlik Open Lakehouse można stworzyć skalowalny, wydajny lakehouse przy użyciu otwartego formatu tabel Iceberg.
Konfigurowanie Qlik Open Lakehouse
Skonfiguruj środowisko chmury z integracją sieciową i klastrem lakehouse, aby uruchamiać projekty Qlik Open Lakehouse.
Tworzenie projektu Qlik Open Lakehouse
Utwórz projekt w celu dodania danych do magazynu w otwartym formacie tabel Iceberg i opcjonalnie wykonaj kopię lustrzaną tabel do Snowflake bez duplikowania danych.