Snowflake

Możesz użyć Snowflake jako docelowa platforma danych w potoku danych lub zadaniu replikacji. W potoku danych można wykonywać różne operacje ELT na platformie docelowej, w tym przechowywanie danych, przekształcanie danych, tworzenie data martów oraz rejestrowanie danych. Zadanie replikacji polega natomiast na replikacji danych bezpośrednio z systemu źródłowego do systemu docelowego z podstawowymi możliwościami transformacji, ale bez obsługi operacji ELT.

Konfigurowanie Snowflake jako miejsca docelowego obejmuje:

• Wymagane uprawnienia skonfigurowane w bazie danych.
• Zainstalowanie wymaganego sterownika. Pamiętaj, że jest to wymagane tylko w przypadku łączenia się ze Snowflake za pośrednictwem bramy Brama danych ruchu danych.
• Konfiguracja połączenia z Snowflake

Konfiguracja właściwości połączenia

Aby skonfigurować łącznik, wykonaj następujące czynności:

1. W obszarze Połączenia kliknij Utwórz połączenie.

2. Wybierz łącznik miejsca docelowego Snowflake , a następnie podaj następujące ustawienia:

Brama danych ruchu danych

Brama danych

Brama Brama danych ruchu danych jest wymagana tylko wtedy, gdy docelowa baza danych nie jest dostępna z Qlik Cloud i można uzyskać do niej dostęp tylko za pośrednictwem łącza prywatnego (na przykład jeśli znajduje się w wirtualnej chmurze prywatnej). W takim przypadku wybierz tę bramę Brama danych ruchu danych, przez którą chcesz uzyskiwać dostęp do docelowej bazy danych.

W zależności od zastosowania będzie to ta sama Brama danych ruchu danych, która została wdrożona do przenoszenia danych ze źródła, lub inna.

Informacje na temat zastosowań związanych z Brama danych ruchu danych zawierają tematy Kiedy jest wymagana brama Brama danych ruchu danych? i Typowe zastosowania.

Jeśli docelowa baza danych jest bezpośrednio dostępna z Qlik Cloud, wybierz Brak.

Właściwości połączenia

• Serwer: adres URL dostępu do Snowflake. Na przykład: myaccount.snowflakecomputing.com.

• Port: port, przez który chcesz uzyskać dostęp do swojej bazy danych Snowflake. Domyślny numer to 443.

Uwierzytelnianie

Istnieją różne sposoby uwierzytelnienia połączenia:

• Nazwa użytkownika i hasło

• Para kluczy

  Baza danych Snowflake musi być skonfigurowana do korzystania z uwierzytelniania parami kluczy. Proces ten został opisany w dokumentacji Snowflake:

  • Konfigurowanie uwierzytelniania przy użyciu pary kluczy

  InformacjaJeśli używasz Brama danych ruchu danych, do korzystania z uwierzytelniania parami kluczy jest wymagana wersja 2024.5.14 lub wyższa.

Właściwości konta

Nazwa użytkownika i hasło

Nazwa użytkownika i Hasło: nazwa użytkownika i hasło użytkownika uprawnionego do dostępu do bazy danych Snowflake.

Para kluczy

Właściwości bazy danych

• Default Warehouse: Nazwa Twojej hurtowni danych Snowflake. Możesz ją zmienić w ustawieniach projektu.

• Database name (Nazwa bazy danych): istnieją dwie metody określania bazy danych:

  • Metoda 1 — wybór z listy: Kliknij Load databases, a następnie wybierz bazę danych.

  • Metoda 2 — ręcznie: Wybierz pozycję Wprowadź nazwę bazy danych ręcznie, a następnie wprowadź nazwę bazy danych.

Właściwości wewnętrzne

Właściwości wewnętrzne są przeznaczone dla specjalnych przypadków, w związku z czym nie są ukazywane w oknie dialogowym. Należy ich używać tylko na polecenie Qlik Pomocy technicznej.

Użyj przycisków i znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.

Nazwa

Nazwa wyświetlana dla połączenia.

Wymagania wstępne

Wymagane uprawnienia

Wymagane są następujące ustawienia:

Uprawnienia wymagane, jeśli chcesz, aby schematy, które nie istnieją, były tworzone automatycznie

• USAGE ON DATABASE
• CREATE SCHEMA ON DATABASE

Uprawnienia wymagane, jeśli już istnieje schemat

• USAGE ON DATABASE
• USAGE ON SCHEMA
• CREATE FILE FORMAT ON SCHEMA
• CREATE STAGE ON SCHEMA
• CREATE TABLE ON SCHEMA

Konfiguracja sterowników

Sterownik jest wymagany tylko do uzyskiwania dostępu za pośrednictwem Brama danych ruchu danych.

Sterownik driver można zainstalować za pomocą Narzędzia do instalacji sterowników (zalecane) lub ręcznie. Instalacji ręcznej należy próbować tylko w mało prawdopodobnym przypadku wystąpienia problemu z Narzędziem do instalacji sterowników.

Używanie Narzędzia do instalacji sterowników w celu instalacji sterownika

W tej sekcji opisano, jak zainstalować wymagany driver. Proces ten obejmuje pobieranie sterownika, skopiowanie go do wymaganego folderu (zobacz poniżej) i uruchomienie skryptu, który automatycznie zainstaluje i skonfiguruje wymagany driver. W razie potrzeby można także uruchamiać skrypty, aby zaktualizować i odinstalować driver.

Przygotowanie instalacji

• Na serwerze bramy Ruch danych musi być zainstalowane środowisko Python 3.6 lub nowsze.

  Środowisko Python jest preinstalowane w większości dystrybucji systemu Linux. Aby sprawdzić, która wersja środowiska Pythona jest zainstalowana w Twoim systemie, uruchom następujące polecenie:

  python3 --version

• Pobierz sterownik ODBC Snowflake „snowflake-odbc-<wersja>.x86_64.rpm”. Łącze do bezpośredniego pobrania obsługiwanej wersji można znaleźć w sekcji binary-artifacts w pliku /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. Po zakończeniu pobierania skopiuj plik do:

  /opt/qlik/gateway/movement/drivers/snowflake

Instalowanie aplikacji driver

Aby zainstalować driver:

1. Zatrzymaj usługę Data Movement gateway:

   sudo systemctl stop repagent

2. Opcjonalnie potwierdź, że usługa została zatrzymana:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: inactive (dead) since <timestamp> ago

3. Na urządzenie bramy Ruch danych zmień katalog roboczy na:

   opt/qlik/gateway/movement/drivers/bin

4. Wykonaj następujące polecenie:

   Składnia:

   ./install snowflake

   W przeciwnym razie zostanie wyświetlona umowa licencyjna dotycząca driver.

5. Wykonaj jedną z poniższych czynności:

   • Naciśnij klawisz [Enter] wielokrotnie, aby powoli przewinąć treść umowy licencyjnej.
   • Naciśnij klawisz spacji wielokrotnie, aby szybko przewinąć treść umowy licencyjnej.
   • Naciśnij klawisz „q”, aby zamknąć tekst umowy licencyjnej i wyświetlić opcje jej akceptacji.

6. Wykonaj jedną z poniższych czynności:

   • Wpisz „y” i naciśnij klawisz [Enter], aby zaakceptować umowę licencyjną i rozpocząć instalację.
   • Wpisz „n” i naciśnij klawisz [Enter], aby odrzucić umowę licencyjną i zakończyć instalację.

   • Wpisz „v” i naciśnij klawisz [Enter], aby ponownie wyświetlić umowę licencyjną.

Zostanie zainstalowany driver.

7. Poczekaj na zakończenie instalacji (wskazane komunikatem „Ukończono!”), a następnie uruchom usługę Data Movement gateway:

   sudo systemctl start repagent

8. Opcjonalnie potwierdź, że usługa została uruchomiona:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: active (running) since <timestamp> ago

driver — aktualizacja

Uruchom polecenie aktualizacji, jeśli chcesz odinstalować driver w poprzedniej wersji, zanim zainstalujesz dostarczony driver.

Aby zaktualizować driver:

1. Zatrzymaj usługę Data Movement gateway:

   sudo systemctl stop repagent

2. Opcjonalnie potwierdź, że usługa została zatrzymana:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: inactive (dead) since <timestamp> ago

3. Na urządzenie bramy Ruch danych zmień katalog roboczy na:

   opt/qlik/gateway/movement/drivers/bin

4. Wykonaj następujące polecenie:

   Składnia:

   ./update snowflake

   W przeciwnym razie zostanie wyświetlona umowa licencyjna dotycząca driver.

5. Wykonaj jedną z poniższych czynności:

   • Naciśnij klawisz [Enter] wielokrotnie, aby powoli przewinąć treść umowy licencyjnej.
   • Naciśnij klawisz spacji wielokrotnie, aby szybko przewinąć treść umowy licencyjnej.
   • Naciśnij klawisz „q”, aby zamknąć tekst umowy licencyjnej i wyświetlić opcje jej akceptacji.

6. Wykonaj jedną z poniższych czynności:

   • Wpisz „y” i naciśnij klawisz [Enter], aby zaakceptować umowę licencyjną i rozpocząć instalację.
   • Wpisz „n” i naciśnij klawisz [Enter], aby odrzucić umowę licencyjną i zakończyć instalację.
   • Wpisz „v” i naciśnij klawisz [Enter], aby wyświetlić umowę licencyjną od początku.

Stary driver zostanie odinstalowany, a zainstalowany zostanie nowy driver.

7. Poczekaj na zakończenie instalacji (wskazane komunikatem „Ukończono!”), a następnie uruchom usługę Data Movement gateway:

   sudo systemctl start repagent

8. Opcjonalnie potwierdź, że usługa została uruchomiona:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: active (running) since <timestamp> ago

driver — odinstalowywanie

Uruchom polecenie odinstalowania, jeśli chcesz odinstalować driver.

Aby odinstalować driver:

1. Zatrzymaj wszystkie zadania skonfigurowane do korzystania z tego łącznika.

2. Na urządzenie bramy Ruch danych zmień katalog roboczy na:

   opt/qlik/gateway/movement/drivers/bin

3. Wykonaj następujące polecenie:

   Składnia:

   ./uninstall snowflake

   Sterownik driverzostanie odinstalowany.

Ręczne instalowanie sterownika

Sterownik driver należy instalować ręcznie tylko wtedy, gdy automatyczna instalacja nie zakończyła się pomyślnie.

Należy zainstalować sterowniki zarówno ODBC, jak i JDBC.

Instalowanie sterownika ODBC

1. Po pobraniu Brama danych ruchu danych pobierz plik sterownika snowflake-odbc-<wersja>x86_64.rpm wymieniony w sekcji binary-artifacts w pliku /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml i skopiuj go na komputer z Brama danych ruchu danych.
2. Zainstaluj sterownik na urządzeniu Brama danych ruchu danych.

Instalowanie sterownika JDBC

1. Pobierz plik snowflake-jdbc-<wersja>.jar wymieniony w sekcji binary-artifacts w pliku /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml i skopiuj go do następującego folderu na komputerze z Brama danych ruchu danych:

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Uruchom ponownie usługę Brama danych ruchu danych i sprawdź, czy została uruchomiona, używając poleceń opisanych w temacie Polecenia usługi Brama danych ruchu danych

Port

Należy otworzyć port 443 zapory na potrzeby komunikacji wychodzącej.

Optymalizacja wydajności i wykorzystania usług w chmurze

Ograniczenia i uwagi

Podczas przenoszenia danych do celu Snowflake obowiązują następujące ograniczenia:

• Replikacja tabel z ukośnikami wstecznymi w nazwach (np. SPECIAL\\TABLE\N) nie jest obsługiwana.

Typy danych

Następująca tabela pokazuje typy danych Snowflake, które są obsługiwane podczas używania Qlik Cloud, i domyślne mapowanie z typów danych Qlik Cloud.

Informacje o natywnym typie danych są zachowywane i wyświetlane w widokach zestawu danych w kolumnie Natywny typ danych. Jeśli kolumna nie jest widoczna, otwórz selektor kolumn w widoku zestawu danych i wybierz kolumnę Natywny typ danych.

Obsługiwane typy danych

Typy danych Qlik Cloud	Typy danych Snowflake
BOOLEAN	BOOLEAN
BYTES	BINARY (długość w bajtach)
DATE	DATE
TIME	TIME (precyzja)
DATETIME	TIMESTAMP_NTZ (precyzja)
INT1	BYTEINT
INT2	SMALLINT
INT4	INTEGER
INT8	BIGINT
NUMERIC	NUMBER (precyzja, skala)
REAL4	FLOAT4
REAL8	FLOAT8
UINT1	BYTEINT
UINT2	INTEGER
UINT4	INTEGER
UINT8	BIGINT
STRING	VARCHAR (długość w bajtach)
WSTRING	NVARCHAR (długość w bajtach)
BLOB	BINARY (8388608)
NCLOB	NVARCHAR (8388608)
CLOB	VARCHAR (8388608)