Snowflake
Snowflake może służyć jako docelowa platforma danych w potoku danych lub zadaniu replikacji. W potoku danych można wykonywać różne operacje ELT na platformie docelowej, w tym przechowywanie danych, przekształcanie danych, tworzenie data martów oraz rejestrowanie danych. Zadanie replikacji polega natomiast na replikacji danych bezpośrednio z systemu źródłowego do systemu docelowego z podstawowymi możliwościami transformacji, ale bez obsługi operacji ELT.
Konfigurowanie Snowflake jako miejsca docelowego obejmuje:
- Wymagane uprawnienia skonfigurowane w bazie danych.
- Zainstalowanie wymaganego sterownika. Pamiętaj, że jest to wymagane tylko w przypadku łączenia się ze Snowflake za pośrednictwem bramy Data Movement gateway.
- Konfiguracja połączenia z Snowflake
Konfiguracja właściwości połączenia
Aby skonfigurować łącznik, wykonaj następujące czynności:
-
W obszarze Połączenia kliknij Utwórz połączenie.
-
Wybierz łącznik miejsca docelowego Snowflake , a następnie podaj następujące ustawienia:
Brama danych ruchu danych
Brama danych
Brama Data Movement gateway jest wymagana tylko wtedy, gdy docelowa baza danych nie jest dostępna z Qlik Cloud i można uzyskać do niej dostęp tylko za pośrednictwem łącza prywatnego (na przykład jeśli znajduje się w wirtualnej chmurze prywatnej). W takim przypadku wybierz tę bramę Data Movement gateway, przez którą chcesz uzyskiwać dostęp do docelowej bazy danych.
W zależności od zastosowania będzie to ta sama Data Movement gateway, która została wdrożona do przenoszenia danych ze źródła, lub inna.
Informacje na temat zastosowań związanych z Data Movement gateway zawierają tematy Kiedy jest wymagana brama Data Movement gateway? i Typowe zastosowania.
Jeśli docelowa baza danych jest bezpośrednio dostępna z Qlik Cloud, wybierz Brak.
Właściwości połączenia
-
Serwer: adres URL dostępu do Snowflake. Na przykład: myaccount.snowflakecomputing.com.
-
Port: port, przez który chcesz uzyskać dostęp do swojej bazy danych Snowflake. Domyślny numer to 443.
Uwierzytelnianie
Istnieją różne sposoby uwierzytelnienia połączenia:
-
Nazwa użytkownika i hasło
-
Para kluczy
Baza danych Snowflake musi być skonfigurowana do korzystania z uwierzytelniania parami kluczy. Proces ten został opisany w dokumentacji Snowflake:
InformacjaJeśli używasz Data Movement gateway, do korzystania z uwierzytelniania parami kluczy jest wymagana wersja 2024.5.14 lub wyższa.
Właściwości konta
Nazwa użytkownika i hasło
Nazwa użytkownika i Hasło: nazwa użytkownika i hasło użytkownika uprawnionego do dostępu do bazy danych Snowflake.
Para kluczy
Właściwość konta | Opis |
---|---|
User | Użytkownik w Snowflake. |
Private Key File | Kliknij Przeglądaj, aby wybrać plik klucza prywatnego. |
Private Key File Password | Hasło do odszyfrowania klucza prywatnego, jeśli jest on zaszyfrowany. |
Właściwości bazy danych
- Default Warehouse: Nazwa Twojej hurtowni danych Snowflake. Możesz ją zmienić w ustawieniach projektu.
-
Database name (Nazwa bazy danych): istnieją dwie metody określania bazy danych:
-
Metoda 1 — wybór z listy: Kliknij Load databases, a następnie wybierz bazę danych.
- Metoda 2 — ręcznie: Wybierz pozycję Wprowadź nazwę bazy danych ręcznie, a następnie wprowadź nazwę bazy danych.
-
Dodatkowe właściwości połączenia
W razie potrzeby można określić dodatkowe właściwości połączenia ODBC i JDBC. Właściwości, które są istotne zarówno dla połączeń ODBC, jak i JDBC — na przykład „Rola” — powinny zostać dodane do obu.
- W przypadku korzystania z narzędzia Data Movement gateway dodatkowe właściwości połączenia są obsługiwane od wersji 2024.5.54.
- Właściwości zabezpieczeń (na przykład klucze szyfrowania) nie są obsługiwane.
- Nie należy dodawać właściwości, które mają dedykowane pola w ustawieniach połączenia.
Właściwości ODBC
Można określić dodatkowe właściwości połączenia, które będą używane przez zadania przenoszenia danych (Umieszczanie, Replikacja i Umieszczanie w jeziorze danych) w przypadku połączenia za pośrednictwem sterownika ODBC.
Użyj przycisków i
znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.
Właściwości JDBC
Można określić dodatkowe właściwości połączenia, które będą używane przez zadania ELT (Rejestracja, Pamięć masowa, Transformacja i Data mart) podczas łączenia za pośrednictwem sterownika JDBC.
Użyj przycisków i
znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.
Właściwości wewnętrzne
Właściwości wewnętrzne są przeznaczone dla specjalnych przypadków, w związku z czym nie są ukazywane w oknie dialogowym. Należy ich używać tylko na polecenie Qlik Pomocy technicznej.
Użyj przycisków i
znajdujących się po prawej stronie pól, aby dodać lub usunąć właściwości zgodnie z potrzebą.
Nazwa
Nazwa wyświetlana dla połączenia.
Wymagania wstępne
Wymagane uprawnienia
Wymagane są następujące ustawienia:
Uprawnienia wymagane, jeśli chcesz, aby schematy, które nie istnieją, były tworzone automatycznie
- USAGE ON DATABASE
- CREATE SCHEMA ON DATABASE
Uprawnienia wymagane, jeśli już istnieje schemat
- USAGE ON DATABASE
- USAGE ON SCHEMA
- CREATE FILE FORMAT ON SCHEMA
- CREATE STAGE ON SCHEMA
- CREATE TABLE ON SCHEMA
Konfiguracja sterowników
Sterownik jest wymagany tylko do uzyskiwania dostępu za pośrednictwem Data Movement gateway.
Sterownik driver można zainstalować za pomocą Narzędzia do instalacji sterowników (zalecane) lub ręcznie. Instalacji ręcznej należy próbować tylko w mało prawdopodobnym przypadku wystąpienia problemu z Narzędziem do instalacji sterowników.
Używanie Narzędzia do instalacji sterowników w celu instalacji sterownika
W tej sekcji opisano, jak zainstalować wymagany driver. Proces ten obejmuje pobieranie sterownika, skopiowanie go do wymaganego folderu (zobacz poniżej) i uruchomienie skryptu, który automatycznie zainstaluje i skonfiguruje wymagany driver. W razie potrzeby można także uruchamiać skrypty, aby zaktualizować i odinstalować driver.
Przygotowanie instalacji
-
Na serwerze bramy Data Movement musi być zainstalowane środowisko Python 3.6 lub nowsze.
Środowisko Python jest preinstalowane w większości dystrybucji systemu Linux. Aby sprawdzić, która wersja środowiska Pythona jest zainstalowana w Twoim systemie, uruchom następujące polecenie:
python3 --version
-
Pobierz sterownik ODBC Snowflake „snowflake-odbc-<wersja>.x86_64.rpm”. Łącze do bezpośredniego pobrania obsługiwanej wersji można znaleźć w sekcji binary-artifacts w pliku /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. Po zakończeniu pobierania skopiuj plik do:
/opt/qlik/gateway/movement/drivers/snowflake
Instalowanie aplikacji driver
Aby zainstalować driver:
-
Zatrzymaj usługę Data Movement gateway:
sudo systemctl stop repagent
-
Opcjonalnie potwierdź, że usługa została zatrzymana:
sudo systemctl status repagent
Status powinien być następujący:
Active: inactive (dead) since <timestamp> ago
-
Na urządzenie bramy Data Movement zmień katalog roboczy na:
opt/qlik/gateway/movement/drivers/bin
-
Wykonaj następujące polecenie:
Składnia:
./install snowflake
W przeciwnym razie zostanie wyświetlona umowa licencyjna dotycząca driver.
-
Wykonaj jedną z poniższych czynności:
- Naciśnij klawisz [Enter] wielokrotnie, aby powoli przewinąć treść umowy licencyjnej.
- Naciśnij klawisz spacji wielokrotnie, aby szybko przewinąć treść umowy licencyjnej.
- Naciśnij klawisz „q”, aby zamknąć tekst umowy licencyjnej i wyświetlić opcje jej akceptacji.
-
Wykonaj jedną z poniższych czynności:
- Wpisz „y” i naciśnij klawisz [Enter], aby zaakceptować umowę licencyjną i rozpocząć instalację.
- Wpisz „n” i naciśnij klawisz [Enter], aby odrzucić umowę licencyjną i zakończyć instalację.
-
Wpisz „v” i naciśnij klawisz [Enter], aby ponownie wyświetlić umowę licencyjną.
-
Poczekaj na zakończenie instalacji (wskazane komunikatem „Ukończono!”), a następnie uruchom usługę Data Movement gateway:
sudo systemctl start repagent
-
Opcjonalnie potwierdź, że usługa została uruchomiona:
sudo systemctl status repagent
Status powinien być następujący:
Active: active (running) since <timestamp> ago
Zostanie zainstalowany driver.
driver — aktualizacja
Uruchom polecenie aktualizacji, jeśli chcesz odinstalować driver w poprzedniej wersji, zanim zainstalujesz dostarczony driver.
Aby zaktualizować driver:
-
Zatrzymaj usługę Data Movement gateway:
sudo systemctl stop repagent
-
Opcjonalnie potwierdź, że usługa została zatrzymana:
sudo systemctl status repagent
Status powinien być następujący:
Active: inactive (dead) since <timestamp> ago
-
Na urządzenie bramy Data Movement zmień katalog roboczy na:
opt/qlik/gateway/movement/drivers/bin
-
Wykonaj następujące polecenie:
Składnia:
./update snowflake
W przeciwnym razie zostanie wyświetlona umowa licencyjna dotycząca driver.
-
Wykonaj jedną z poniższych czynności:
- Naciśnij klawisz [Enter] wielokrotnie, aby powoli przewinąć treść umowy licencyjnej.
- Naciśnij klawisz spacji wielokrotnie, aby szybko przewinąć treść umowy licencyjnej.
- Naciśnij klawisz „q”, aby zamknąć tekst umowy licencyjnej i wyświetlić opcje jej akceptacji.
-
Wykonaj jedną z poniższych czynności:
- Wpisz „y” i naciśnij klawisz [Enter], aby zaakceptować umowę licencyjną i rozpocząć instalację.
- Wpisz „n” i naciśnij klawisz [Enter], aby odrzucić umowę licencyjną i zakończyć instalację.
- Wpisz „v” i naciśnij klawisz [Enter], aby wyświetlić umowę licencyjną od początku.
-
Poczekaj na zakończenie instalacji (wskazane komunikatem „Ukończono!”), a następnie uruchom usługę Data Movement gateway:
sudo systemctl start repagent
-
Opcjonalnie potwierdź, że usługa została uruchomiona:
sudo systemctl status repagent
Status powinien być następujący:
Active: active (running) since <timestamp> ago
Stary driver zostanie odinstalowany, a zainstalowany zostanie nowy driver.
driver — odinstalowywanie
Uruchom polecenie odinstalowania, jeśli chcesz odinstalować driver.
Aby odinstalować driver:
-
Zatrzymaj wszystkie zadania skonfigurowane do korzystania z tego łącznika.
-
Na urządzenie bramy Data Movement zmień katalog roboczy na:
opt/qlik/gateway/movement/drivers/bin
-
Wykonaj następujące polecenie:
Składnia:
./uninstall snowflake
Sterownik driverzostanie odinstalowany.
Ręczne instalowanie sterownika
Sterownik driver należy instalować ręcznie tylko wtedy, gdy automatyczna instalacja nie zakończyła się pomyślnie.
Należy zainstalować sterowniki zarówno ODBC, jak i JDBC.
Instalowanie sterownika ODBC
- Po pobraniu Data Movement gateway pobierz plik sterownika snowflake-odbc-<wersja>x86_64.rpm wymieniony w sekcji binary-artifacts w pliku /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml i skopiuj go na komputer z Data Movement gateway.
- Zainstaluj sterownik na urządzeniu Data Movement gateway.
Instalowanie sterownika JDBC
-
Pobierz plik snowflake-jdbc-<wersja>.jar wymieniony w sekcji binary-artifacts w pliku /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml i skopiuj go do następującego folderu na komputerze z Data Movement gateway:
/opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib
-
Uruchom ponownie usługę Data Movement gateway i sprawdź, czy została uruchomiona, używając poleceń opisanych w temacie Polecenia usługi Data Movement gateway
Port
Należy otworzyć port 443 zapory na potrzeby komunikacji wychodzącej.
Ograniczenia i uwagi
Podczas przenoszenia danych do celu Snowflake obowiązują następujące ograniczenia:
- Replikacja tabel z ukośnikami wstecznymi w nazwach (np. SPECIAL\\TABLE\N) nie jest obsługiwana.
Typy danych
Następująca tabela pokazuje typy danych Snowflake, które są obsługiwane podczas używania Qlik Cloud, i domyślne mapowanie z typów danych Qlik Cloud.
Informacje o natywnym typie danych są zachowywane i wyświetlane w widokach zestawu danych w kolumnie Natywny typ danych. Jeśli kolumna nie jest widoczna, otwórz selektor kolumn w widoku zestawu danych i wybierz kolumnę Natywny typ danych.
Typy danych Qlik Cloud | Typy danych Snowflake |
---|---|
BOOLEAN |
BOOLEAN |
BYTES |
BINARY (długość w bajtach) |
DATE |
DATE |
TIME |
TIME (precyzja) |
DATETIME |
TIMESTAMP_NTZ (precyzja) |
INT1 |
BYTEINT |
INT2 |
SMALLINT |
INT4 |
INTEGER |
INT8 |
BIGINT |
NUMERIC |
NUMBER (precyzja, skala) |
REAL4 |
FLOAT4 |
REAL8 |
FLOAT8 |
UINT1 |
BYTEINT |
UINT2 |
INTEGER |
UINT4 |
INTEGER |
UINT8 |
BIGINT |
STRING |
VARCHAR (długość w bajtach) |
WSTRING |
NVARCHAR (długość w bajtach) |
BLOB |
BINARY (8388608) |
NCLOB |
NVARCHAR (8388608) |
CLOB |
VARCHAR (8388608) |