Azure Synapse Analytics

Azure Synapse Analytics można używać jako docelowej platformy danych w potoku danych. W potoku danych można wykonywać różne operacje ELT na platformie docelowej, w tym przechowywanie danych, przekształcanie danych, tworzenie data martów oraz rejestrowanie danych.

Konfigurowanie Azure Synapse Analytics jako miejsca docelowego obejmuje:

• Spełnienie warunków wstępnych
• Konfigurowanie połączenia z obszarem tymczasowym w chmurze (Azure Data Lake Storage). Nie jest to wymagane, jeśli rejestrujesz istniejące dane.
• Skonfigurowanie połączenia z Azure Synapse Analytics

Konfigurowanie obszaru tymczasowego w chmurze

Wymagany jest również obszar tymczasowy w chmurze Azure Data Lake Storage, w którym dane i zmiany są przechowywane przed zastosowaniem i zapisaniem. Informacje na temat konfigurowania połączenia z usługą Azure Data Lake Storage zawiera temat Azure Data Lake Storage.

Ustawianie właściwości połączenia Azure Synapse Analytics

Po podaniu ustawień miejsca docelowego usługi Azure Data Lake Storage wykonaj następujące czynności:

1. W obszarze Połączenia kliknij Utwórz połączenie.

2. Wybierz łącznik miejsca docelowego Azure Synapse Analytics, a następnie podaj następujące ustawienia:

Miejsce docelowe danych

Brama danych

Brama Brama danych ruchu danych jest wymagana tylko wtedy, gdy docelowa baza danych nie jest dostępna z Qlik Cloud i można uzyskać do niej dostęp tylko za pośrednictwem łącza prywatnego (na przykład jeśli znajduje się w wirtualnej chmurze prywatnej). W takim przypadku wybierz tę bramę Brama danych ruchu danych, przez którą chcesz uzyskiwać dostęp do docelowej bazy danych.

W zależności od zastosowania będzie to ta sama Brama danych ruchu danych, która została wdrożona do przenoszenia danych ze źródła, lub inna.

Informacje na temat zastosowań związanych z Brama danych ruchu danych zawierają tematy Kiedy jest wymagana brama Brama danych ruchu danych? i Typowe zastosowania.

Jeśli docelowa baza danych jest bezpośrednio dostępna z Qlik Cloud, wybierz Brak.

Właściwości połączenia

• Serwer: nazwa hosta identyfikująca lokalizację bazy danych Azure Synapse Analytics.

• Port: port, przez który chcesz uzyskać dostęp do swojej bazy danych Azure Synapse Analytics. Wartością domyślną jest 1433.

Właściwości konta

Nazwa użytkownika i Hasło: nazwa użytkownika i hasło użytkownika uprawnionego do dostępu do bazy danych Azure Synapse Analytics.

Właściwości bazy danych

• Nazwa bazy danych: istnieją dwie metody określania bazy danych:

  • Metoda 1 — wybór z listy: Ta metoda wymaga, aby użytkownik był utworzony w głównej bazie danych. Kliknij Load databases (Załaduj bazy danych), a następnie wybierz bazę danych.
  • Metoda 2 — ręcznie: Wybierz pozycję Wprowadź nazwę bazy danych ręcznie, a następnie wprowadź nazwę bazy danych.

Właściwości ładowania danych

Poświadczenia SQL Server można utworzyć automatycznie w czasie wykonywania (domyślnie) lub można użyć istniejącego poświadczenia. Wykonaj jedną z następujących czynności odpowiednio do potrzeb:

• Po zaznaczeniu pola wyboru Utwórz poświadczenie SQL Server (domyślnie) poświadczenie SQL Server zostanie utworzone automatycznie w czasie wykonywania. Podaj swój klucz dostępu w polu Klucz dostępu.
• Aby użyć istniejącego poświadczenia, wyczyść pole wyboru Utwórz poświadczenie SQL Server, a w polu Nazwa poświadczenia podaj nazwę poświadczenia SQL Server.

Nazwa

Nazwa wyświetlana dla połączenia.

Wymagania wstępne

Uprawnienia

Musisz przyznać uprawnienia zarówno do pamięci masowej, jak i do bazy danych, jak opisano poniżej.

Uprawnienia pamięci masowej

Użytkownik określony w łączniku Azure Synapse Analytics musi mieć przyznane następujące uprawnienia do przechowywania danych.

• W kontenerze pamięci masowej ADLS Gen2: LIST
• W folderze magazynu ADLS Gen2: READ, WRITE i DELETE
• U ustawieniach kontroli dostępu (IAM) systemu plików ADLS Gen2 należy przypisać rolę „Storage Blob Data Contributor” (Współautor danych Blob w pamięci masowej) usłudze Data Movement gateway (ID aplikacji AD). Zastosowanie tej roli może potrwać kilka minut.

Uprawnienia bazy danych

Użytkownik określony w łączniku Azure Synapse Analytics musi mieć przyznane następujące uprawnienia do bazy danych:

• Uprawnienia ogólne:

  • Rola db_owner

• Uprawnienia do tabeli:

  • SELECT, INSERT, UPDATE i DELETE
  • Ładowanie masowe
  • CREATE, ALTER, DROP (jeśli wymagane przez definicję zadania)

Wybór bazy danych

Aby móc wybrać bazę danych (klikając Load databases w oknie dialogowym łącznika), użytkownik określony w ustawieniach łącznika musi zostać utworzony w głównej bazie danych.

Konfiguracja sterowników

Sterownik jest wymagany tylko do uzyskiwania dostępu za pośrednictwem Brama danych ruchu danych. W takim przypadku należy zainstalować sterownik na urządzeniu Brama danych ruchu danych.

Sterownik driver można zainstalować za pomocą Narzędzia do instalacji sterowników (zalecane) lub ręcznie. Instalacji ręcznej należy próbować tylko w mało prawdopodobnym przypadku wystąpienia problemu z Narzędziem do instalacji sterowników.

Używanie Narzędzia do instalacji sterowników w celu instalacji sterownika

W tej sekcji opisano, jak zainstalować wymagany driver. Proces ten obejmuje uruchomienie skryptu, który automatycznie pobierze, zainstaluje i skonfiguruje wymagany driver. W razie potrzeby można także uruchamiać skrypty, aby zaktualizować i odinstalować driver.

Przygotowanie instalacji

• Na serwerze bramy Ruch danych musi być zainstalowane środowisko Python 3.6 lub nowsze.

  Środowisko Python jest preinstalowane w większości dystrybucji systemu Linux. Aby sprawdzić, która wersja środowiska Pythona jest zainstalowana w Twoim systemie, uruchom następujące polecenie:

  python3 --version

Instalowanie aplikacji driver

Aby pobrać i zainstalować driver:

1. Zatrzymaj usługę Data Movement gateway:

   sudo systemctl stop repagent

2. Opcjonalnie potwierdź, że usługa została zatrzymana:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: inactive (dead) since <timestamp> ago

3. Na urządzenie bramy Ruch danych zmień katalog roboczy na:

   opt/qlik/gateway/movement/drivers/bin

4. Wykonaj następujące polecenie:

   Składnia:

   ./install sqlserver

   Jeśli driver nie może zostać pobrany (ze względu na ograniczenia dostępu lub problemy techniczne), zostanie wyświetlony komunikat informujący, skąd pobrać driver i dokąd go skopiować na urządzenie bramy Ruch danych. Po wykonaniu tej czynności ponownie uruchom polecenie install sqlserver.

   W przeciwnym razie zostanie wyświetlona umowa licencyjna dotycząca driver.

5. Wykonaj jedną z poniższych czynności:

   • Naciśnij klawisz [Enter] wielokrotnie, aby powoli przewinąć treść umowy licencyjnej.
   • Naciśnij klawisz spacji wielokrotnie, aby szybko przewinąć treść umowy licencyjnej.
   • Naciśnij klawisz „q”, aby zamknąć tekst umowy licencyjnej i wyświetlić opcje jej akceptacji.

6. Wykonaj jedną z poniższych czynności:

   • Wpisz „y” i naciśnij klawisz [Enter], aby zaakceptować umowę licencyjną i rozpocząć instalację.
   • Wpisz „n” i naciśnij klawisz [Enter], aby odrzucić umowę licencyjną i zakończyć instalację.

   • Wpisz „v” i naciśnij klawisz [Enter], aby ponownie wyświetlić umowę licencyjną.

Zostanie zainstalowany driver.

7. Poczekaj na zakończenie instalacji (wskazane komunikatem „Ukończono!”), a następnie uruchom usługę Data Movement gateway:

   sudo systemctl start repagent

8. Opcjonalnie potwierdź, że usługa została uruchomiona:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: active (running) since <timestamp> ago

driver — aktualizacja

Uruchom polecenie aktualizacji, jeśli chcesz odinstalować driver w poprzedniej wersji, zanim zainstalujesz dostarczony driver.

Aby pobrać i zaktualizować driver:

1. Zatrzymaj usługę Data Movement gateway:

   sudo systemctl stop repagent

2. Opcjonalnie potwierdź, że usługa została zatrzymana:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: inactive (dead) since <timestamp> ago

3. Na urządzenie bramy Ruch danych zmień katalog roboczy na:

   opt/qlik/gateway/movement/drivers/bin

4. Wykonaj następujące polecenie:

   Składnia:

   ./update sqlserver

   Jeśli driver nie może zostać pobrany (ze względu na ograniczenia dostępu lub problemy techniczne), zostanie wyświetlony komunikat informujący, skąd pobrać driver i dokąd go skopiować na urządzenie bramy Ruch danych. Po wykonaniu tej czynności ponownie uruchom polecenie update sqlserver.

   W przeciwnym razie zostanie wyświetlona umowa licencyjna dotycząca driver.

5. Wykonaj jedną z poniższych czynności:

   • Naciśnij klawisz [Enter] wielokrotnie, aby powoli przewinąć treść umowy licencyjnej.
   • Naciśnij klawisz spacji wielokrotnie, aby szybko przewinąć treść umowy licencyjnej.
   • Naciśnij klawisz „q”, aby zamknąć tekst umowy licencyjnej i wyświetlić opcje jej akceptacji.

6. Wykonaj jedną z poniższych czynności:

   • Wpisz „y” i naciśnij klawisz [Enter], aby zaakceptować umowę licencyjną i rozpocząć instalację.
   • Wpisz „n” i naciśnij klawisz [Enter], aby odrzucić umowę licencyjną i zakończyć instalację.
   • Wpisz „v” i naciśnij klawisz [Enter], aby wyświetlić umowę licencyjną od początku.

Stary driver zostanie odinstalowany, a zainstalowany zostanie nowy driver.

7. Poczekaj na zakończenie instalacji (wskazane komunikatem „Ukończono!”), a następnie uruchom usługę Data Movement gateway:

   sudo systemctl start repagent

8. Opcjonalnie potwierdź, że usługa została uruchomiona:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: active (running) since <timestamp> ago

driver — odinstalowywanie

Uruchom polecenie odinstalowania, jeśli chcesz odinstalować driver.

Aby odinstalować driver:

1. Zatrzymaj wszystkie zadania skonfigurowane do korzystania z tego łącznika.

2. Na urządzenie bramy Ruch danych zmień katalog roboczy na:

   opt/qlik/gateway/movement/drivers/bin

3. Wykonaj następujące polecenie:

   Składnia:

   ./uninstall sqlserver

   Sterownik driverzostanie odinstalowany.

Ręczne instalowanie sterownika

Sterownik driver należy instalować ręcznie tylko wtedy, gdy automatyczna instalacja nie zakończyła się pomyślnie.

Należy zainstalować sterowniki zarówno ODBC, jak i JDBC.

Instalowanie sterownika ODBC

Po zainstalowaniu Brama danych ruchu danych pobierz sterownik msodbcsql<wersja>.x86_64.rpm. Łącze do bezpośredniego pobrania obsługiwanej wersji można znaleźć w sekcji binary-artifacts w pliku /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Po zakończeniu pobierania skopiuj plik RPM na komputer z Brama danych ruchu danych.

Na serwerze Data Movement gateway otwórz wiersz poleceń i wykonaj następujące czynności:

1. Zatrzymaj usługę Data Movement gateway:

   sudo systemctl stop repagent

2. Opcjonalnie potwierdź, że usługa została zatrzymana:

   sudo systemctl status repagent

Status powinien być następujący:

Active: inactive (dead) since <timestamp> ago

3. Zainstaluj sterownik (RPM).

4. Zmień katalog roboczy na <katalog_produktu>/bin.

5. Skopiuj lokalizację sterownika do pliku site_arep_login.sh w następujący sposób:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Spowoduje to dodanie sterownika do ustawienia „LD_LIBRARY_PATH” i zaktualizuje lokalizację sterownika w pliku site_arep_login.sh .

6. Opcjonalnie potwierdź, że lokalizacja sterownika została skopiowana:

   cat site_arep_login.sh

7. Uruchom usługę Data Movement gateway:

   sudo systemctl start repagent

8. Opcjonalnie potwierdź, że usługa została uruchomiona:

   sudo systemctl status repagent

   Status powinien być następujący:

   Active: active (running) since <timestamp> ago

9. Usługa Data Movement gateway wymaga następującej biblioteki ODBC: msodbcsql-18.1.so.1.1

   Aby sprawdzić wersję obecnie zainstalowanej biblioteki, wykonaj następujące polecenie:

   ls /opt/microsoft/msodbcsql<version>/lib64/

   Jeżeli istniejąca już biblioteka ma inny numer wersji (np. libmsodbcsql-18.0.so.1.1), musisz utworzyć symboliczne łącze między istniejącą biblioteką a biblioteką wymaganą.

   W tym celu wykonaj następujące polecenia:

   cd /opt/microsoft/msodbcsql<version>/lib64/
   ln -s existing_library_name msodbcsql-18.1.so.1.1

   , gdzie existing_library_name jest nazwą obecnie zainstalowanej biblioteki (np. libmsodbcsql-18.0.so.1.1).

Instalowanie sterownika JDBC

1. Pobierz plik mssql-jdbc-<wersja>.jar. Łącze do bezpośredniego pobrania obsługiwanej wersji można znaleźć w sekcji binary-artifacts w pliku /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Po zakończeniu pobierania skopiuj plik JAR do następującego folderu na komputerze z Brama danych ruchu danych:

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Uruchom ponownie usługę Brama danych ruchu danych, używając polecenia opisanego w temacie Ponowne uruchamianie usługi.

Porty

• Gdy Data Movement gateway działa na komputerze poza platformą Azure — otwórz port 1433 dla komunikacji wychodzącej.
• Gdy Data Movement gateway działa na maszynie wirtualnej Azure — otwórz następujące porty dla komunikacji wychodzącej:
  • 1433
  • 11000–11999
  • 14000–14999

Ograniczenia i uwagi

Korzystając z usługi Azure Synapse Analytics jako miejsca docelowego, należy wziąć pod uwagę następujące ograniczenia i zagadnienia:

• Kolumny źródłowe z typami danych CHAR/VARCHAR i zestawieniem innym niż łacińskie (np. „Chinese_PRC_CI_AS”) muszą zostać zamapowane na NVARCHAR.

• Obsługa pustej kolumny źródłowej:

  • Gdy podczas operacji Przenoszenie źródłowa kolumna binarna (na przykład VARBINARY lub BLOB) ma pustą wartość, Qlik Talend Data Integration wstawia wartość NULL do odpowiedniej kolumny docelowej.

  InformacjaPuste wartości nie są NULL, ale danymi o zerowej długości.
• Przenoszenie rekordów przekraczających 1 MB nie jest obsługiwane.
• Przenoszenie danych zawierających 4-bajtowe znaki emoji wymaga, aby typ danych był szerokim ciągiem znaków (na przykład NCHAR/NVARCHAR/NCLOB) w miejscu docelowym.

Typy danych

Następująca tabela pokazuje typy danych Azure Synapse Analytics, które są obsługiwane podczas używania Qlik Cloud, i domyślne mapowanie z typów danych Qlik Cloud.

Informacje o natywnym typie danych są zachowywane i wyświetlane w widokach zestawu danych w kolumnie Natywny typ danych. Jeśli kolumna nie jest widoczna, otwórz selektor kolumn w widoku zestawu danych i wybierz kolumnę Natywny typ danych.