Qlik Data Gateway - Data Movement
Qlik Data Gateway - Data Movement (dalej Data Movement gateway) umożliwia przenoszenie danych ze źródeł danych przedsiębiorstwa i aplikacji SaaS do obsługiwanych miejsc docelowych przez wyłącznie wychodzące, zaszyfrowane i wzajemnie uwierzytelnione połączenie. Eliminując konieczność otwierania przychodzących portów zapory sieciowej, Data Movement gateway zapewnia bezpieczne i zaufane środki przenoszenia danych przedsiębiorstwa.
Kiedy jest wymagana brama Data Movement gateway?
Brama Data Movement gateway jest wymagana w następujących przypadkach:
-
Twoje źródło lub miejsce docelowe danych nie są bezpośrednio dostępne z Qlik Cloud. Przykłady źródeł danych lub miejsc docelowych, które nie są bezpośrednio dostępne z Qlik Cloud, obejmują źródła danych lub miejsca docelowe zlokalizowane w VPC lub za zaporą sieciową zamkniętą dla komunikacji przychodzącej.
Więcej informacji na temat połączeń prywatnych zawiera temat Obsługa połączeń prywatnych w Qlik Talend Data Integration poniżej.
- Potrzebujesz CDC działającego niemal w czasie rzeczywistym ze źródeł baz danych.
- Musisz uzyskiwać dostęp do platform docelowych za pośrednictwem serwera proxy.
-
Masz subskrypcję Premium lub Enterprise i potrzebujesz przyrostowego ładowania ze źródeł aplikacji SaaS częściej niż co 30 minut. Korzystając z bramy Data Movement gateway i tych subskrypcji, możesz ustawić interwał nawet na 5 minut.
Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.
- Twoje źródło danych jest jednym z następujących:
- IBM DB2 for z/OS
- IBM DB2 for iSeries
- IBM DB2 for LUW
- SAP Extractor
- SAP (aplikacja)
- SAP ODP
- SAP HANA (baza danych)
- Oracle
- Microsoft SQL Server (z obsługą dzienników Microsoft)
- Potrzebujesz dodatkowej warstwy zabezpieczeń zapewnianej przez Data Movement gateway, która zapobiega przepływowi danych przez Qlik Cloud i pozwala klientom kontrolować ścieżkę danych. Dotyczy to tylko źródeł danych RDBMS, mainframe i SAP.
W poniższym przykładzie brama Data Movement gateway nie jest wymagana, ponieważ zarówno źródło aplikacji SaaS, jak i docelowa hurtownia danych są bezpośrednio dostępne z Qlik Cloud.
Przenoszenie danych z aplikacji SaaS do docelowej hurtowni danych bez Data Movement gateway

Ochrona danych
Dla każdego serwera bramy Data Movement gateway połączonego z dzierżawą Qlik Cloud jest tworzona unikatowa para kluczy. Para ta jest używana do uwierzytelniania i szyfrowania od końca do końca na bazie szyfrowania poziomu transportu protokołu HTTPS. Ponadto, ponieważ komunikacja z Qlik Cloud i transfer danych są inicjowane tylko przez porty wychodzące, nie musisz otwierać żadnych portów wchodzących do swojej sieci firmowej.
Qlik Cloud Government umożliwia używanie Data Movement gateway tylko wtedy, gdy platformę Linux, na której zainstalowano Data Movement gateway, skonfigurowano do działania w trybie zgodnym z FIPS 140-2, znanym jako „tryb FIPS”.
Typowe zastosowania
Poniższa sekcja przedstawia dwa typowe zastosowania: przenoszenie danych do miejsca docelowego, do którego można uzyskać dostęp tylko za pośrednictwem połączenia prywatnego, oraz przenoszenie danych do miejsca docelowego, do którego można uzyskać bezpośredni dostęp z Qlik Cloud.
Qlik Data Gateway - Data Movement odgrywa kluczową rolę w procesie przenoszenia danych. Poniższe diagramy ilustrują sposób interakcji Data Movement gateway z Qlik Cloud i Twoimi źródłami danych w celu bezpiecznego przeniesienia danych do obsługiwanych miejsc docelowych.
Liczba bram Data Movement gateway, jaką trzeba wdrożyć, zależy od środowiska i konkretnego przypadku. Jeśli Twoje źródła danych znajdują się blisko siebie, a miejsce docelowe jest bezpośrednio dostępne z Qlik Cloud, zazwyczaj wystarczy pojedyncza brama Data Movement gateway. W następujących przypadkach najlepszą praktyką jest jednak użycie wielu bramy danych:
- Pozyskiwanie danych z oddalonych od siebie geograficznie źródeł danych
- Przenoszenie dużych ilości danych z wielu źródeł danych
- Przenoszenie danych do miejsca docelowego, do którego nie można uzyskać dostępu z Qlik Cloud (takiego jak SQL Server w wirtualnej chmurze prywatnej)
Obsługa połączeń prywatnych w Qlik Talend Data Integration
Połączenie prywatne oznacza, że Twoje źródło danych lub miejsce docelowe nie są dostępne za pośrednictwem Internetu, przez co nie są dostępne z Qlik Cloud.
Istnieje kilka typów połączeń prywatnych, a ich przykłady to:
- Snowflake AWS PrivateLink, w którym łączność publiczna (przez port 443) została wyłączona
- Microsoft SQL Server (lub inny system do zarządzania relacyjnymi bazami danych) działający w wirtualnej chmurze prywatnej mającej tylko prywatny adres IP
Data Movement gateway wdrożona w celu uzyskiwania dostępu do miejsca docelowego wykonuje operacje ELT, które obejmują niektóre lub wszystkie z następujących czynności: rejestracja danych, przechowywanie, transformacje i data marty.
Chociaż można używać tej samej bramy w celu uzyskania dostępu zarówno do źródła danych, jak i do ich miejsca docelowego, używanie dwóch bram — jednej uzyskującej dostęp do źródła, a drugiej uzyskującej dostęp do miejsca docelowego — często zapewnia lepszą wydajność. Jeżeli na przykład źródłową bazą danych jest lokalna baza danych Oracle, a docelową bazą danych jest Snowflake AWS PrivateLink, jedna brama (zdefiniowana w połączeniu źródłowym Oracle) będzie używana do umieszczania danych z Oracle w Snowflake, podczas gdy druga brama (zdefiniowana w połączeniu docelowym Snowflake) będzie używana do wykonania operacji ELT. Korzystanie z dwóch bram jest szczególnie zalecane, jeśli źródłowa i docelowa baza danych nie znajdują się blisko siebie. W takiej sytuacji brama do umieszczania danych powinna znajdować się jak najbliżej źródła, a brama do miejsca docelowego powinna znajdować się jak najbliżej tego miejsca docelowego. Jeśli dane są pozyskiwane z wielu źródeł danych, warto także skonfigurować dedykowaną bramę dla każdego źródła danych, w zależności od jego typu i lokalizacji. Przykład tego typu konfiguracji pokazano poniżej.
Przenoszenie danych z rozproszonych źródeł danych do miejsca docelowego w wirtualnej chmurze prywatnej, a następnie wykonywanie operacji ELT na miejscu docelowym

Przenoszenie danych ze źródeł danych przedsiębiorstwa do obsługiwanych miejsc docelowych
Na wysokim poziomie proces komunikacji wygląda następująco:
-
Data Movement gateway ustanawia wzajemnie uwierzytelniane i szyfrowane połączenie z Qlik Cloud przez HTTPS.
-
Qlik Cloud wysyła instrukcje na temat wykonywania zadania do Data Movement gateway, która zgłasza stan zadania do Qlik Cloud.
-
Data Movement gateway pobiera dane ze źródła danych i wysyła je w trybie push do wyznaczonego miejsca docelowego.
Data Movement gateway - Przenoszenie danych ze źródeł danych przedsiębiorstwa do obsługiwanych miejsc docelowych

Przenoszenie danych z aplikacji SaaS do obsługiwanych miejsc docelowych
Na wysokim poziomie proces komunikacji wygląda następująco:
-
Data Movement gateway ustanawia wzajemnie uwierzytelniane i szyfrowane połączenie z Qlik Cloud przez HTTPS.
-
Qlik Cloud wysyła instrukcje na temat wykonania zadania umieszczania do bramy Data Movement gateway, która zgłasza status zadania z powrotem do Qlik Cloud.
-
Kiedy zadanie umieszczania zostaje rozpoczęte, Qlik Cloud pobiera dane z aplikacji SaaS i je przechowuje (zaszyfrowane przy użyciu klucza dzierżawy).
-
Data Movement gateway pobiera dane aplikacji SaaS z Qlik Cloud i wysyła je w trybie push do wyznaczonego miejsca docelowego.
Data Movement gateway — przenoszenie danych z aplikacji SaaS do obsługiwanych celów

Przenoszenie danych z aplikacji SaaS i źródeł danych przedsiębiorstwa do obsługiwanych miejsc docelowych
Sekwencja komunikacji wysokiego poziomu jest kombinacją zastosowań „Przenoszenie danych ze źródeł danych przedsiębiorstwa” i „Przenoszenie danych z aplikacji SaaS” opisanych powyżej.
Data Movement gateway — przenoszenie danych z aplikacji SaaS i źródeł danych przedsiębiorstwa do obsługiwanych miejsc docelowych

Przenoszenie danych z aplikacji SaaS i źródeł danych przedsiębiorstwa w wirtualnej chmurze prywatnej do miejsc docelowych w wirtualnej chmurze prywatnej
Sekwencja komunikacji wysokiego poziomu do przenoszenia danych z aplikacji SaaS wygląda następująco:
-
Data Movement gateway ustanawia wzajemnie uwierzytelniane i szyfrowane połączenie z Qlik Cloud przez HTTPS.
-
Qlik Cloud wysyła instrukcje na temat wykonania zadania umieszczania do bramy Data Movement gateway, która zgłasza status zadania z powrotem do Qlik Cloud.
-
Kiedy zadanie umieszczania zostaje rozpoczęte, Qlik Cloud pobiera dane z aplikacji SaaS i je przechowuje (zaszyfrowane przy użyciu klucza dzierżawy).
-
Data Movement gateway pobiera dane aplikacji SaaS z Qlik Cloud i wysyła je w trybie push do wyznaczonego miejsca docelowego.
Sekwencja komunikacji wysokiego poziomu do przenoszenia danych ze źródła danych przedsiębiorstwa jest następująca:
-
Data Movement gateway ustanawia wzajemnie uwierzytelniane i szyfrowane połączenie z Qlik Cloud przez HTTPS.
-
Qlik Cloud wysyła instrukcje na temat wykonania zadania umieszczania do bramy Data Movement gateway, która zgłasza status zadania z powrotem do Qlik Cloud.
-
Data Movement gateway pobiera dane ze źródła danych i wysyła je w trybie push do wyznaczonego miejsca docelowego.
Data Movement gateway — przenoszenie danych z aplikacji SaaS i źródeł danych przedsiębiorstwa w wirtualnej chmurze prywatnej do miejsc docelowych w wirtualnej chmurze prywatnej

Dowiedz się więcej
- Wymagania systemowe konsoli Data Movement gateway
- Konfigurowanie bramy Data Movement
- Zarządzanie serwerem Data Movement gateway
- Zarządzanie bramą Data Movement gateway w Administrowanie
- Uaktualnianie i odinstalowywanie bramy Data Movement gateway
- Rozwiązywanie problemów z Data Movement gateway
- Brama danych Qlik — ruch danych: omówienie