Brama danych Qlik — ruch danych

Brama danych Qlik — ruch danych (dalej Brama danych ruchu danych) umożliwia przenoszenie danych ze źródeł danych przedsiębiorstwa i aplikacji SaaS do obsługiwanych miejsc docelowych przez wyłącznie wychodzące, zaszyfrowane i wzajemnie uwierzytelnione połączenie. Eliminując konieczność otwierania przychodzących portów zapory sieciowej, Brama danych ruchu danych zapewnia bezpieczne i zaufane środki przenoszenia danych przedsiębiorstwa.

Kiedy jest wymagana brama Brama danych ruchu danych?

Brama Brama danych ruchu danych jest wymagana w następujących przypadkach:

• Twoje źródło lub miejsce docelowe danych nie są bezpośrednio dostępne z Qlik Cloud. Przykłady źródeł danych lub miejsc docelowych, które nie są bezpośrednio dostępne z Qlik Cloud, obejmują źródła danych lub miejsca docelowe zlokalizowane w VPC lub za zaporą sieciową zamkniętą dla komunikacji przychodzącej.

  Więcej informacji na temat połączeń prywatnych zawiera temat Obsługa połączeń prywatnych w Qlik Talend Data Integration poniżej.

• Potrzebujesz CDC działającego niemal w czasie rzeczywistym ze źródeł baz danych.
• Musisz uzyskiwać dostęp do platform docelowych za pośrednictwem serwera proxy.

• Masz subskrypcję Premium lub Enterprise i potrzebujesz przyrostowego ładowania ze źródeł aplikacji SaaS częściej niż co 30 minut. Korzystając z bramy Brama danych ruchu danych i tych subskrypcji, możesz ustawić interwał nawet na 5 minut.

  Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

• Twoje źródło danych jest jednym z następujących:
  • IBM DB2 for z/OS
  • IBM DB2 for iSeries
  • IBM DB2 for LUW
  • SAP Extractor
  • SAP (aplikacja)
  • SAP ODP
  • SAP HANA (baza danych)
  • Oracle
  • Microsoft SQL Server (z obsługą dzienników Microsoft)
• Potrzebujesz dodatkowej warstwy zabezpieczeń zapewnianej przez Brama danych ruchu danych, która zapobiega przepływowi danych przez Qlik Cloud i pozwala klientom kontrolować ścieżkę danych. Dotyczy to tylko źródeł danych RDBMS, mainframe i SAP.

W poniższym przykładzie brama Brama danych ruchu danych nie jest wymagana, ponieważ zarówno źródło aplikacji SaaS, jak i docelowa hurtownia danych są bezpośrednio dostępne z Qlik Cloud.

Ochrona danych

Dla każdego serwera bramy Brama danych ruchu danych połączonego z dzierżawą Qlik Cloud jest tworzona unikatowa para kluczy. Para ta jest używana do uwierzytelniania i szyfrowania od końca do końca na bazie szyfrowania poziomu transportu protokołu HTTPS. Ponadto, ponieważ komunikacja z Qlik Cloud i transfer danych są inicjowane tylko przez porty wychodzące, nie musisz otwierać żadnych portów wchodzących do swojej sieci firmowej.

Typowe zastosowania

Poniższa sekcja przedstawia dwa typowe zastosowania: przenoszenie danych do miejsca docelowego, do którego można uzyskać dostęp tylko za pośrednictwem połączenia prywatnego, oraz przenoszenie danych do miejsca docelowego, do którego można uzyskać bezpośredni dostęp z Qlik Cloud.

Brama danych Qlik — ruch danych odgrywa kluczową rolę w procesie przenoszenia danych. Poniższe diagramy ilustrują sposób interakcji Brama danych ruchu danych z Qlik Cloud i Twoimi źródłami danych w celu bezpiecznego przeniesienia danych do obsługiwanych miejsc docelowych.

Obsługa połączeń prywatnych w Qlik Talend Data Integration

Połączenie prywatne oznacza, że Twoje źródło danych lub miejsce docelowe nie są dostępne za pośrednictwem Internetu, przez co nie są dostępne z Qlik Cloud.

Istnieje kilka typów połączeń prywatnych, a ich przykłady to:

• Snowflake AWS PrivateLink, w którym łączność publiczna (przez port 443) została wyłączona
• Microsoft SQL Server (lub inny system do zarządzania relacyjnymi bazami danych) działający w wirtualnej chmurze prywatnej mającej tylko prywatny adres IP

Brama danych ruchu danych wdrożona w celu uzyskiwania dostępu do miejsca docelowego wykonuje operacje ELT, które obejmują niektóre lub wszystkie z następujących czynności: rejestracja danych, przechowywanie, transformacje i data marty.

Chociaż można używać tej samej bramy w celu uzyskania dostępu zarówno do źródła danych, jak i do ich miejsca docelowego, używanie dwóch bram — jednej uzyskującej dostęp do źródła, a drugiej uzyskującej dostęp do miejsca docelowego — często zapewnia lepszą wydajność. Jeżeli na przykład źródłową bazą danych jest lokalna baza danych Oracle, a docelową bazą danych jest Snowflake AWS PrivateLink, jedna brama (zdefiniowana w połączeniu źródłowym Oracle) będzie używana do umieszczania danych z Oracle w Snowflake, podczas gdy druga brama (zdefiniowana w połączeniu docelowym Snowflake) będzie używana do wykonania operacji ELT. Korzystanie z dwóch bram jest szczególnie zalecane, jeśli źródłowa i docelowa baza danych nie znajdują się blisko siebie. W takiej sytuacji brama do umieszczania danych powinna znajdować się jak najbliżej źródła, a brama do miejsca docelowego powinna znajdować się jak najbliżej tego miejsca docelowego. Jeśli dane są pozyskiwane z wielu źródeł danych, warto także skonfigurować dedykowaną bramę dla każdego źródła danych, w zależności od jego typu i lokalizacji. Przykład tego typu konfiguracji pokazano poniżej.

Przenoszenie danych ze źródeł danych przedsiębiorstwa do obsługiwanych miejsc docelowych

Na wysokim poziomie proces komunikacji wygląda następująco:

1. Brama danych ruchu danych ustanawia wzajemnie uwierzytelniane i szyfrowane połączenie z Qlik Cloud przez HTTPS.

2. Qlik Cloud wysyła instrukcje na temat wykonywania zadania do Brama danych ruchu danych, która zgłasza stan zadania do Qlik Cloud.

3. Brama danych ruchu danych pobiera dane ze źródła danych i wysyła je w trybie push do wyznaczonego miejsca docelowego.

Przenoszenie danych z aplikacji SaaS do obsługiwanych miejsc docelowych

Na wysokim poziomie proces komunikacji wygląda następująco:

1. Brama danych ruchu danych ustanawia wzajemnie uwierzytelniane i szyfrowane połączenie z Qlik Cloud przez HTTPS.

2. Qlik Cloud wysyła instrukcje na temat wykonania zadania umieszczania do bramy Brama danych ruchu danych, która zgłasza status zadania z powrotem do Qlik Cloud.

3. Kiedy zadanie umieszczania zostaje rozpoczęte, Qlik Cloud pobiera dane z aplikacji SaaS i je przechowuje (zaszyfrowane przy użyciu klucza dzierżawy).

4. Brama danych ruchu danych pobiera dane aplikacji SaaS z Qlik Cloud i wysyła je w trybie push do wyznaczonego miejsca docelowego.

Przenoszenie danych z aplikacji SaaS i źródeł danych przedsiębiorstwa do obsługiwanych miejsc docelowych

Sekwencja komunikacji wysokiego poziomu jest kombinacją zastosowań „Przenoszenie danych ze źródeł danych przedsiębiorstwa” i „Przenoszenie danych z aplikacji SaaS” opisanych powyżej.

Przenoszenie danych z aplikacji SaaS i źródeł danych przedsiębiorstwa w wirtualnej chmurze prywatnej do miejsc docelowych w wirtualnej chmurze prywatnej

Sekwencja komunikacji wysokiego poziomu do przenoszenia danych z aplikacji SaaS wygląda następująco:

1. Brama danych ruchu danych ustanawia wzajemnie uwierzytelniane i szyfrowane połączenie z Qlik Cloud przez HTTPS.

2. Qlik Cloud wysyła instrukcje na temat wykonania zadania umieszczania do bramy Brama danych ruchu danych, która zgłasza status zadania z powrotem do Qlik Cloud.

3. Kiedy zadanie umieszczania zostaje rozpoczęte, Qlik Cloud pobiera dane z aplikacji SaaS i je przechowuje (zaszyfrowane przy użyciu klucza dzierżawy).

4. Brama danych ruchu danych pobiera dane aplikacji SaaS z Qlik Cloud i wysyła je w trybie push do wyznaczonego miejsca docelowego.

Sekwencja komunikacji wysokiego poziomu do przenoszenia danych ze źródła danych przedsiębiorstwa jest następująca:

1. Brama danych ruchu danych ustanawia wzajemnie uwierzytelniane i szyfrowane połączenie z Qlik Cloud przez HTTPS.

2. Qlik Cloud wysyła instrukcje na temat wykonania zadania umieszczania do bramy Brama danych ruchu danych, która zgłasza status zadania z powrotem do Qlik Cloud.

3. Brama danych ruchu danych pobiera dane ze źródła danych i wysyła je w trybie push do wyznaczonego miejsca docelowego.