Projektowanie projektu integracji danych
Qlik Talend Data Integration umożliwia tworzenie potoków danych do wykonywania różnych zadań integracji danych w celu spełnienia wymagań architektury danych i analizy.
Przepływ integracji danych tworzy się w projekcie przy użyciu zadań danych. Projekt jest powiązany z platformą danych, która służy jako miejsce docelowe wszystkich danych wyjściowych. Projekt jest przechowywany w przestrzeni danych. Musisz także utworzyć połączenia ze źródłami i miejscami docelowymi danych.
Tworzenie przestrzeni
Praca w przestrzeniach w Integracji danych
Utwórz przestrzeń danych, która będzie używana do tworzenia i przechowywania projektu. W przestrzeni można też utworzyć nowe połączenia przy użyciu łączników oraz zarządzać dostępem do bram Data Movement gateway.
Tworzenie połączeń ze źródłami i miejscami docelowymi danych
Konfiguracja połączeń ze źródłami danych
Tworzenie połączeń ze źródłami i miejscami docelowymi danych
Konfigurowanie połączeń z miejscami docelowymi
Utwórz połączenia z platformą docelową.
Qlik Data Gateway - Data Movement
Skonfiguruj Qlik Data Gateway - Data Movement, aby ułatwić bezpieczne przenoszenie danych ze źródeł danych przedsiębiorstwa i aplikacji SaaS do obsługiwanych miejsc docelowych.
Tworzenie projektu
Podczas tworzenia projektu należy wybrać zastosowanie.
Tworzenie projektu potoku danych
Projekty potoków danych obsługują pozyskiwanie danych z dużej liczby obsługiwanych źródeł do platformy danych, na której można następnie przekształcać dane za pomocą transformacji ELT (pushdown) w celu obsługi architektur data lakehouse i hurtowni danych. Potoki danych obsługują CDC oparte na dziennikach i przyrostowe źródła danych, ale zapewniają szereg opcji pozyskiwania danych do głównych platform hurtowni danych.
Użyj projektu potoku danych, gdy chcesz:
-
Obsługiwać struktury danych typu 1 i typu 2 w procesach pozyskiwania.
-
Przekształcać dane w celu uzyskania odpowiednich danych wyjściowych lub schematów gwiaździstych do obciążeń analitycznych.
-
Utworzyć lakehouse bazujący na Iceberg.
-
Tworzyć złożone potoki, którymi zarządza się z zastosowaniem granic organizacyjnych lub funkcjonalnych pomiędzy projektami.
Tworzenie projektu replikacji
Projekty replikacji obsługują bezpośrednią replikację z dużej liczby obsługiwanych źródeł do jezior danych lub dowolnych obsługiwanych platform docelowych. Dane są stosowane bezpośrednio do struktur docelowych, ale złożone transformacje lub przekształcanie danych nie jest obsługiwane. Potoki replikacji obsługują większy zestaw technologii docelowych dla zastosowań replikacji.
Użyj projektu replikacji, gdy chcesz:
-
Replikować dane do miejsca docelowego i nie potrzebujesz wykonywać złożonych transformacji na tych danych.
-
Replikować dane do miejsca docelowego nieobsługiwanego przez potoki danych.
Zarządzanie wersjami projektu potoku
Zarządzanie projektami przy użyciu kontroli wersji
Używaj kontroli wersji do zarządzania rozwojem projektu danych i śledzenia zmian.