Dołączanie danych

Pierwszym etapem tworzenia potoku danych w projekcie Qlik Talend Data Integration jest dołączenie danych. Polega to na przesyłaniu danych ze źródła danych i przechowywaniu zestawów danych w formacie zoptymalizowanym do odczytu. Możesz aktualizować dane z ciągłą obsługą zmian lub korzystać z zaplanowanych przeładowań.

Dołączanie danych powstaje w ramach jednej operacji, ale odbywa się ono w dwóch etapach.

• Umieszczanie danych

  Obejmuje to ciągłe przesyłanie danych z lokalnego źródła danych do obszaru umieszczania za pomocą zadania umieszczania danych.

  Umieszczanie danych ze źródeł danych

  Można także umieszczać dane w lakehouse, gdzie dane są umieszczane w pamięci masowej plików w chmurze. Jest to dostępne dla projektów Snowflake, w których miejsce docelowe umieszczania jest ustawione na pamięć masową plików w chmurze.

  Umieszczanie danych w lakehouse.

• Przechowywanie zestawów danych

  Obejmuje to odczytywanie początkowego ładowania danych do umieszczenia lub obciążeń przyrostowych i stosowanie danych w formacie zoptymalizowanym pod kątem odczytu przy użyciu zadania danych pamięci masowej.

  Przechowywanie zestawów danych

Po dołączeniu danych możesz wykorzystać przechowywane zestawy danych na kilka sposobów.

• Tych zestawów danych można używać w aplikacji analitycznej.

• Możesz tworzyć transformacje.

• Możesz utworzyć data mart.

Dołącz dane

Rozpoczynasz dołączanie danych do projektu. Zestawy danych będą przechowywane w hurtowni danych w chmurze zdefiniowanym w projekcie. Więcej informacji na temat projektów zawiera temat Tworzenie projektu potoku danych.

1. W projekcie kliknij Utwórz, a następnie Dołącz dane.

   WskazówkaMożesz także kliknąć na istniejącym źródle w projekcie, a następnie kliknąć Dołącz dane.

2. DodajNazwę i Opis w celu dołączenia danych.

   Kliknij przycisk Dalej.

3. Wybierz połączenie źródłowe.

   Możesz wybrać istniejące połączenie ze źródłem lub utworzyć nowe połączenie ze źródłem.

   Więcej informacji zawiera temat Konfiguracja połączeń ze źródłami danych.

   Kliknij przycisk Dalej.

4. Wybierz dane do załadowania.

   Więcej informacji zawiera temat Wybieranie danych.

   Kliknij przycisk Dalej.

   Zostanie wyświetlony ekran Ustawienia, na którym można wybrać metodę aktualizacji i ustawienia historii.

5. Wybierz metodę aktualizacji danych w polu Metoda aktualizacji:

   • Przechwytywanie zmian danych (CDC)

     Jeśli dane zawierają również tabele, które nie obsługują CDC, lub widoki, zostaną utworzone dwa potoki danych. Jeden potok ze wszystkimi tabelami obsługującymi CDC i drugi potok ze wszystkimi innymi tabelami i widokami używającymi Przeładuj i porównaj.

   • Przeładowanie i porównanie

6. Wybierz, czy chcesz replikować historię poprzednich danych oprócz danych bieżących w Historii.

   Po zakończeniu kliknij Dalej.

7. Jeśli nie używasz bramy Data Movement gateway do uzyskiwania dostępu do źródła danych, w ustawieniach wyświetli się następująca sekcja:

   Planista replikacji

   • Replikuj dane co: Można zaplanować częstotliwość przechwytywania zmian ze źródła danych oraz ustawić Godzinę rozpoczęcia i Datę rozpoczęcia. Jeśli źródłowe zestawy danych obsługują przechwytywanie zmian danych (CDC), tylko zmiany w danych źródłowych zostaną zreplikowane i zastosowane w odpowiednich tabelach docelowych. Jeśli źródłowe zestawy danych nie obsługują CDC (na przykład widoki), zmiany zostaną zastosowane przez ponowne załadowanie wszystkich danych źródłowych do odpowiednich tabel docelowych. Jeśli niektóre źródłowe zestawy danych obsługują CDC, a inne nie, zostaną utworzone dwa osobne zadania podrzędne: jedno do przeładowania zestawów danych, które nie obsługują CDC, a drugie do przechwycenia zmian w zestawach danych, które obsługują CDC.

     Kreator konfiguracji dołączania umożliwia zaplanowanie interwału godzinowego. Po zakończeniu działania kreatora dołączania możesz zapoznać się z różnymi opcjami planowania, jak opisano to w temacie Ustawienia replikacji.

   Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

8. Przejrzyj zadania danych, które zostały utworzone w celu dołączenia danych, i zmień ich nazwę, jeśli chcesz.

   WskazówkaNazwy te są używane podczas nazywania schematów baz danych w zadaniu danych pamięci masowej. Rozważ użycie unikatowych nazw, aby uniknąć konfliktów z zadaniami danych w innych projektach wykorzystujących tę samą platformę danych.

9. Wybierz, czy chcesz otworzyć dowolne z utworzonych zadań danych, czy wrócić do projektu.

   Kiedy wszystko będzie gotowe, kliknij Zakończ.

Zadania dołączania danych zostały teraz utworzone. Aby rozpocząć replikację danych:

• Przygotuj i uruchom zadanie umieszczania danych.

  Aby uzyskać więcej informacji, zobacz temat Umieszczanie danych ze źródeł danych.

• Przygotuj i uruchom zadanie pamięci masowej danych.

  Więcej informacji zawiera temat Przechowywanie zestawów danych.

Wybieranie danych

Możesz wybrać określone tabele lub widok, lub użyć reguł wyboru w celu uwzględnienia lub wykluczenia grup tabel.

Użyj % jako symbolu wieloznacznego, aby określić kryteria wyboru schematów i tabel.

• %.% określa wszystkie tabele we wszystkich schematach.

• Public.% definiuje wszystkie tabele w schemacie Publiczny.

Kryteria wyboru dają podgląd na podstawie Twoich wyborów.

Możesz teraz:

• Utwórz regułę, aby włączyć lub wykluczyć grupę tabel na podstawie kryteriów wyboru.

  Kliknij przycisk Dodaj regułę spośród kryteriów wyboru, aby utworzyć regułę, a następnie wybierz opcjęUwzględnij lub Wyklucz.

  Regułę można zobaczyć w sekcji Reguły selekcji.

• Zaznacz jeden lub więcej zestawów danych, a następnie kliknij Dodaj wybrane zestawy danych.

  Dodane zestawy danych możesz zobaczyć w sekcji Jawnie wybrane zestawy danych.

Reguły wyboru dotyczą tylko aktualnego zestawu tabel i widoków, a nie tabel i widoków dodanych w przyszłości.