Umieszczanie danych ze źródeł danych

Pierwszym krokiem w przesyłaniu danych podczas dodawania jest ich umieszczenie. Obejmuje to ciągłe przesyłanie danych z lokalnego źródła danych do obszaru umieszczania.

Dane można umieszczać z wielu źródeł danych za pomocą połączeń źródła.

Obszar umieszczania definiuje się podczas tworzenia projektu.

• Qlik Cloud (za pośrednictwem Amazon S3)

  Gdy umieszczasz dane w Qlik Cloud (za pośrednictwem Amazon S3), możesz ich użyć do wygenerowania tabel QVD gotowych do analizy w Qlik Cloud.

• Hurtownia danych w chmurze

  Gdy przenosisz dane do hurtowni danych w chmurze, takiej jak Snowflake lub Azure Synapse Analytics, możesz przechowywać tabele w tej samej hurtowni danych w chmurze.

Tworzenie i konfiguracja zadania umieszczania danych

W tym temacie opisano, jak utworzyć zadanie umieszczania danych. Najszybszym sposobem na stworzenie potoku danych jest dołączanie danych, które tworzą zadanie umieszczania danych i zadanie pamięci masowej danych, gotowe do przygotowania i uruchomienia. Więcej informacji zawiera temat Dołączanie danych.

1. Kliknij Dodaj nowy w projekcie i wybierz Umieść dane.

2. W oknie dialogowym Dane umieszczania wprowadź nazwę i opis zadania danych.

   Wybierz Otwórz, aby otworzyć zadanie umieszczania danych po jego utworzeniu.

   Kliknij polecenie Utwórz.

3. Kliknij Wybierz dane źródłowe.

4. Wybierz połączenie z danymi źródłowymi i kliknij Dalej.

   Możesz użyć filtrów w lewym panelu, aby przefiltrować listę połączeń według typu źródła, przestrzeni i właściciela.

   Jeśli nie masz jeszcze połączenia z danymi źródłowymi, musisz je najpierw utworzyć, klikając Dodaj połączenie.

   Aby uzyskać więcej informacji na temat konfigurowania połączenia z obsługiwanymi źródłami, zobacz Konfiguracja połączeń ze źródłami danych.

   InformacjaPo wybraniu tabel w następnym kroku nie jest możliwa zmiana połączenia ze źródłem z lokalnego źródła danych na źródło danych w chmurze lub odwrotnie. Możesz zmienić połączenie tylko na inne źródło danych tego samego typu.

5. Wybierz zestawy danych, które chcesz uwzględnić w zadaniu danych. Okno dialogowe wyboru różni się w zależności od typu źródła, z którym nastąpiło połączenie.

   Po wybraniu tabel kliknij Zapisz.

   Zostanie wyświetlony ekran Zestawy danych.

6. Możesz zmienić ustawienia dotyczące umieszczania. Nie jest to wymagane.

   • Kliknij opcję Ustawienia.

   Więcej informacji na temat ustawień, patrz Ustawienia umieszczania.

7. Możesz teraz wyświetlać podgląd struktury i metadanych wybranych tabel zasobów danych. Dotyczy to wszystkich jawnie wybranych tabel oraz tabel pasujących do reguł wyboru.

   Jeśli chcesz dodać więcej tabel ze źródła danych, kliknij Wybierz źródło danych.

8. Możesz wykonywać transformacje na zestawach danych, filtrować dane lub dodawać kolumny. Nie jest to wymagane.

   Więcej informacji zawiera temat Zarządzanie zestawami danych.

9. Po dodaniu odpowiednich transformacji możesz zatwierdzić zestawy danych, klikając Zatwierdź zestawy danych. Jeśli walidacja wykaże błędy, należy je naprawić przed kontynuacją.

   Aby uzyskać więcej informacji, zobacz temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

10. Kiedy wszystko będzie gotowe, kliknij Przygotuj, aby skatalogować zadanie danych i przygotować je do wykonania.

    Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

11. Gdy zadanie danych zostanie przygotowane i zechcesz rozpocząć replikację danych, kliknij Uruchom.

Replikacja powinna się teraz rozpocząć, a jej przebieg możesz zobaczyć w menu Monitoruj. Więcej informacji zawiera temat Monitorowanie indywidualnego zadania danych.

Selekcja danych z bazy danych

Możesz wybrać określone tabele lub widok, lub użyć reguł wyboru w celu uwzględnienia lub wykluczenia grup tabel.

Użyj % jako symbolu wieloznacznego, aby określić kryteria wyboru schematów i tabel.

• %.% określa wszystkie tabele we wszystkich schematach.

• Public.% definiuje wszystkie tabele w schemacie Publiczny.

Kryteria wyboru dają podgląd na podstawie Twoich wyborów.

Możesz teraz:

• Utwórz regułę, aby włączyć lub wykluczyć grupę tabel na podstawie kryteriów wyboru.

  Kliknij przycisk Dodaj regułę spośród kryteriów wyboru, aby utworzyć regułę, a następnie wybierz opcjęUwzględnij lub Wyklucz.

  Regułę można zobaczyć w sekcji Reguły selekcji.

• Zaznacz jeden lub więcej zestawów danych, a następnie kliknij Dodaj wybrane zestawy danych.

  Dodane zestawy danych możesz zobaczyć w sekcji Jawnie wybrane zestawy danych.

Reguły wyboru dotyczą tylko aktualnego zestawu tabel i widoków, a nie tabel i widoków dodanych w przyszłości.

Uruchamianie zadania umieszczania z funkcją Przechwytywanie danych zmian (CDC)

Możesz uruchomić zadanie umieszczania danych, gdy zostanie przygotowane. Spowoduje to uruchomienie replikacji, która przesyła dane z lokalnego źródła danych do obszaru umieszczania.

• Kliknij Uruchom, aby rozpocząć umieszczanie danych.

Replikacja powinna się teraz rozpocząć, a zadanie danych będzie mieć status Uruchomione. Najpierw kopiowane jest pełne źródło danych, a następnie śledzone są zmiany. Oznacza to, że zmiany są stale śledzone i przesyłane po wykryciu. Dzięki temu dane do umieszczania w obszarze umieszczania są aktualne.

Na stronie głównej Qlik Talend Data Integration możesz zobaczyć status, datę i godzinę aktualizacji danych do umieszczania oraz liczbę tabel z błędami. Możesz również otworzyć zadanie danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Możesz szczegółowo monitorować postęp, otwierając kartę Monitoruj. Więcej informacji zawiera temat Monitorowanie indywidualnego zadania danych.

Kiedy wszystkie tabele są załadowane, a pierwszy zestaw zmian przetworzony, pozycja Dane są zaktualizowane do na karcie zadania danych pokazuje, że w zadaniu danych są dostępne zmiany źródła do tego czasu.

Ładowanie tabel

Dane ze źródła można przeładować.

Przeładowywanie tabel

Można przeładować określone tabele ręcznie, bez zakłócania przechwytywania danych zmian. Jest to przydatne, gdy występują problemy CDC z jedną lub większą liczbą tabel.

1. Otwórz zadanie umieszczania danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

3. Kliknij przycisk Przeładuj tabele.

Jeśli nie możesz rozwiązać problemów przez przeładowanie tabel lub jeśli mają one wpływ na całe zadanie, możesz zamiast tego przeładować wszystkie tabele do miejsca docelowego. Spowoduje to ponowne uruchomienie przechwytywania danych zmian.

Przeładowywanie wszystkich tabel do miejsca docelowego

Możesz przeładować wszystkie tabele do miejsca docelowego, jeśli wystąpią problemy z CDC, których nie można rozwiązać przez przeładowanie określonych tabel. Przykładami problemów są brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub awaria podczas odczytu zdarzeń źródłowej bazy danych.

1. Zatrzymaj zadanie danych i wszystkie zadania, które go używają.

2. Otwórz zadanie danych i wybierz kartę Monitoruj.

3. Kliknij ..., a następnie Przeładuj miejsce docelowe.

Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.

• Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.

  Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.

• Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:

  • Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,

  • Dla każdej tabeli zostanie wykonany jeden cykl zmian.

Uruchamianie zadania umieszczania danych z Przeładowaniem i porównaniem

Możesz kopiować dane, używając zadania umieszczania danych, kiedy zostanie przygotowane.

• Kliknij polecenie Uruchom, aby rozpocząć pełne ładowanie.

Rozpocznie się teraz kopiowanie danych, a zadanie danych będzie miało status Uruchomiono. Kiedy skopiowane zostanie pełne źródło danych, status zmieni się na Zakończone.

Na stronie głównej Qlik Talend Data Integration możesz zobaczyć status, datę i godzinę aktualizacji danych do umieszczania oraz liczbę tabel z błędami. Możesz również otworzyć zadanie danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Możesz szczegółowo monitorować postęp, otwierając kartę Monitoruj. Więcej informacji zawiera temat Monitorowanie indywidualnego zadania danych.

Kiedy wszystkie tabele są załadowane, pozycja Dane są zaktualizowane do na karcie zadania danych pokazuje, że w zasobie danych są dostępne zmiany źródła do tego czasu. Niektóre tabele zadania danych mogą jednak zostać zaktualizowane do późniejszego czasu, w zależności od tego, kiedy rozpoczęło się ładowanie. Oznacza to, że nie można zagwarantować spójności danych. Jeżeli na przykład ładowanie rozpoczęło się o godzinie 8:00 i trwało 4 godziny, pozycja Dane są aktualizowane do będzie po zakończeniu ładowania wskazywać godzinę 8:00. Tabela, której ładowanie rozpoczęło się o 11:30, będzie jednak zawierać zmiany ze źródła, które nastąpiły między 8:00 a 11:30.

Wartość Dane są zaktualizowane do odzwierciedla tylko tabele, które zostały pomyślnie załadowane. Nie wskazuje ona nic, co oznaczałoby niepowodzenie ładowania tabeli. W miejscach docelowych w chmurze pole będzie puste, jeśli ładowanie zakończy się błędem w przypadku wszystkich tabel.

Przeładowanie danych podczas korzystania z funkcji Przeładuj i porównaj

Gdy używasz metody aktualizacji Przeładuj i porównaj, musisz przeładować dane, aby były aktualne względem źródła danych.

• Kliknij Przeładuj, aby wykonać ręczne przeładowanie wszystkich tabel.

• Skonfiguruj zaplanowane ładowanie.

Przeładowywanie tabel

Możesz przeładować określone tabele ręcznie. Jest to przydatne, gdy występują problemy z jedną lub większą liczbą tabel.

1. Otwórz zadanie umieszczania danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

3. Kliknij przycisk Przeładuj tabele.

Planowanie zadania umieszczania danych z Przeładowaniem i porównaniem

Możesz zaplanować okresowe przeładowanie zadania umieszczania danych, jeśli masz rolę Może operować w przestrzeni tego zadania danych. Aby harmonogram był aktywny, zadanie danych musi mieć status co najmniej Przygotowane.

• Kliknij ... na zadaniu danych i wybierz Planowanie.

  Możesz ustawić harmonogram oparty na czasie.

  Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

Ustawianie priorytetu ładowania dla zestawów danych

Kolejność ładowania zestawów danych w zadaniu danych można kontrolować, przypisując każdemu z nich priorytet ładowania. Może się to przydać na przykład do ładowania mniejszych zestawów danych przed dużymi.

1. Kliknij Priorytet ładowania.

2. Wybierz priorytet ładowania dla każdego zestawu danych.

   Domyślny priorytet ładowania to Normalny. Zestawy danych będą ładowane w następującej kolejności priorytetów:

   • Najwyższy

   • Wyższy

   • Wysoka

   • Normalny

   • Niska

   • Niższy

   • Najniższy

   Zestawy danych z tym samym priorytetem będą ładowane w kolejności dowolnej.

3. Kliknij przycisk OK.

Operacje na zadaniu danych do umieszczania

Z menu zasobów można wykonać następujące operacje na zasobie danych do umieszczania.

• Otwórz

  Powoduje otwarcie zadania umieszczania danych. Możesz wyświetlić strukturę tabeli i szczegóły dotyczące zadania danych.

• Edytuj

  Umożliwia edycję nazwy i opisu zadania.

• Usuń

  Możesz usunąć zadanie danych.

  Następujące obiekty nie są usuwane i należy je usunąć ręcznie:

  • Dane w obszarze umieszczania.

• Uruchom

  Możesz uruchomić zadanie danych, aby rozpocząć kopiowanie danych.

  Uruchamianie zadania umieszczania z funkcją Przechwytywanie danych zmian (CDC)

  Uruchamianie zadania umieszczania danych z Przeładowaniem i porównaniem

• Zatrzymaj

  Możesz zatrzymać działanie zadania danych. Obszar umieszczania nie zostanie zaktualizowany o zmienione dane.

  Kiedy zatrzymasz zadanie danych wykonujące pełne ładowanie i mające harmonogram przeładowania, zatrzymane zostanie tylko bieżące przeładowanie. Jeśli zadanie danych będzie mieć status Zatrzymano, a istnieje aktywny harmonogram przeładowania, zostanie ono ponownie załadowane następnym razem według harmonogramu. Musisz wyłączyć harmonogram ładowania w Zaplanuj przeładowanie.

• Przeładuj

  Ręczne przeładowanie zadania danych można wykonać w trybie aktualizacji Przeładuj i porównaj.

• Przygotuj

  Przygotowuje to zadanie do wykonania. Obejmuje to następujące czynności:

  • Weryfikację poprawności projektu.

  • Tworzenie lub modyfikowanie fizycznych tabel i widoków w celu dopasowania do projektu.

  • Generowanie kodu SQL dla zadania danych.

  • Tworzenie lub modyfikowanie pozycji katalogu dla wyjściowych zestawów danych zadania.

  Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

• Odtwarzanie tabel

  Odtwarza zbiory danych ze źródła.

• Planowanie

  Zaplanowane ładowanie zadań umieszczania danych można skonfigurować w trybie Pełne ładowanie. Możesz ustawić harmonogram oparty na czasie, który można dostosować.

  Możesz także włączyć lub wyłączyć zaplanowane ładowania.

  Do planowania przeładowania wymagana jest rola Może operować w odniesieniu do przestrzeni tego zadania danych.

• Przechowaj dane

  Możesz utworzyć zadanie przechowywania danych, które wykorzystuje dane z tego zadania umieszczania danych.

Odświeżanie metadanych

Możesz odświeżyć metadane w zadaniu, aby dostosować je do zmian w metadanych źródła w widoku Projekt zadania. W przypadku aplikacji SaaS korzystających z narzędzia Metadata manager należy odświeżyć Metadata manager, zanim będzie można odświeżyć metadane w zadaniu danych.

1. Możesz wybrać jedną z opcji:

   • Kliknij ..., a następnie Odśwież metadane, aby odświeżyć metadane dla wszystkich zestawów danych w zadaniu.

   • Kliknij ... na zestawie danych w obszarze Zestawy danych, a następnie Odśwież metadane, aby odświeżyć metadane dla pojedynczego zestawu danych.

   Stan odświeżania metadanych można sprawdzić w obszarze Odśwież metadane w dolnej części ekranu. Datę ostatniego odświeżenia metadanych można zobaczyć, wskazując kursorem .

2. Przygotuj zadanie danych, aby zastosować zmiany

   Po przygotowaniu zadania danych i zastosowaniu zmian zmiany zostaną usunięte z Odśwież metadane.

Należy przygotować zadania pamięci masowej, które wykorzystują to zadanie, aby propagować zmiany.

Jeśli kolumna zostanie usunięta, dodana zostanie transformacja z wartościami Null, aby zapewnić, że pamięć nie utraci danych historycznych.

Ograniczenia

• Zmiana nazwy wcześniej usuniętej kolumny w tym samym przedziale czasowym zostanie zinterpretowana jako zmiana nazwy usuniętej kolumny, jeśli mają one ten sam typ i długość danych.

  Przykład:  

  Przed: a b c d

  Po: a c1 d

  W tym przykładzie usunięto b i zmieniono nazwę c na c1, a b i c mają ten sam typ i długość danych.

  Zostanie to zidentyfikowane jako zmiana nazwy b na c1 i usunięcie c.

• Zmiana nazwy ostatniej kolumny nie jest rozpoznawana, nawet jeśli ostatnia kolumna została usunięta, a nazwa poprzedniej kolumny została zmieniona.

  Przykład:  

  Przed: a b c d

  Po: a b c1

  W tym przykładzie usunięto d, a nazwę c zmieniono na c1.

  Zostanie to zidentyfikowane jako usunięcie c i d oraz dodanie c1.

• Zakłada się, że nowe kolumny będą dodawane na końcu. Jeśli w środku zostaną dodane kolumny z tym samym typem danych co w następnej kolumnie, może to zostać zinterpretowane jako usunięcie i zmiana nazwy.

Usuwanie kolumn

Jeśli usuniesz kolumnę, która jest używana przez zadanie przechowywania danych z włączoną historią, musisz wykonać te kroki, aby zachować historię i uniknąć potencjalnej straty danych.

1. Zatrzymaj zadanie umieszczania danych.

2. Uruchom zadanie przechowywania danych, aby wszystkie dane do umieszczenia zostały wczytane.

3. Usuń kolumnę w umieszczaniu.

4. Uruchom zadanie umieszczania danych.

5. W magazynie danych dodaj kolumnę z domyślnym wyrażeniem (Null lub wartość domyślna) lub usuń kolumnę.

Utrzymanie obszaru umieszczania

Automatyczne czyszczenie obszaru umieszczania nie jest obsługiwane. Może to wpłynąć negatywnie na wydajność.
Zalecamy ręczne czyszczenie starych danych pełnego załadowania w obszarze umieszczania.

• Qlik Cloud (za pośrednictwem Amazon S3)

  Jeśli istnieje kilka folderów z danymi pełnego załadowania, możesz usunąć wszystkie oprócz najnowszego folderu. Możesz także usunąć partycje danych zmiany, które zostały przetworzone.

• Hurtownia danych w chmurze

  Możesz usunąć rekordy pełnego ładowania i tabel zmian, które zostały przetworzone.

Rekomendacje

• Jeśli można zaktualizować klucz podstawowy w tabeli źródłowej, włącz opcję Używaj instrukcji DELETE i INSERT podczas aktualizacji kolumny klucza głównego w obszarze Dostrajanie przetwarzania zmian.

Ograniczenia

• Replikacja danych varchar dłuższych niż 8000 bajtów lub Nvarchar dłuższych niż 4000 bajtów nie jest obsługiwana.

• Zmiana dopuszczalności wartości null nie jest obsługiwana w przypadku kolumn przenoszonych, niezależnie od tego, czy są zmieniane bezpośrednio, czy też za pomocą reguły transformacji. W przypadku nowych kolumn utworzonych w zadaniu wartości null są jednak dopuszczalne domyślnie.

Transformacje podlegają następującym ograniczeniom:

• Transformacje nie są obsługiwane w przypadku kolumn z tekstem w językach od prawej do lewej.

• Nie można wykonywać transformacji na kolumnach, które mają w nazwie znaki specjalne (np. #, \, /, -).

• Jedyną obsługiwaną transformacją dla typów danych LOB/CLOB jest usunięcie kolumny w miejscu docelowym.
• Nie jest obsługiwane używanie transformacji polegającej na zmianie nazwy kolumny i dodaniu nowej kolumny o tej samej nazwie.