Monitorowanie indywidualnego zadania danych
Status i postęp zadań związanych z danymi można monitorować, wybierając pozycję Monitoruj z menu rozwijanego w lewym górnym rogu okna zadania dotyczącego danych.
Można także tworzyć widoki monitorowania w celu monitorowania kilku zadań danych. Więcej informacji zawiera temat Monitorowanie zadań danych i operowanie nimi.
Monitorowanie zadań umieszczania i replikacji
Monitorowanie zadań umieszczania i replikacji jest podobne, ponieważ można monitorować zarówno początkowe umieszczanie, jak i CDC, ale istnieją pewne zauważalne różnice wynikające z kontrastujących zastosowań.
-
Zastosowanie potoku danych: zadania umieszczania
Wszystkie zadania umieszczania muszą rozpoczynać się od pełnego załadowania danych źródłowych do celu. Po zakończeniu początkowego pełnego ładowania dane docelowe są aktualizowane o zmiany w danych źródłowych. Można to zrobić za pomocą funkcji Przeładuj i porównaj lub Przechwytywanie danych zmian (CDC), zgodnie z definicją zadania.
Więcej informacji o zadaniach umieszczania zawiera temat Umieszczanie danych ze źródeł danych.
-
Zastosowanie replikacji: zadania „Replikacja danych”.
Zadania „Replikacja danych” zwykle rozpoczynają się od pełnego załadowania danych źródłowych do miejsca docelowego. Jest to wymagane w przypadku replikacji z aplikacji SaaS, ale opcjonalne w przypadku replikacji z baz danych. Jeśli podczas replikacji z baz danych dane źródłowe już istnieją w miejscu docelowym, a chcesz jedynie zastosować zmiany ze źródła w obiekcie docelowym (lub zapisać je do późniejszego zastosowania), replikacja może mieć tryb Zastosuj zmiany, Zapisz zmiany lub oba te tryby. Oba te tryby replikacji są pokazane w monitorowaniu CDC.
Więcej informacji na temat zadań „Replikowanie danych” zawierają następujące tematy:
Replikowanie danych w ramach subskrypcji Standard, Premium lub Enterprise
Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter
-
Zastosowanie replikacji: zadania „Umieszczanie danych w jeziorze danych”.
Zadania „Umieszczanie danych w jeziorze danych” są podobne do zadań umieszczania, ponieważ muszą rozpoczynać się od pełnego ładowania. Po zakończeniu początkowego pełnego ładowania dane docelowe są aktualizowane o zmiany w danych źródłowych. Można to zrobić za pomocą opcji Przeładuj lub Przechwytywanie zmian danych (CDC). Pomimo podobieństwa do zadań umieszczania zadania „Umieszczanie danych w jeziorze danych” są uważane za zadania replikacji, ponieważ składają się wyłącznie z replikacji ze źródła do celu. Nie oferują możliwości dalszego manipulowania danymi (na przykład przy użyciu transformacji i data martów), co jest dostępne w potoku danych.
InformacjaCzynności tworzenia osobnego zadania „Umieszczanie danych w jeziorze danych” nie mają zastosowania w przypadku subskrypcji Qlik Talend Cloud Starter. W przypadku subskrypcji Qlik Talend Cloud Starter replikacja do docelowych miejsc przechowywania w chmurze odbywa się za pomocą standardowego zadania „Replikowanie danych”.Więcej informacji na temat zadań „Umieszczanie danych w jeziorze danych”, zobacz Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise.
Szczegóły monitorowania
Na karcie Stan pełnego ładowania możesz zobaczyć następujące szczegóły dotyczące zadania danych:
-
W kolejce – liczba tabel oczekujących w kolejce.
-
Ładowanie – liczba aktualnie ładowanych tabel.
-
Zakończone – liczba ukończonych tabel.
-
Błąd – liczba tabel, w których wystąpił błąd.
W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:
-
Nazwa
Nazwa docelowej tabeli.
-
Stan
Stan tabeli będzie następujący: W kolejce, Ładowanie, Zakończono lub Błąd.
-
Rozpoczęto
Czas rozpoczęcia ładowania.
-
Zakończono
Czas zakończenia ładowania.
-
Czas trwania
Czas trwania ładowania w formacie hh:mm:ss.
-
Rekordy
Liczba rekordów, które zostały zreplikowane podczas ładowania.
-
Zbuforowane zmiany
Liczba buforowanych zmian.
-
Komunikat
Wyświetla komunikat o błędzie w razie niepowodzenia przetwarzania ładowania.
Szczegóły monitorowania przy użyciu funkcji Przechwytywanie zmian danych (CDC)
Możesz zobaczyć następujące szczegóły CDC dla zadania danych, aby monitorować przetwarzanie zmian na karcie Status CDC:
-
Zmiany przychodzące– liczba zmian obecnych w źródle i oczekujących na przetworzenie. Możesz zobaczyć, ile jest ich zgromadzonych i ile jest stosowanych.
-
Zmiany przetworzone– liczba zmian, które zostały przetworzone i zastosowane (w ciągu ostatnich 24 godzin).
-
Przepustowość– średnia docelowa przepustowość w kilobajtach/sekundę. Określa, jak szybko rekordy zmian są ładowane do docelowego punktu końcowego.
-
Opóźnienie– bieżące opóźnienie zasobu danych (hh:mm:ss). Ten czas trwania oznacza okres od momentu, w którym zmiana jest dostępna w źródle, do momentu, w którym zmiana jest zastosowana i dostępna w zasobie docelowym lub zasobie danych umieszczania.
W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:
-
Nazwa
Nazwa tabeli docelowej w zasobie umieszczania.
-
Stan
Stan tabeli będzie następujący: Akumulowanie zmian lub Błąd.
-
Ostatnio przetworzone
Data i czas, kiedy dokonano ostatnich zmian w tabeli.
-
Wstawienia
Liczba operacji wstawiania.
-
Aktualizacje
Liczba operacji aktualizowania.
InformacjaAktualizacje są obsługiwane jako wstawienia dla źródeł aplikacji SaaS. -
Usunięcia
Liczba operacji usuwania.
-
Operacje DDL
Liczba operacji DDL.
InformacjaDostępne tylko dla zadań „Replikowanie danych”. -
Komunikat
Wyświetla komunikat o błędzie, jeśli zmiany w tabeli nie powiodły się i nie zostały przetworzone.
Jeśli umieszczasz dane ze źródła lokalnego i został wybrany tryb Pełne ładowanie, tabele zostaną automatycznie przeładowane, gdy status zasobu umieszczania będzie Uruchomiony.
Jeśli umieszczasz dane ze źródła lokalnego i został wybrany tryb Pełne ładowanie, tabele będą stale aktualizowane o nowe dane po początkowym pełnym ładowaniu.
Przeładowywanie wybranych tabel
Wybrane tabele ze źródła można przeładowywać ręcznie. Przydaje się to, gdy chcesz odzyskać pojedyncze tabele z błędem. Przeładowywanie tabel nie będzie miało wpływu na czas CDC, który zostanie zresetowany w przypadku użycia opcji Odtwórz tabele. Podczas przeładowywania tabel zmiany metadanych nie są propagowane.
-
Aby ponownie załadować wybrane tabele, wybierz tabele w dolnej połowie karty Monitoruj i kliknij Przeładuj tabele.
Potrzebne są te same uprawnienia, które są wymagane do uruchomienia zadania danych, czyli rola Właściciel lub Może operować.
Przeładowanie tabel jest dostępne po pierwszym uruchomieniu zadania danych. Jeśli metodą aktualizacji jest Przeładowanie i porównanie, opcja Przeładuj tabele nie jest dostępna, gdy uruchomione jest zadanie danych.
Zależne zadania pamięci masowej danych zostaną zsynchronizowane przy następnym uruchomieniu. Jeśli w zadaniu pamięci masowej jest włączona historia, zostanie ona zachowana.
Jeśli odzyskanie danych przez przeładowanie tabel nie jest możliwe, następnym krokiem jest naprawa zadania danych.
Przeładowywanie wszystkich tabel do miejsca docelowego
Możesz przeładować wszystkie tabele do miejsca docelowego, jeśli wystąpią problemy z CDC, których nie można rozwiązać przez przeładowanie określonych tabel. Przykładami problemów są brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub awaria podczas odczytu zdarzeń źródłowej bazy danych.
- Zatrzymaj zadanie danych i wszystkie zadania, które go używają.
-
Otwórz zadanie danych i wybierz kartę Monitoruj.
-
Kliknij ..., a następnie Przeładuj miejsce docelowe.
Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.
-
Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.
Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.
-
Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:
-
Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,
-
Dla każdej tabeli zostanie wykonany jeden cykl zmian.
-
Monitorowanie zadań przechowywania, transformacji i data martów
Można monitorować status i postęp zadań Pamięć masowa, Transformacja lub Data mart.
-
Podczas pierwszego ładowania Stan pełnego ładowania przedstawia postęp operacji.
-
W trakcie przetwarzania zmian możesz również wyświetlić status i postępy bieżącej partii zmian.
-
Po przetworzeniu zmian możesz również wyświetlić status i postępy Ostatniej partii zmian.
W dolnej połowie Monitora możesz zobaczyć status i postęp dla każdego zestawu danych.
Możesz także przeglądać szczegółowe informacje na poziomie instrukcji SQL.
Wyświetlanie statusu i postępu
W przypadku każdego zestawu danych lub zmiany można wyświetlić następujące szczegóły:
-
Stan
Pokazuje aktualny stan zestawu danych lub zmiany.
-
Zakończono — ładowanie lub zmiana zakończyły się pomyślnie.
-
Ładowanie — trwa przetwarzanie tabeli lub zmiany.
-
W kolejce — tabela lub zmiana czeka na przetworzenie
-
Błąd — podczas przetwarzania tabeli lub zmiany wystąpił błąd.
-
-
Rozpoczęto
Czas rozpoczęcia ładowania lub przetwarzania zmian.
-
Zakończono
Czas zakończenia ładowania lub przetwarzania zmian.
-
Czas trwania
Czas trwania ładowania lub przetwarzania zmian w formacie gg:mm:ss.
-
Przetworzone rekordy
Liczba rekordów przetworzonych w ramach ładowania lub zmiany.
-
Przepustowość (rekordy/sekundę)
Przepustowość jest aktualizowana dopiero po zakończeniu ładowania.
-
Komunikat
Wyświetla komunikat o błędzie w razie niepowodzenia ładowania lub zmiany.
Zestawy danych będą ciągle aktualizowane nowymi danymi w miarę aktualizowania obszaru umieszczania przez zadanie replikacji. Każda partia dotyczy rekordów z określonego przedziału czasu. Przedział czasu ostatniej partii możesz zobaczyć w Ostatniej partii zmian.
Dane ze wszystkich transakcji źródłowych do czasu pokazywanego w Zadanie dotyczące danych jest zaktualizowane do są dostępne do użycia z tego zadania danych. Te informacje są dostępne dla zadania danych po załadowaniu wszystkich tabel i zastosowaniu pierwszego zestawu zmian. Po wybraniu generowania widoków na żywo możesz również wyświetlać, kiedy widoki na żywo są aktualizowane.
Jeśli istnieje partia zmian przed zakończeniem wstępnego ładowania, ustawienie Zadanie dotyczące danych jest zaktualizowane do zostanie zaktualizowane dopiero po zakończeniu wstępnego ładowania i zastosowaniu pierwszej partii zmian. Załóżmy na przykład, że ładujesz zasób danych, który zawiera zestaw danych zamówień zawierający 1 milion zamówień oraz zestaw danych szczegółów zamówień zawierający 10 milionów szczegółów zamówień. Pełne ładowanie zestawów danych zajmuje odpowiednio 10 i 20 minut. Najpierw jest ładowany zestaw danych zamówień, a następnie zestaw danych szczegółów zamówień. Podczas ładowania zestawu danych zamówień wstawiono nowe zamówienie. W związku z tym załadowane szczegóły zamówień mogą zawierać szczegóły nowego zamówienia, które jeszcze nie istnieje w zestawie danych zamówień. Zestawy danych zamówień i szczegółów zamówień będą zsynchronizowane oraz w pełni zaktualizowane do tego samego punktu w czasie dopiero po zastosowaniu pierwszej partii zmian.
Wyświetlanie szczegółowych informacji
Możesz przeglądać szczegółowe informacje na poziomie instrukcji SQL.
-
Wybierz Pełne ładowanie, Bieżąca partia zmian lub Ostatnia partia zmian z listy rozwijanej w dolnej części Monitorowania.
-
Wybierz zestawy danych do szczegółowego monitorowania.
-
Kliknij Szczegóły monitora.
Wyświetlane są Szczegóły monitora i można przeglądać polecenia wykonywane na każdym kroku procesu ładowania lub zmiany. Możesz kliknąć polecenie, aby wyświetlić pełne instrukcje SQL, które zostały wykonane.
-
Kliknij Eksportuj do CSV, aby wyeksportować plik tekstowy z pełnymi instrukcjami SQL dla wszystkich wymienionych poleceń.
Zadanie dotyczące danych jest zaktualizowane do dla widoków
Pole Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok.
-
Widoki standardowe
Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok standardowy.
Załóżmy na przykład, że zadanie ma dwie tabele: Orders i Order details. Tabela Orders jest zaktualizowana do 10:01, z rekordami z 10:00 i 10:01, a tabela Order details ma rekordy tylko od 10:00. W tym przypadku zadanie danych jest aktualizowane do 10:00. Nie należy tego mylić z czasem rozpoczęcia i zakończenia ładowania zadania danych, który może obejmować od 10:02 do 10:03.
-
Widoki na żywo (zadania pamięci masowej danych)
Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok na żywo.
Na przykład załóżmy, że zadanie zawiera tabelę Orders. Tabela Orders w lokalizacji umieszczania jest zaktualizowana do 10:01, z rekordami z 10:00 i 10:01, ale tabela Orders w pamięci masowej jest zaktualizowana tylko do rekordów z 10:00. W tym przypadku widoki na żywo tabeli Orders są zaktualizowane do godziny 10:01, a widoki standardowe do godziny 10:00.