Monitorowanie indywidualnego zadania danych
Status i postęp zadań związanych z danymi można monitorować, wybierając pozycję Monitoruj z menu rozwijanego w lewym górnym rogu okna zadania dotyczącego danych.
Można także tworzyć widoki monitorowania w celu monitorowania kilku zadań danych. Więcej informacji zawiera temat Monitorowanie zadań danych i operowanie nimi.
Monitorowanie zadań ruchu danych
Dostępne opcje monitorowania zależą zarówno od typu zadania, jak i typu łącznika. Ponieważ niektóre łączniki nie obsługują CDC (na przykład Epicor), opcje monitorowania istotne dla CDC nie będą wyświetlane dla tych łączników. Ponieważ niektóre łączniki nie obsługują pełnego ładowania (na przykład łączniki podglądu), opcje monitorowania istotne dla pełnego ładowania nie będą wyświetlane dla tych łączników.
Zastosowanie potoku danych: zadania umieszczania
Wszystkie zadania umieszczania muszą rozpoczynać się od pełnego załadowania danych źródłowych do celu. Po zakończeniu początkowego pełnego ładowania dane docelowe są aktualizowane o zmiany w danych źródłowych. Można to zrobić za pomocą funkcji Przeładuj i porównaj lub Przechwytywanie danych zmian (CDC), zgodnie z definicją zadania.
Więcej informacji o zadaniach umieszczania zawiera temat Umieszczanie danych ze źródeł danych.
Zastosowanie replikacji: zadania „Replikacja danych”.
Zadania „Replikacja danych” zwykle rozpoczynają się od pełnego załadowania danych źródłowych do miejsca docelowego. Poniższa tabela zawiera zestawienie przypadków użycia pełnego ładowania.
| Zastosowanie | Pełne ładowanie |
|---|---|
| Replikacja z aplikacji SaaS dostępnych za pośrednictwem łączników Lite | Wymagane |
| Replikacja z aplikacji SaaS dostępnych za pośrednictwem łączników podglądu | Nie dotyczy, ponieważ łączniki podglądu nie obsługują pełnego ładowania. |
| Replikacja z baz danych | Opcjonalne |
Jeśli podczas replikacji z baz danych dane źródłowe już istnieją w miejscu docelowym, a chcesz jedynie zastosować zmiany ze źródła w obiekcie docelowym (lub zapisać je do późniejszego zastosowania), replikacja może mieć tryb Zastosuj zmiany, Zapisz zmiany lub oba te tryby. Oba te tryby replikacji są pokazane w monitorowaniu CDC.
Więcej informacji na temat zadań „Replikowanie danych” zawierają następujące tematy:
Replikowanie danych w ramach subskrypcji Standard, Premium lub Enterprise
Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter
Zastosowanie replikacji: zadania „Umieszczanie danych w jeziorze danych”.
Zadania „Umieszczanie danych w jeziorze danych” są podobne do zadań umieszczania, ponieważ muszą rozpoczynać się od pełnego ładowania. Po zakończeniu początkowego pełnego ładowania dane docelowe są aktualizowane o zmiany w danych źródłowych. Można to zrobić za pomocą opcji Przeładuj lub Przechwytywanie zmian danych (CDC). Pomimo podobieństwa do zadań umieszczania zadania „Umieszczanie danych w jeziorze danych” są uważane za zadania replikacji, ponieważ składają się wyłącznie z replikacji ze źródła do celu. Nie oferują możliwości dalszego manipulowania danymi (na przykład przy użyciu transformacji i data martów), co jest dostępne w potoku danych.
Więcej informacji na temat zadań „Umieszczanie danych w jeziorze danych”, zobacz Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise.
Szczegóły monitorowania
Szczegóły monitorowania pełnego ładowania
, zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.Na karcie Stan pełnego ładowania możesz zobaczyć następujące szczegóły dotyczące zadania danych:
-
W kolejce
Liczba tabel oczekujących w kolejce.
-
Ładowanie
Liczba aktualnie ładowanych tabel.
-
Zakończono
Liczba ukończonych tabel.
-
Błąd
Liczba tabel z błędami.
W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:
-
Nazwa
Nazwa docelowej tabeli.
-
Stan
Stan tabeli będzie następujący: W kolejce, Ładowanie, Zakończono lub Błąd.
-
Rozpoczęto
Czas rozpoczęcia ładowania.
-
Zakończono
Czas zakończenia ładowania.
-
Czas trwania
Czas trwania ładowania w formacie hh:mm:ss.
-
Rekordy
Liczba rekordów, które zostały zapisane w miejscu docelowym podczas ładowania.
InformacjaGdy źródłowe zestawy danych są filtrowane, Rekordy zostaną zastąpione następującymi sekcjami:
-
Odczytane rekordy:Liczba rekordów odczytanych ze źródłowych zestawów danych przed filtrowaniem.
-
Zapisane rekordy (po filtrowaniu): Liczba rekordów faktycznie zapisanych w miejscu docelowym po filtrowaniu.
Aby uzyskać informacje na temat filtrowania zestawów danych, zobacz Filtrowanie zestawów danych.
-
-
Zbuforowane zmiany
Liczba buforowanych zmian.
-
Komunikat
Wyświetla komunikat o błędzie w razie niepowodzenia przetwarzania ładowania.
Szczegóły monitorowania przy użyciu funkcji Przechwytywanie zmian danych (CDC)
Możesz zobaczyć następujące szczegóły CDC dla zadania danych, aby monitorować przetwarzanie zmian na karcie Status CDC:
-
Nadchodzące zmiany
Liczba zmian obecnych w źródle i oczekujących na przetworzenie. Możesz zobaczyć, ile jest ich zgromadzonych i ile jest stosowanych.
-
Przetworzone zmiany
Liczba zmian przetworzonych w ciągu ostatnich 24 godzin.
-
Gdy źródłowe zestawy danych nie są filtrowane, będzie to liczba zmian, które zostały przetworzone i zastosowane do celu (w ciągu ostatnich 24 godzin).
-
Gdy źródłowe zestawy danych są filtrowane, wyświetlone zostaną dwie wartości:
-
Odczytane:Liczba rekordów odczytanych w źródłowych zestawach danych przed filtrowaniem.
-
Zapisane (po filtrowaniu): Liczba zmian faktycznie zapisanych w miejscu docelowym po filtrowaniu.
InformacjaW rzadkich przypadkach zmiany zostaną zapisane w miejscu docelowym tylko wtedy, gdy dostępne będzie wolne miejsce.
Aby uzyskać informacje na temat filtrowania zestawów danych, zobacz Filtrowanie zestawów danych.
-
-
-
Przepustowość
Średnia docelowa przepustowość w kilobajtach/sekundę. Określa, jak szybko rekordy zmian są ładowane do docelowego punktu końcowego.
-
Czas trwania
Czas od momentu udostępnienia zmiany w źródle do momentu jej zastosowania w obiekcie docelowym.
-
Poniższe szczegóły dotyczą tylko zaplanowanych zadań CDC:
-
Planowanie: Interwał planowania.
-
Czas od przekroczenia harmonogramu: Czas, który upłynął od ostatniego zaplanowanego uruchomienia. Ta informacja zostanie wyświetlona tylko wtedy, gdy poprzednie uruchomienie nadal działa lub zostało zakończone, a co najmniej jeden harmonogram został pominięty. Jeśli uruchomienie nie rozpoczęło się zgodnie z harmonogramem, wyświetlone zostanie ostrzeżenie wraz z liczbą pominiętych harmonogramów. Powody, dla których harmonogram może zostać pominięty, to m.in:
-
Z powodu dużej liczby zmian w źródle poprzednie zadanie nie zostało ukończone przed następnym zaplanowanym uruchomieniem
-
Problemy sieciowe uniemożliwiające połączenie ze źródłem danych lub celem
-
Brama danych ruchu danych w celu uzyskania dostępu do celu (gdy znajduje się on w VPC) nie jest dostępna
-
-
W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:
, zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.-
Nazwa
Nazwa tabeli docelowej w zasobie umieszczania.
-
Stan
Stan tabeli będzie jednym z następujących: Akumulowanie zmian, Błąd lub Ukończono (dla zaplanowanych zadań CDC).
-
Ostatnio przetworzone
Data i czas, kiedy dokonano ostatnich zmian w tabeli.
-
Wstawianie, aktualizowanie i usuwanie
InformacjaGdy źródłowe zestawy danych są filtrowane, kolumny Wstawienia, Aktualizacje i Usunięcia zostaną pogrupowane w następujący sposób:
-
Odczyt:Liczba zmian (Wstawienia, Aktualizacje i Usunięcia) odczytanych ze źródłowych zestawów danych przed filtrowaniem.
-
Zapisane (po filtrowaniu): Liczba zmian (wstawień, aktualizacji i usunięć) faktycznie zapisanych w miejscu docelowym po filtrowaniu.
Aby uzyskać informacje na temat filtrowania zestawów danych, zobacz Filtrowanie zestawów danych.
-
Wstawienia
Liczba operacji wstawiania.
-
Aktualizacje
Liczba operacji aktualizowania.
InformacjaAktualizacje są obsługiwane jako wstawienia dla źródeł aplikacji SaaS. -
Usunięcia
Liczba operacji usuwania.
-
-
DML (wstawienia/aktualizacje)
InformacjaTa kolumna jest wyświetlana tylko dla zadań zdefiniowanych za pomocą łącznika podgląduaplikacji SaaS. Łączniki w wersji zapoznawczej są oznaczone przyciskiem, zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.InformacjaGdy źródłowe zestawy danych są filtrowane, kolumny Wstawienia, Aktualizacje i Usunięcia zostaną pogrupowane w następujący sposób:
-
Odczytane DML (wstawienia/aktualizacje):Liczba operacji DML (wstawień i aktualizacji) odczytanych ze źródłowych zestawów danych przed filtrowaniem.
-
Zapisane DML (wstawienia/aktualizacje): Liczba DML (wstawień i aktualizacji) faktycznie zapisanych w obiekcie docelowym po filtrowaniu.
Informacje na temat filtrowania zestawów danych zawiera Filtrowanie zestawów danych.
-
-
Operacje DDL
Liczba operacji DDL.
InformacjaDostępne tylko dla zadań „Replikowanie danych”. -
Komunikat
Wyświetla komunikat o błędzie, jeśli zmiany w tabeli nie powiodły się i nie zostały przetworzone.
Jeśli umieszczasz dane ze źródła lokalnego i został wybrany tryb Pełne ładowanie, tabele zostaną automatycznie przeładowane, gdy status zasobu umieszczania będzie Uruchomiony.
Jeśli umieszczasz dane ze źródła lokalnego i został wybrany tryb Pełne ładowanie, tabele będą stale aktualizowane o nowe dane po początkowym pełnym ładowaniu.
Przeładowywanie wybranych tabel
Wybrane tabele ze źródła można przeładowywać ręcznie. Przydaje się to, gdy chcesz odzyskać pojedyncze tabele z błędem. Przeładowywanie tabel nie będzie miało wpływu na czas CDC, który zostanie zresetowany w przypadku użycia opcji Odtwórz tabele. Podczas przeładowywania tabel zmiany metadanych nie są propagowane.
-
Aby ponownie załadować wybrane tabele, wybierz tabele w dolnej połowie karty Monitoruj i kliknij Przeładuj tabele.
Potrzebne są te same uprawnienia, które są wymagane do uruchomienia zadania danych, czyli rola Właściciel lub Może operować.
Przeładowanie tabel jest dostępne po pierwszym uruchomieniu zadania danych. Jeśli metodą aktualizacji jest Przeładowanie i porównanie, opcja Przeładuj tabele nie jest dostępna, gdy uruchomione jest zadanie danych.
Zależne zadania pamięci masowej danych zostaną zsynchronizowane przy następnym uruchomieniu. Jeśli w zadaniu pamięci masowej jest włączona historia, zostanie ona zachowana.
Jeśli odzyskanie danych przez przeładowanie tabel nie jest możliwe, następnym krokiem jest naprawa zadania danych.
Przeładowywanie wszystkich tabel do miejsca docelowego
Możesz przeładować wszystkie tabele do miejsca docelowego, jeśli wystąpią problemy z CDC, których nie można rozwiązać przez przeładowanie określonych tabel. Przykładami problemów są brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub awaria podczas odczytu zdarzeń źródłowej bazy danych.
- Zatrzymaj zadanie danych i wszystkie zadania, które go używają.
-
Otwórz zadanie danych i wybierz kartę Monitoruj.
-
Kliknij ..., a następnie Przeładuj miejsce docelowe.
Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.
-
Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.
Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.
-
Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:
-
Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,
-
Dla każdej tabeli zostanie wykonany jeden cykl zmian.
-
Monitorowanie zadań pamięci masowej, transformacji, data martów, replikacji, i hurtowni wiedzy
Można monitorować status i postęp zadań pamięci masowej, transformacji, data martów, replikacji, i hurtowni danych.
-
Podczas pierwszego ładowania Stan pełnego ładowania przedstawia postęp operacji.
-
W trakcie przetwarzania zmian możesz również wyświetlić status i postępy bieżącej partii zmian.
-
Po przetworzeniu zmian możesz również wyświetlić status i postępy Ostatniej partii zmian.
W dolnej połowie Monitora możesz zobaczyć status i postęp dla każdego zestawu danych.
Możesz także przeglądać szczegółowe informacje na poziomie instrukcji SQL.
Wyświetlanie statusu i postępu
W przypadku każdego zestawu danych lub zmiany można wyświetlić następujące szczegóły:
-
Stan
Pokazuje aktualny stan zestawu danych lub zmiany.
-
Zakończono — ładowanie lub zmiana zakończyły się pomyślnie.
-
Ładowanie (Dla zadań Mirror, Mirroring) — trwa przetwarzanie tabeli lub zmiany.
-
W kolejce — tabela lub zmiana czeka na przetworzenie
-
Błąd — podczas przetwarzania tabeli lub zmiany wystąpił błąd.
-
-
Rozpoczęto
Czas rozpoczęcia ładowania lub przetwarzania zmian.
-
Zakończono
Czas zakończenia ładowania lub przetwarzania zmian.
-
Czas trwania
Czas trwania ładowania lub przetwarzania zmian w formacie gg:mm:ss.
-
Przetworzone rekordy
Liczba rekordów przetworzonych w ramach ładowania lub zmiany.
InformacjaTa metryka nie jest dostępna dla zadań Mirror. -
Przepustowość (rekordy/sekundę)
Przepustowość jest aktualizowana dopiero po zakończeniu ładowania.
InformacjaTa metryka nie jest dostępna dla zadań Mirror. -
Komunikat
Wyświetla komunikat o błędzie w razie niepowodzenia ładowania lub zmiany.
Zestawy danych będą ciągle aktualizowane nowymi danymi w miarę aktualizowania obszaru umieszczania przez zadanie replikacji. Każda partia dotyczy rekordów z określonego przedziału czasu. Przedział czasu ostatniej partii możesz zobaczyć w Ostatniej partii zmian.
Dane ze wszystkich transakcji źródłowych do czasu pokazywanego w Zadanie dotyczące danych jest zaktualizowane do są dostępne do użycia z tego zadania danych. Te informacje są dostępne dla zadania danych po załadowaniu wszystkich tabel i zastosowaniu pierwszego zestawu zmian. Po wybraniu generowania widoków na żywo możesz również wyświetlać, kiedy widoki na żywo są aktualizowane.
Jeśli istnieje partia zmian przed zakończeniem wstępnego ładowania, ustawienie Zadanie dotyczące danych jest zaktualizowane do zostanie zaktualizowane dopiero po zakończeniu wstępnego ładowania i zastosowaniu pierwszej partii zmian. Załóżmy na przykład, że ładujesz zasób danych, który zawiera zestaw danych zamówień zawierający 1 milion zamówień oraz zestaw danych szczegółów zamówień zawierający 10 milionów szczegółów zamówień. Pełne ładowanie zestawów danych zajmuje odpowiednio 10 i 20 minut. Najpierw jest ładowany zestaw danych zamówień, a następnie zestaw danych szczegółów zamówień. Podczas ładowania zestawu danych zamówień wstawiono nowe zamówienie. W związku z tym załadowane szczegóły zamówień mogą zawierać szczegóły nowego zamówienia, które jeszcze nie istnieje w zestawie danych zamówień. Zestawy danych zamówień i szczegółów zamówień będą zsynchronizowane oraz w pełni zaktualizowane do tego samego punktu w czasie dopiero po zastosowaniu pierwszej partii zmian.
Wyświetlanie szczegółowych informacji
Możesz przeglądać szczegółowe informacje na poziomie instrukcji SQL.
-
Wybierz Pełne ładowanie, Bieżąca partia zmian lub Ostatnia partia zmian z listy rozwijanej w dolnej części Monitorowania.
-
Wybierz zestawy danych do szczegółowego monitorowania.
-
Kliknij Szczegóły monitora.
Wyświetlane są Szczegóły monitora i można przeglądać polecenia wykonywane na każdym kroku procesu ładowania lub zmiany. Możesz kliknąć polecenie, aby wyświetlić pełne instrukcje SQL, które zostały wykonane.
-
Kliknij Eksportuj do CSV, aby wyeksportować plik tekstowy z pełnymi instrukcjami SQL dla wszystkich wymienionych poleceń.
Zadanie dotyczące danych jest zaktualizowane do dla widoków
Pole Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok.
-
Widoki standardowe
Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok standardowy.
Załóżmy na przykład, że zadanie ma dwie tabele: Orders i Order details. Tabela Orders jest zaktualizowana do 10:01, z rekordami z 10:00 i 10:01, a tabela Order details ma rekordy tylko od 10:00. W tym przypadku zadanie danych jest aktualizowane do 10:00. Nie należy tego mylić z czasem rozpoczęcia i zakończenia ładowania zadania danych, który może obejmować od 10:02 do 10:03.
-
Widoki na żywo (zadania pamięci masowej danych)
Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok na żywo.
Na przykład załóżmy, że zadanie zawiera tabelę Orders. Tabela Orders w lokalizacji umieszczania jest zaktualizowana do 10:01, z rekordami z 10:00 i 10:01, ale tabela Orders w pamięci masowej jest zaktualizowana tylko do rekordów z 10:00. W tym przypadku widoki na żywo tabeli Orders są zaktualizowane do godziny 10:01, a widoki standardowe do godziny 10:00.