Monitorowanie pojedynczego zadania danych
Możesz monitorować stan i postęp zadań danych, wybierając opcję Monitor z menu rozwijanego w lewym górnym rogu okna zadania danych.
Możesz także tworzyć widoki monitorowania, aby monitorować kilka zadań danych. Więcej informacji zawiera sekcja Monitorowanie i obsługa zadań danych.
Ogólny przegląd monitorowania
Widok monitorowania jest dostępny dla wszystkich typów zadań i umożliwia śledzenie stanu oraz metryk zadań:
-
Karty
Przełączaj się między dostępnymi kartami — takimi jak Info, Pełne ładowanie i Przetwarzanie zmian, Wsadowe lub Strumieniowanie — w zależności od typu zadania. Szczegółowe informacje na temat każdej karty znajdują się w odpowiedniej sekcji dotyczącej zadań poniżej.
-
Filtr stanu zestawu danych
Wykres słupkowy nad tabelą zestawów danych pokazuje, ile zestawów danych ma poszczególne stany: W kolejce, Ładowanie, Zakończone i Błąd. Wykres jest aktualizowany dynamicznie w miarę zmian stanów zestawów danych. Kliknij segment stanu, aby przefiltrować tabelę zestawów danych i wyświetlić tylko zestawy danych o tym stanie.
-
Ukryj widgety
Kliknij opcję Ukryj widgety, aby zwinąć widgety metryk. Zapewnia to więcej miejsca na wyświetlenie poniższej tabeli zestawów danych.
-
Data rozpoczęcia
Data i godzina rozpoczęcia bieżącego uruchomienia zadania.
-
Data zakończenia
Data i godzina zakończenia uruchomienia zadania. Jest wyświetlana tylko dla zakończonych uruchomień zadań.
-
Historia uruchomień
Kliknij opcję Historia uruchomień, aby wyświetlić listę poprzednich uruchomień zadań i ich wyniki.
Monitorowanie zadań przenoszenia danych
Dostępne opcje monitorowania są określane zarówno przez typ zadania, jak i typ łącznika. Ponieważ niektóre łączniki nie obsługują technologii CDC (na przykład Epicor), opcje monitorowania istotne dla CDC nie będą wyświetlane dla tych łączników. Podobnie, ponieważ niektóre łączniki nie obsługują pełnego ładowania (na przykład łączniki w wersji zapoznawczej), opcje monitorowania istotne dla pełnego ładowania nie będą wyświetlane dla tych łączników.
Przypadek użycia potoku danych: Zadania umieszczania
Wszystkie zadania umieszczania muszą rozpoczynać się od pełnego ładowania danych źródłowych do celu. Po zakończeniu początkowego pełnego ładowania dane docelowe są aktualizowane o zmiany w danych źródłowych. Można to zrobić za pomocą opcji Przeładuj i porównaj lub Przechwytywanie zmian danych (CDC), zgodnie z definicją zadania.
Więcej informacji na temat zadań umieszczania zawiera sekcja Umieszczanie danych ze źródeł danych.
Przypadek użycia replikacji: Zadania „Replikuj dane”
Zadania „Replikuj dane” zazwyczaj rozpoczynają się od pełnego ładowania danych źródłowych do celu. Poniższa tabela podsumowuje przypadki użycia pełnego ładowania.
| Przypadek użycia | Pełne ładowanie |
|---|---|
| Replikacja z aplikacji SaaS, do których dostęp uzyskuje się za pośrednictwem łączników Lite | Wymagane |
| Replikacja z aplikacji SaaS, do których dostęp uzyskuje się za pośrednictwem łączników w wersji zapoznawczej. | Nie dotyczy, ponieważ łączniki w wersji zapoznawczej nie obsługują pełnego ładowania. |
| Replikacja z baz danych | Opcjonalne |
W przypadku replikacji z baz danych, jeśli dane źródłowe już istnieją w celu i chcesz tylko zastosować zmiany źródłowe w celu (lub zapisać je do zastosowania później), tryb replikacji może mieć wartość Zastosuj zmiany, Zapisz zmiany lub obie te wartości. Oba te tryby replikacji są widoczne w monitorowaniu CDC.
Więcej informacji na temat zadań „Replikuj dane” znajduje się w następujących tematach:
Replikowanie danych w ramach subskrypcji Standard, Premium lub Enterprise
Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter
Przypadek użycia replikacji: Zadania „Umieść dane w usłudze data lake”
Zadania „Umieść dane w usłudze data lake” są podobne do zadań umieszczania, ponieważ muszą rozpoczynać się od pełnego ładowania. Po zakończeniu początkowego pełnego ładowania dane docelowe są aktualizowane o zmiany w danych źródłowych. Można to zrobić za pomocą opcji Przeładuj lub Przechwytywanie zmian danych (CDC). Pomimo podobieństwa do zadań umieszczania, zadania „Umieść dane w usłudze data lake” są uważane za zadania replikacji, ponieważ polegają wyłącznie na replikacji ze źródła do celu. Nie oferują one możliwości dalszej manipulacji danymi na dalszych etapach (na przykład przy użyciu transformacji i struktur data mart), co jest dostępne w potoku danych.
Więcej informacji na temat zadań „Umieść dane w usłudze data lake” zawiera sekcja Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise.
Szczegóły monitorowania
Dostępne są następujące szczegóły monitorowania:
-
Info
-
Pełne ładowanie
-
Przetwarzanie zmian
-
Strumieniowanie
Dostępne tylko dla strumieniowych zadań umieszczania.
Szczegóły monitorowania Info
Możesz wyświetlić ogólne informacje o zadaniu, identyfikator Run ID oraz czas aktualizacji danych. W przypadku zadań CDC na tej karcie dostępne są również informacje o harmonogramie.
Szczegóły monitorowania Pełne ładowanie
zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.W sekcji Pełne ładowanie można wyświetlić następujące statystyki zadania danych:
-
Łączna liczba zestawów danych
Liczba załadowanych zestawów danych.
-
Zestawy danych z błędami
Liczba zestawów danych z błędami.
-
Łączne opóźnienie
Bieżące opóźnienie zadania (gg:mm:ss). Ten czas trwania reprezentuje czas od momentu, gdy zmiana jest dostępna w źródle, do momentu, gdy zmiana zostanie zastosowana i będzie dostępna w celu lub obszarze umieszczania.
-
Łączna przepustowość
Przepustowość docelowa w kilobajtach na sekundę. Wskazuje to, jak szybko rekordy zmian są ładowane do punktu końcowego celu.
Możesz wyświetlić następujące szczegóły dla każdego zestawu danych w zadaniu danych:
-
Nazwa
Nazwa docelowego zestawu danych.
-
Stan
Stan tabeli będzie następujący: W kolejce, Ładowanie, Zakończone lub Błąd.
-
Rozpoczęto
Czas rozpoczęcia ładowania.
-
Zakończono
Czas zakończenia ładowania.
-
Czas trwania
Czas trwania ładowania w formacie gg:mm:ss.
-
Rekordy
Liczba rekordów zapisanych w celu podczas ładowania.
InformacjaGdy zestawy danych źródłowych są filtrowane, sekcja Rekordy zostanie zastąpiona następującymi sekcjami:
-
Odczytane rekordy: Liczba rekordów odczytanych z zestawów danych źródłowych przed filtrowaniem.
-
Zapisane rekordy (po filtrowaniu): Liczba rekordów faktycznie zapisanych w celu po filtrowaniu.
Informacje na temat filtrowania zestawów danych zawiera sekcja Filtrowanie zestawów danych.
-
-
Komunikat
Wyświetla komunikat o błędzie, jeśli ładowanie nie zostało pomyślnie przetworzone.
Szczegóły monitorowania Przetwarzanie zmian
Sekcja Przetwarzanie zmian wyświetla liczbę zmian zastosowanych we wszystkich tabelach podczas ostatniego uruchomienia CDC lub podczas bieżącego uruchomienia, jeśli jeszcze się nie zakończyło. Aby zobaczyć liczbę zmian zastosowanych w poszczególnych zestawach danych od momentu rozpoczęcia zadania, zapoznaj się z tabelą Zestawy danych.
Możesz wyświetlić następujące statystyki przetwarzania zmian:
-
Łączna liczba zestawów danych
Liczba załadowanych zestawów danych.
-
Zestawy danych z błędami
Liczba zestawów danych z błędami.
-
Łączne opóźnienie
Bieżące opóźnienie zadania (gg:mm:ss). Ten czas trwania reprezentuje czas od momentu, gdy zmiana jest dostępna w źródle, do momentu, gdy zmiana zostanie zastosowana i będzie dostępna w celu lub obszarze umieszczania.
-
Łączna przepustowość
Przepustowość docelowa w kilobajtach na sekundę. Wskazuje to, jak szybko rekordy zmian są ładowane do punktu końcowego celu.
-
Łączna liczba zmian przychodzących
Liczba zmian obecnych w źródle i oczekujących na przetworzenie. Możesz zobaczyć, ile zmian skumulowało się w źródle, a ile jest stosowanych.
-
Łączna liczba zastosowanych zmian
Liczba zmian zastosowanych w celu lub obszarze umieszczania. Możesz wyświetlić liczbę dodań, usunięć i aktualizacji.
Możesz wyświetlić następujące szczegóły dla każdej tabeli w zadaniu danych:
zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.-
Nazwa
Nazwa tabeli docelowej w zasobie danych umieszczania.
-
Stan
Stan tabeli będzie jednym z następujących: Kumulowanie zmian, Błąd lub Zakończone (dla zaplanowanych zadań CDC).
-
Ostatnio przetworzone
Data i godzina wprowadzenia ostatnich zmian w tabeli.
-
Wstawienia, Aktualizacje i Usunięcia
InformacjaGdy zestawy danych źródłowych są filtrowane, kolumny Wstawienia, Aktualizacje i Usunięcia zostaną pogrupowane w następujący sposób:
-
Odczytane: Liczba zmian (Wstawienia, Aktualizacje i Usunięcia) odczytanych z zestawów danych źródłowych przed filtrowaniem.
-
Zapisane (po filtrowaniu): Liczba zmian (Wstawienia, Aktualizacje i Usunięcia) faktycznie zapisanych w celu po filtrowaniu.
Informacje na temat filtrowania zestawów danych zawiera sekcja Filtrowanie zestawów danych.
-
Wstawienia
Liczba operacji wstawiania.
-
Aktualizacje
Liczba operacji aktualizacji.
InformacjaAktualizacje są obsługiwane jako wstawienia dla źródeł aplikacji SaaS. -
Usunięcia
Liczba operacji usuwania.
-
-
DML (Wstawienia/Aktualizacje)
InformacjaTa kolumna jest wyświetlana tylko dla zadań zdefiniowanych z użyciem łącznika w wersji zapoznawczej aplikacji SaaS. Łączniki w wersji zapoznawczej są oznaczone przyciskiem
zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.InformacjaGdy zestawy danych źródłowych są filtrowane, kolumny Wstawienia, Aktualizacje i Usunięcia zostaną pogrupowane w następujący sposób:
-
Odczytane DML (Wstawienia/Aktualizacje): Liczba operacji DML (Wstawienia i Aktualizacje) odczytanych z zestawów danych źródłowych przed filtrowaniem.
-
Zapisane DML (Wstawienia/Aktualizacje): Liczba operacji DML (Wstawienia i Aktualizacje) faktycznie zapisanych w celu po filtrowaniu.
Informacje na temat filtrowania zestawów danych zawiera sekcja Filtrowanie zestawów danych.
-
-
Operacje DDL
Liczba operacji DDL
InformacjaDostępne tylko dla zadań „Replikuj dane”. -
Komunikat
Wyświetla komunikat o błędzie, jeśli zmiany w tabeli zakończą się niepowodzeniem i nie zostaną przetworzone.
Jeśli umieszczasz dane ze źródła lokalnego i wybrano tryb Pełne ładowanie, tabele zostaną automatycznie przeładowane po Uruchomieniu zasobu danych umieszczania.
Jeśli umieszczasz dane ze źródła lokalnego i wybrano tryb Pełne ładowanie i CDC, tabele będą stale aktualizowane o nowe dane po początkowym pełnym ładowaniu.
Przeładowywanie wybranych tabel
Możesz ręcznie przeładować wybrane tabele ze źródła. Jest to przydatne, gdy chcesz odzyskać pojedyncze tabele z błędami. Przeładowanie tabel nie wpłynie na oś czasu CDC, która jest resetowana w przypadku użycia opcji Utwórz ponownie tabele. Zmiany metadanych nie są propagowane podczas przeładowywania tabel.
-
Aby przeładować wybrane tabele, zaznacz je w dolnej połowie sekcji Monitor i kliknij opcję Przeładuj tabele.
Wymagane są takie same uprawnienia, jak do uruchomienia zadania danych, czyli rola Właściciel lub Może obsługiwać.
Opcja Przeładuj tabele jest dostępna po pierwszym uruchomieniu zadania danych. Jeśli metodą aktualizacji jest Przeładuj i porównaj, opcja Przeładuj tabele nie jest dostępna, gdy zadanie danych jest uruchomione.
Zadania danych przechowywania na dalszych etapach zostaną zsynchronizowane przy ich następnym uruchomieniu. Jeśli zadanie przechowywania ma włączoną historię, zostanie ona zachowana.
Jeśli odzyskanie danych poprzez przeładowanie tabel nie jest możliwe, kolejnym krokiem jest naprawa zadania danych.
Przeładowywanie wszystkich tabel do celu
Możesz przeładować wszystkie tabele do celu, jeśli wystąpią problemy z CDC, których nie można rozwiązać poprzez przeładowanie określonych tabel. Przykłady problemów to brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub niepowodzenie podczas odczytu zdarzeń ze źródłowej bazy danych.
- Zatrzymaj zadanie danych i wszystkie zadania, które go używają.
-
Otwórz zadanie danych i wybierz kartę Monitoruj.
-
Kliknij ..., a następnie Przeładuj miejsce docelowe.
Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.
-
Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.
Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.
-
Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:
-
Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,
-
Dla każdej tabeli zostanie wykonany jeden cykl zmian.
-
Monitorowanie zadań przechowywania, transformacji, struktur data mart, odzwierciedlania i struktur knowledge mart
Możesz monitorować stan i postęp zadania przechowywania, transformacji, struktury data mart, odzwierciedlania lub struktury knowledge mart.
Dostępne są następujące szczegóły monitorowania:
-
Info
-
Pełne ładowanie
-
Wsadowe
Szczegóły monitorowania Info
Możesz wyświetlić ogólne informacje o zadaniu, identyfikator Run ID oraz czas aktualizacji danych.
Szczegóły monitorowania Pełne ładowanie
zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.W sekcji Pełne ładowanie można wyświetlić następujące statystyki zadania danych:
-
Łączna liczba zestawów danych
Liczba załadowanych zestawów danych.
-
Zestawy danych z błędami
Liczba zestawów danych z błędami.
-
Łączna przepustowość
Przepustowość docelowa w kilobajtach na sekundę. Wskazuje to, jak szybko rekordy zmian są ładowane do punktu końcowego celu.
Szczegóły monitorowania Wsadowe
Możesz wyświetlić statystyki dla partii zmian:
-
Łączna liczba zestawów danych
Liczba załadowanych zestawów danych.
-
Zestawy danych z błędami
Liczba zestawów danych z błędami.
-
Łączne opóźnienie
Bieżące opóźnienie zadania (gg:mm:ss). Ten czas trwania reprezentuje czas od momentu, gdy zmiana jest dostępna w źródle, do momentu, gdy zmiana zostanie zastosowana i będzie dostępna w celu lub obszarze umieszczania.
-
Łączna przepustowość
Przepustowość docelowa w kilobajtach na sekundę. Wskazuje to, jak szybko rekordy zmian są ładowane do punktu końcowego celu.
-
Źródło
Opóźnienie i przepustowość w źródle.
-
Cel
Opóźnienie i przepustowość w celu.
-
Łączna liczba zmian przychodzących
Liczba zmian obecnych w źródle i oczekujących na przetworzenie. Możesz zobaczyć, ile zmian skumulowało się w źródle, a ile jest stosowanych.
-
Łączna liczba zastosowanych zmian
Liczba zmian zastosowanych w celu lub obszarze umieszczania. Możesz wyświetlić liczbę dodań, usunięć i aktualizacji.
Wyświetlanie stanu i postępu
Możesz wyświetlić następujące szczegóły dla każdego zestawu danych lub zmiany w sekcji Zestawy danych:
-
Nazwa
Nazwa docelowego zestawu danych.
-
Stan
Stan tabeli będzie następujący: W kolejce, Ładowanie, Zakończone lub Błąd.
-
Rozpoczęto
Czas rozpoczęcia ładowania.
-
Zakończono
Czas zakończenia ładowania.
-
Czas trwania
Czas trwania ładowania w formacie gg:mm:ss.
-
Rekordy
Liczba rekordów zapisanych w celu podczas ładowania.
InformacjaGdy zestawy danych źródłowych są filtrowane, sekcja Rekordy zostanie zastąpiona następującymi sekcjami:
-
Odczytane rekordy: Liczba rekordów odczytanych z zestawów danych źródłowych przed filtrowaniem.
-
Zapisane rekordy (po filtrowaniu): Liczba rekordów faktycznie zapisanych w celu po filtrowaniu.
Informacje na temat filtrowania zestawów danych zawiera sekcja Filtrowanie zestawów danych.
-
-
Komunikat
Wyświetla komunikat o błędzie, jeśli ładowanie nie zostało pomyślnie przetworzone.
Dane ze wszystkich transakcji źródłowych do czasu wskazanego w polu Zadanie danych jest zaktualizowane do są dostępne do użycia z tego zadania danych. Ta informacja jest dostępna dla zadania danych po załadowaniu wszystkich tabel i zastosowaniu pierwszego zestawu zmian. Jeśli wybrano generowanie widoków na żywo, można również sprawdzić, kiedy widoki na żywo są aktualizowane.
Jeśli przed zakończeniem ładowania początkowego wystąpi partia zmian, pole Zadanie danych jest zaktualizowane do nie zostanie zaktualizowane, dopóki ładowanie początkowe nie zostanie zakończone i nie zostanie zastosowana pierwsza partia zmian. Załóżmy na przykład, że ładujesz zasób danych zawierający zestaw danych zamówień z 1 milionem zamówień oraz zestaw danych szczegółów zamówień z 10 milionami szczegółów zamówień. Pełne ładowanie tych zestawów danych trwa odpowiednio 10 i 20 minut. Najpierw ładowany jest zestaw danych zamówień, a następnie zestaw danych szczegółów zamówień. Podczas ładowania zestawu danych zamówień wstawiono nowe zamówienie. Kiedy więc ładowane są szczegóły zamówienia, mogą one zawierać szczegóły nowego zamówienia, które jeszcze nie istnieje w zestawie danych zamówień. Zestawy danych zamówień i szczegółów zamówień zostaną zsynchronizowane i w pełni zaktualizowane do tego samego czasu dopiero po zastosowaniu pierwszej partii zmian.
Wyświetlanie szczegółowych informacji
Możesz wyświetlić szczegółowe informacje na poziomie instrukcji SQL.
-
Wybierz zestawy danych do szczegółowego monitorowania.
-
Kliknij opcję Szczegóły monitora.
Zostanie wyświetlona sekcja Szczegóły monitora, w której można wyświetlić polecenia wykonywane na każdym etapie procesu ładowania lub wprowadzania zmian. Możesz kliknąć polecenie, aby wyświetlić pełne wykonane instrukcje SQL.
-
Kliknij opcję Eksportuj do pliku CSV, aby wyeksportować plik tekstowy z pełnymi instrukcjami SQL dla wszystkich wymienionych poleceń.
Pole Zadanie danych jest zaktualizowane do dla widoków
Pole Zadanie danych jest zaktualizowane do pokazuje czas, do którego zaktualizowano najstarszy widok.
-
Widoki standardowe
Pole Zadanie danych jest zaktualizowane do pokazuje czas, do którego zaktualizowano najstarszy widok standardowy.
Załóżmy na przykład, że zadanie ma dwie tabele: Orders i Order details. Tabela Orders jest zaktualizowana do godziny 10:01 i zawiera rekordy z godzin 10:00 i 10:01, a tabela Order details zawiera rekordy tylko z godziny 10:00. W takim przypadku zadanie danych jest zaktualizowane do godziny 10:00. Nie należy tego mylić z czasem rozpoczęcia i zakończenia ładowania zadania danych, który może wynosić od 10:02 do 10:03.
-
Widoki na żywo (zadania danych przechowywania)
Pole Zadanie danych jest zaktualizowane do pokazuje czas, do którego zaktualizowano najstarszy widok na żywo.
Załóżmy na przykład, że zadanie ma tabelę Orders. Tabela Orders w obszarze umieszczania jest zaktualizowana do godziny 10:01 i zawiera rekordy z godzin 10:00 i 10:01, ale tabela Orders w obszarze przechowywania jest zaktualizowana tylko do rekordów z godziny 10:00. W takim przypadku widoki na żywo dla tabeli Orders są zaktualizowane do godziny 10:01, a widoki standardowe są zaktualizowane do godziny 10:00.
Wyświetlanie historii uruchomień
Możesz wyświetlić historię uruchomień zadania, aby zidentyfikować przyczyny źródłowe i zrozumieć wzorce na przestrzeni czasu.
-
Kliknij pozycję Historia uruchomień w widoku Monitor zadania.
-
Kliknij pozycję Historia uruchomień w menu ... zadania w obszarze Widoki monitorowania.
W historii uruchomień wyświetlanych jest maksymalnie 100 wykonań na podstawie wybranych filtrów. Doprecyzuj kryteria filtrowania, aby zobaczyć inne wykonania. Możesz filtrować według daty zakończenia wykonania i statusu zadania. Informacje o uruchomieniach są przechowywane przez 13 miesięcy. Metadane zestawu danych w uruchomieniach są przechowywane przez 30 dni.