Przeskocz do zawartości głównej Przejdź do treści uzupełniającej

Monitorowanie indywidualnego zadania danych

Status i postęp zadań związanych z danymi można monitorować, wybierając pozycję Monitoruj z menu rozwijanego w lewym górnym rogu okna zadania dotyczącego danych.

Można także tworzyć widoki monitorowania w celu monitorowania kilku zadań danych. Więcej informacji zawiera temat Monitorowanie zadań danych i operowanie nimi.

Monitorowanie zadań umieszczania i replikacji

Monitorowanie zadań umieszczania i replikacji jest podobne, ponieważ można monitorować zarówno początkowe umieszczanie, jak i CDC, ale istnieją pewne zauważalne różnice wynikające z kontrastujących zastosowań.

  • Wszystkie zadania umieszczania muszą rozpoczynać się od pełnego załadowania danych źródłowych do celu. Po zakończeniu początkowego pełnego ładowania dane docelowe są aktualizowane o zmiany w danych źródłowych. Można to zrobić za pomocą funkcji Przeładuj i porównaj lub Przechwytywanie danych zmian (CDC), zgodnie z definicją zadania.

    Więcej informacji o zadaniach umieszczania zawiera temat Umieszczanie danych ze źródeł danych.

  • Zadania „Replikacja danych” zwykle rozpoczynają się od pełnego załadowania danych źródłowych do miejsca docelowego. Jest to wymagane w przypadku replikacji z aplikacji SaaS, ale opcjonalne w przypadku replikacji z baz danych. Jeśli podczas replikacji z baz danych dane źródłowe już istnieją w miejscu docelowym, a chcesz jedynie zastosować zmiany ze źródła w obiekcie docelowym (lub zapisać je do późniejszego zastosowania), replikacja może mieć tryb Zastosuj zmiany, Zapisz zmiany lub oba te tryby. Oba te tryby replikacji są pokazane w monitorowaniu CDC.

    Więcej informacji na temat zadań „Replikowanie danych” zawierają następujące tematy:

    Replikowanie danych w ramach subskrypcji Standard, Premium lub Enterprise

    Replikacja danych w ramach subskrypcji Qlik Talend Cloud Starter

  • Zadania „Umieszczanie danych w jeziorze danych” są podobne do zadań umieszczania, ponieważ muszą rozpoczynać się od pełnego ładowania. Po zakończeniu początkowego pełnego ładowania dane docelowe są aktualizowane o zmiany w danych źródłowych. Można to zrobić za pomocą opcji Przeładuj lub Przechwytywanie zmian danych (CDC). Pomimo podobieństwa do zadań umieszczania zadania „Umieszczanie danych w jeziorze danych” są uważane za zadania replikacji, ponieważ składają się wyłącznie z replikacji ze źródła do celu. Nie oferują możliwości dalszego manipulowania danymi (na przykład przy użyciu transformacji i data martów), co jest dostępne w potoku danych.

    InformacjaCzynności tworzenia osobnego zadania „Umieszczanie danych w jeziorze danych” nie mają zastosowania w przypadku subskrypcji Qlik Talend Cloud Starter. W przypadku subskrypcji Qlik Talend Cloud Starter replikacja do docelowych miejsc przechowywania w chmurze odbywa się za pomocą standardowego zadania „Replikowanie danych”.

    Więcej informacji na temat zadań „Umieszczanie danych w jeziorze danych”, zobacz Umieszczanie danych w jeziorze danych w ramach subskrypcji Standard, Premium lub Enterprise.

Szczegóły monitorowania

Na karcie Stan pełnego ładowania możesz zobaczyć następujące szczegóły dotyczące zadania danych:

  • W kolejce – liczba tabel oczekujących w kolejce.

  • Ładowanie – liczba aktualnie ładowanych tabel.

  • Zakończone – liczba ukończonych tabel.

  • Błąd – liczba tabel, w których wystąpił błąd.

W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:

  • Nazwa

    Nazwa docelowej tabeli.

  • Stan

    Stan tabeli będzie następujący: W kolejce, Ładowanie, Zakończono lub Błąd.

  • Rozpoczęto

    Czas rozpoczęcia ładowania.

  • Zakończono

    Czas zakończenia ładowania.

  • Czas trwania

    Czas trwania ładowania w formacie hh:mm:ss.

  • Rekordy

    Liczba rekordów, które zostały zreplikowane podczas ładowania.

  • Zbuforowane zmiany

    Liczba buforowanych zmian.

  • Komunikat

    Wyświetla komunikat o błędzie w razie niepowodzenia przetwarzania ładowania.

Szczegóły monitorowania przy użyciu funkcji Przechwytywanie zmian danych (CDC)

Możesz zobaczyć następujące szczegóły CDC dla zadania danych, aby monitorować przetwarzanie zmian na karcie Status CDC:

  • Zmiany przychodzące– liczba zmian obecnych w źródle i oczekujących na przetworzenie. Możesz zobaczyć, ile jest ich zgromadzonych i ile jest stosowanych.

  • Zmiany przetworzone– liczba zmian, które zostały przetworzone i zastosowane (w ciągu ostatnich 24 godzin).

  • Przepustowość– średnia docelowa przepustowość w kilobajtach/sekundę. Określa, jak szybko rekordy zmian są ładowane do docelowego punktu końcowego.

  • Opóźnienie– bieżące opóźnienie zasobu danych (hh:mm:ss). Ten czas trwania oznacza okres od momentu, w którym zmiana jest dostępna w źródle, do momentu, w którym zmiana jest zastosowana i dostępna w zasobie docelowym lub zasobie danych umieszczania.

W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:

  • Nazwa

    Nazwa tabeli docelowej w zasobie umieszczania.

  • Stan

    Stan tabeli będzie następujący: Akumulowanie zmian lub Błąd.

  • Ostatnio przetworzone

    Data i czas, kiedy dokonano ostatnich zmian w tabeli.

  • Wstawienia

    Liczba operacji wstawiania.

  • Aktualizacje

    Liczba operacji aktualizowania.

    InformacjaAktualizacje są obsługiwane jako wstawienia dla źródeł aplikacji SaaS.
  • Usunięcia

    Liczba operacji usuwania.

  • Operacje DDL

    Liczba operacji DDL.

    InformacjaDostępne tylko dla zadań „Replikowanie danych”.
  • Komunikat

    Wyświetla komunikat o błędzie, jeśli zmiany w tabeli nie powiodły się i nie zostały przetworzone.

Jeśli umieszczasz dane ze źródła lokalnego i został wybrany tryb Pełne ładowanie, tabele zostaną automatycznie przeładowane, gdy status zasobu umieszczania będzie Uruchomiony.

Jeśli umieszczasz dane ze źródła lokalnego i został wybrany tryb Pełne ładowanie, tabele będą stale aktualizowane o nowe dane po początkowym pełnym ładowaniu.

Przeładowywanie wybranych tabel

Wybrane tabele ze źródła można przeładowywać ręcznie. Przydaje się to, gdy chcesz odzyskać pojedyncze tabele z błędem. Przeładowywanie tabel nie będzie miało wpływu na czas CDC, który zostanie zresetowany w przypadku użycia opcji Odtwórz tabele. Podczas przeładowywania tabel zmiany metadanych nie są propagowane.

  • Aby ponownie załadować wybrane tabele, wybierz tabele w dolnej połowie karty Monitoruj i kliknij Przeładuj tabele.

    Potrzebne są te same uprawnienia, które są wymagane do uruchomienia zadania danych, czyli rola Właściciel lub Może operować.

Przeładowanie tabel jest dostępne po pierwszym uruchomieniu zadania danych. Jeśli metodą aktualizacji jest Przeładowanie i porównanie, opcja Przeładuj tabele nie jest dostępna, gdy uruchomione jest zadanie danych.

Zależne zadania pamięci masowej danych zostaną zsynchronizowane przy następnym uruchomieniu. Jeśli w zadaniu pamięci masowej jest włączona historia, zostanie ona zachowana.

Jeśli odzyskanie danych przez przeładowanie tabel nie jest możliwe, następnym krokiem jest naprawa zadania danych.

Przeładowywanie wszystkich tabel do miejsca docelowego

Możesz przeładować wszystkie tabele do miejsca docelowego, jeśli wystąpią problemy z CDC, których nie można rozwiązać przez przeładowanie określonych tabel. Przykładami problemów są brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub awaria podczas odczytu zdarzeń źródłowej bazy danych.

InformacjaTa operacja jest dostępna tylko w przypadku zadań z metodą aktualizacji Przechwytywanie zmian danych (CDC), które zostały uruchomione przynajmniej raz.

  1. Zatrzymaj zadanie danych i wszystkie zadania, które go używają.
  2. Otwórz zadanie danych i wybierz kartę Monitoruj.

  3. Kliknij ..., a następnie Przeładuj miejsce docelowe.

Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.

  • Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.

    Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.

  • Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:

    • Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,

    • Dla każdej tabeli zostanie wykonany jeden cykl zmian.

Monitorowanie zadań przechowywania, transformacji i data martów

Można monitorować status i postęp zadań Pamięć masowa, Transformacja lub Data mart.

  • Podczas pierwszego ładowania Stan pełnego ładowania przedstawia postęp operacji.

  • W trakcie przetwarzania zmian możesz również wyświetlić status i postępy bieżącej partii zmian.

  • Po przetworzeniu zmian możesz również wyświetlić status i postępy Ostatniej partii zmian.

W dolnej połowie Monitora możesz zobaczyć status i postęp dla każdego zestawu danych.

Możesz także przeglądać szczegółowe informacje na poziomie instrukcji SQL.

Wyświetlanie statusu i postępu

W przypadku każdego zestawu danych lub zmiany można wyświetlić następujące szczegóły:

  • Stan

    Pokazuje aktualny stan zestawu danych lub zmiany.

    • Zakończono — ładowanie lub zmiana zakończyły się pomyślnie.

    • Ładowanie — trwa przetwarzanie tabeli lub zmiany.

    • W kolejce — tabela lub zmiana czeka na przetworzenie

    • Błąd — podczas przetwarzania tabeli lub zmiany wystąpił błąd.

  • Rozpoczęto

    Czas rozpoczęcia ładowania lub przetwarzania zmian.

  • Zakończono

    Czas zakończenia ładowania lub przetwarzania zmian.

  • Czas trwania

    Czas trwania ładowania lub przetwarzania zmian w formacie gg:mm:ss.

  • Przetworzone rekordy

    Liczba rekordów przetworzonych w ramach ładowania lub zmiany.

  • Przepustowość (rekordy/sekundę)

    Przepustowość jest aktualizowana dopiero po zakończeniu ładowania.

  • Komunikat

    Wyświetla komunikat o błędzie w razie niepowodzenia ładowania lub zmiany.

Zestawy danych będą ciągle aktualizowane nowymi danymi w miarę aktualizowania obszaru umieszczania przez zadanie replikacji. Każda partia dotyczy rekordów z określonego przedziału czasu. Przedział czasu ostatniej partii możesz zobaczyć w Ostatniej partii zmian.

Dane ze wszystkich transakcji źródłowych do czasu pokazywanego w Zadanie dotyczące danych jest zaktualizowane do są dostępne do użycia z tego zadania danych. Te informacje są dostępne dla zadania danych po załadowaniu wszystkich tabel i zastosowaniu pierwszego zestawu zmian. Po wybraniu generowania widoków na żywo możesz również wyświetlać, kiedy widoki na żywo są aktualizowane.

Jeśli istnieje partia zmian przed zakończeniem wstępnego ładowania, ustawienie Zadanie dotyczące danych jest zaktualizowane do zostanie zaktualizowane dopiero po zakończeniu wstępnego ładowania i zastosowaniu pierwszej partii zmian. Załóżmy na przykład, że ładujesz zasób danych, który zawiera zestaw danych zamówień zawierający 1 milion zamówień oraz zestaw danych szczegółów zamówień zawierający 10 milionów szczegółów zamówień. Pełne ładowanie zestawów danych zajmuje odpowiednio 10 i 20 minut. Najpierw jest ładowany zestaw danych zamówień, a następnie zestaw danych szczegółów zamówień. Podczas ładowania zestawu danych zamówień wstawiono nowe zamówienie. W związku z tym załadowane szczegóły zamówień mogą zawierać szczegóły nowego zamówienia, które jeszcze nie istnieje w zestawie danych zamówień. Zestawy danych zamówień i szczegółów zamówień będą zsynchronizowane oraz w pełni zaktualizowane do tego samego punktu w czasie dopiero po zastosowaniu pierwszej partii zmian.

Wyświetlanie szczegółowych informacji

Możesz przeglądać szczegółowe informacje na poziomie instrukcji SQL.

  1. Wybierz Pełne ładowanie, Bieżąca partia zmian lub Ostatnia partia zmian z listy rozwijanej w dolnej części Monitorowania.

  2. Wybierz zestawy danych do szczegółowego monitorowania.

  3. Kliknij Szczegóły monitora.

Wyświetlane są Szczegóły monitora i można przeglądać polecenia wykonywane na każdym kroku procesu ładowania lub zmiany. Możesz kliknąć polecenie, aby wyświetlić pełne instrukcje SQL, które zostały wykonane.

  • Kliknij Eksportuj do CSV, aby wyeksportować plik tekstowy z pełnymi instrukcjami SQL dla wszystkich wymienionych poleceń.

Zadanie dotyczące danych jest zaktualizowane do dla widoków

Pole Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok.

  • Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok standardowy.

    Załóżmy na przykład, że zadanie ma dwie tabele: Orders i Order details. Tabela Orders jest zaktualizowana do 10:01, z rekordami z 10:00 i 10:01, a tabela Order details ma rekordy tylko od 10:00. W tym przypadku zadanie danych jest aktualizowane do 10:00. Nie należy tego mylić z czasem rozpoczęcia i zakończenia ładowania zadania danych, który może obejmować od 10:02 do 10:03.

  • Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok na żywo.

    Na przykład załóżmy, że zadanie zawiera tabelę Orders. Tabela Orders w lokalizacji umieszczania jest zaktualizowana do 10:01, z rekordami z 10:00 i 10:01, ale tabela Orders w pamięci masowej jest zaktualizowana tylko do rekordów z 10:00. W tym przypadku widoki na żywo tabeli Orders są zaktualizowane do godziny 10:01, a widoki standardowe do godziny 10:00.

Czy ta strona była pomocna?

Jeżeli natkniesz się na problemy z tą stroną lub jej zawartością — literówkę, brakujący krok lub błąd techniczny — daj nam znać, co możemy poprawić!