Monitorowanie Otwarty lakehouse Qlik zadania pamięci masowej

Zadanie pamięci masowej w Otwarty lakehouse Qlik projektach różni się od innych projektów, ponieważ działa w sposób ciągły, a nie w trybie wsadowym. W rezultacie metryki monitorowania są inne.

Ogólne szczegóły monitorowania

Ta sekcja zawiera podsumowanie ogólnego statusu zadania:

• Zadanie dotyczące danych jest zaktualizowane do

  Znacznik czasu, do którego wszystkie tabele są w pełni zsynchronizowane. Reprezentuje najpóźniejszy moment, w którym wszystkie zmiany źródłowe zatwierdzone do tej chwili są już dostępne w tabelach docelowych.

  Jeśli nie wykryto żadnych nowych zmian źródłowych, ta wartość jest ustawiana na bieżący czas.

• Liczba zestawów danych

  Całkowita liczba zestawów danych uwzględnionych w tym zadaniu.

• Zestawy danych z błędami

  Całkowita liczba zestawów danych w tym zadaniu, które napotkały błędy.

• Klaster lakehouse

  Nazwa i status klastra, na którym działa to zadanie.

Szczegóły monitorowania pełnego ładowania

Na karcie Stan pełnego ładowania możesz zobaczyć następujące szczegóły dotyczące zadania danych:

• W kolejce – liczba tabel oczekujących w kolejce.

• Ładowanie – liczba aktualnie ładowanych tabel.

• Zakończone – liczba ukończonych tabel.

• Błąd: liczba tabel, w których wystąpił błąd.

W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:

• Nazwa

  Nazwa docelowej tabeli.

• Stan

  Stan tabeli będzie następujący: W kolejce, Ładowanie, Zakończono lub Błąd.

• Rozpoczęto

  Czas rozpoczęcia ładowania.

• Zakończono

  Czas zakończenia ładowania.

• Czas trwania

  Czas trwania ładowania w formacie hh:mm:ss.

• Rekordy

  Liczba rekordów, które zostały zreplikowane podczas ładowania.

• Komunikat

  Wyświetla komunikat o błędzie w razie niepowodzenia przetwarzania ładowania.

Szczegóły monitorowania przy użyciu funkcji Przechwytywanie zmian danych (CDC)

Możesz zobaczyć następujące szczegóły CDC dla zadania danych, aby monitorować przetwarzanie zmian na karcie Status CDC:

• Zmiany przychodzące: liczba zmian obecnych w źródle i oczekujących na przetworzenie. Możesz zobaczyć, ile jest ich zgromadzonych i ile jest stosowanych.

• Zmiany przetworzone: liczba zmian, które zostały przetworzone i zastosowane (w ciągu ostatnich 24 godzin).

• Opóźnienie: różnica czasu (gg:mm:ss) między najstarszym znacznikiem czasu zdarzenia źródłowego w umieszczaniu, który nie został przetworzony do magazynu, a bieżącym czasem. Ten czas trwania oznacza okres od momentu, w którym zmiana jest dostępna w źródle, do momentu, w którym zmiana jest zastosowana i dostępna w zasobie danych umieszczania.

W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:

• Nazwa

  Nazwa tabeli docelowej w zasobie umieszczania.

• Stan

  Stan tabeli będzie następujący: Akumulowanie zmian lub Błąd.

• Nadchodzące zmiany

  Liczba zmian przetworzonych przez zadanie umieszczania, które oczekują na zastosowanie przez zadanie magazynowania.

• Przetworzone zmiany

  Całkowita liczba zmian, które zostały zastosowane do obiektu docelowego od ostatniego pełnego załadowania zestawu danych (przez początkowe pełne ładowanie lub przez akcję ponownego ładowania).

• Ostatnio przetworzone

  Ostatni czas danych źródłowych, który został wstawiony do docelowego zestawu danych, przetłumaczony na czas lokalny.

• Niezoptymalizowane zmiany

  Liczba rekordów, które można przeszukiwać za pośrednictwem widoku, ale nie zostały jeszcze scalone w zoptymalizowane partycje Iceberg. Wysokie wartości mogą wpływać na wydajność, dopóki optymalizacje w tle nie zostaną zakończone.

  Odzwierciedla to liczbę rekordów znajdujących się obecnie w partycji zmian, które nie zostały jeszcze zastosowane do bieżącej lub historycznej partycji.

  Jeśli ta liczba jest stale wysoka, rozważ zwiększenie mocy obliczeniowej klastra, aby przyspieszyć optymalizację.

• Komunikat

  Wyświetla komunikat o błędzie, jeśli zmiany w tabeli nie powiodły się i nie zostały przetworzone.