Monitorowanie Qlik Open Lakehouse zadania pamięci masowej

Zadanie pamięci masowej w Qlik Open Lakehouse projektach różni się od innych projektów, ponieważ działa w sposób ciągły, a nie w trybie wsadowym. W rezultacie metryki monitorowania są inne.

Ogólny przegląd monitorowania

Widok monitorowania umożliwia śledzenie statusu zadań i metryk:

• Karty

  Przełączaj między Informacje, Pełne ładowanie i Przetwarzanie zmian, aby wyświetlić odpowiednie metryki dla każdej fazy zadania.

• Filtr statusu zbioru danych

  Wykres słupkowy nad tabelą zestawów danych pokazuje, ile zestawów danych znajduje się w każdym statusie: W kolejce, Ładowanie, Ukończone i Błąd. Wykres jest aktualizowany dynamicznie w miarę zmian statusów zestawów danych. Kliknij segment statusu, aby filtrować tabelę zbiorów danych i wyświetlić tylko zbiory danych o tym statusie.

• Ukryj widżety

  Kliknij opcję Ukryj widżety, aby zwinąć widżety metryk. To zapewnia więcej miejsca do wyświetlania tabeli zestawów danych poniżej.

• Data rozpoczęcia

  Data i godzina rozpoczęcia bieżącego uruchomienia zadania.

• Data zakończenia

  Data i godzina zakończenia wykonania zadania. To jest wyświetlane tylko dla zakończonych uruchomień zadań.

• Historia uruchomień

  Kliknij Historię uruchomień, aby wyświetlić listę poprzednich uruchomień zadania i ich wyników.

Szczegóły monitorowania informacji

Sekcja Informacje zawiera podsumowanie ogólnego statusu zadania:

• Uruchom

  Wyświetla ID uruchomienia bieżącego uruchomienia.

• Dane

  Zadanie dotyczące danych jest zaktualizowane do pokazuje czas, do którego został zaktualizowany najstarszy widok. Reprezentuje najpóźniejszy moment, w którym wszystkie zmiany źródłowe zatwierdzone do tej chwili są już dostępne w tabelach docelowych.

  Jeśli nie wykryto żadnych nowych zmian źródłowych, ta wartość jest ustawiana na bieżący czas.

• Zadanie

  Wyświetla nazwę i status klastra, na którym działa to zadanie, oraz ogólne informacje o zadaniu i jego status.

Szczegóły monitorowania pełnego ładowania

Możesz wyświetlić następujące statystyki dla zadania danych na karcie Pełne ładowanie:

• Łączna liczba zestawów danych

  Liczba załadowanych zestawów danych.

• Zestawy danych z błędami

  Liczba zestawów danych, które napotkały błędy.

• Nadchodzące zmiany

  Liczba zmian przychodzących.

• Całkowite opóźnienie

  Bieżące opóźnienie zadania (gg:mm:ss). Ten okres reprezentuje czas od momentu, gdy zmiana jest dostępna w źródle, do momentu, gdy zmiana zostanie zastosowana i będzie dostępna w obiekcie docelowym.

W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:

• Nazwa

  Nazwa docelowej tabeli.

• Stan

  Stan tabeli będzie następujący: W kolejce, Ładowanie, Zakończono lub Błąd.

• Rozpoczęto

  Czas rozpoczęcia ładowania.

• Zakończono

  Czas zakończenia ładowania.

• Czas trwania

  Czas trwania ładowania w formacie hh:mm:ss.

• Rekordy

  Liczba rekordów, które zostały zreplikowane podczas ładowania.

• Wiadomość

  Wyświetla komunikat o błędzie w razie niepowodzenia przetwarzania ładowania.

Szczegóły monitorowania przetwarzania zmian

Możesz zobaczyć następujące szczegóły dla zadania danych, aby monitorować przetwarzanie zmian w Przetwarzanie zmian:

• Łączna liczba zestawów danych

  Liczba załadowanych zestawów danych.

• Zestawy danych z błędami

  Liczba zestawów danych, które napotkały błędy.

• Nadchodzące zmiany

  Liczba zmian przychodzących.

• Przetworzone zmiany

  Liczba przetworzonych zmian.

• Całkowite opóźnienie

  Bieżące opóźnienie zadania (gg:mm:ss). Ten okres reprezentuje czas od momentu, gdy zmiana jest dostępna w źródle, do momentu, gdy zmiana zostanie zastosowana i będzie dostępna w obiekcie docelowym.

W odniesieniu do każdej tabeli w zadaniu danych możesz wyświetlić następujące szczegóły:

• Nazwa

  Nazwa tabeli docelowej w zasobie umieszczania.

• Stan

  Stan tabeli będzie następujący: Akumulowanie zmian lub Błąd.

• Nadchodzące zmiany

  Liczba zmian przetworzonych przez zadanie umieszczania, które oczekują na zastosowanie przez zadanie magazynowania.

• Przetworzone zmiany

  Całkowita liczba zmian, które zostały zastosowane do obiektu docelowego od ostatniego pełnego załadowania zestawu danych (przez początkowe pełne ładowanie lub przez akcję ponownego ładowania).

• Ostatnio przetworzone

  Ostatni czas danych źródłowych, który został wstawiony do docelowego zestawu danych, przetłumaczony na czas lokalny.

• Niezoptymalizowane zmiany

  Liczba rekordów, które można przeszukiwać za pośrednictwem widoku, ale nie zostały jeszcze scalone w zoptymalizowane partycje Iceberg. Wysokie wartości mogą wpływać na wydajność, dopóki optymalizacje w tle nie zostaną zakończone.

  Odzwierciedla to liczbę rekordów znajdujących się obecnie w partycji zmian, które nie zostały jeszcze zastosowane do bieżącej lub historycznej partycji.

  Jeśli ta liczba jest stale wysoka, rozważ zwiększenie mocy obliczeniowej klastra, aby przyspieszyć optymalizację.

• Wiadomość

  Wyświetla komunikat o błędzie, jeśli zmiany w tabeli nie powiodły się i nie zostały przetworzone.

Wyświetlanie historii uruchomień

Możesz wyświetlić historię uruchomień zadania, aby zidentyfikować przyczyny źródłowe i zrozumieć wzorce na przestrzeni czasu.

• Kliknij pozycję Historia uruchomień w widoku Monitor zadania.

• Kliknij pozycję Historia uruchomień w menu ... zadania w obszarze Widoki monitorowania.

W historii uruchomień wyświetlanych jest maksymalnie 100 wykonań na podstawie wybranych filtrów. Doprecyzuj kryteria filtrowania, aby zobaczyć inne wykonania. Możesz filtrować według daty zakończenia wykonania i statusu zadania. Informacje o uruchomieniach są przechowywane przez 13 miesięcy. Metadane zestawu danych w uruchomieniach są przechowywane przez 30 dni.