Monitorowanie zadania przechowywania Qlik Open Lakehouse

Zadanie przechowywania w projektach Qlik Open Lakehouse różni się od innych projektów, ponieważ działa w sposób ciągły, a nie w trybie wsadowym. W rezultacie metryki monitorowania są inne.

Ogólny przegląd monitorowania

Widok monitorowania umożliwia śledzenie statusu i metryk zadania:

• Karty

  Przełączaj się między kartami Informacje, Pełne ładowanie i Przetwarzanie zmian, aby wyświetlić odpowiednie metryki dla każdej fazy zadania.

• Filtr statusu zestawu danych

  Wykres słupkowy nad tabelą zestawów danych pokazuje, ile zestawów danych ma poszczególne statusy: W kolejce, Ładowanie, Zakończono i Błąd. Wykres jest aktualizowany dynamicznie w miarę zmian statusów zestawów danych. Kliknij segment statusu, aby przefiltrować tabelę zestawów danych i wyświetlić tylko zestawy danych o tym statusie.

• Ukryj widgety

  Kliknij Ukryj widgety, aby zwinąć widgety metryk. Zapewnia to więcej miejsca na wyświetlenie tabeli zestawów danych poniżej.

• Data rozpoczęcia

  Data i godzina rozpoczęcia bieżącego uruchomienia zadania.

• Data zakończenia

  Data i godzina zakończenia uruchomienia zadania. Jest wyświetlana tylko dla zakończonych uruchomień zadań.

• Historia uruchomień

  Kliknij Historia uruchomień, aby wyświetlić listę poprzednich uruchomień zadań i ich wyniki.

Szczegóły monitorowania informacji

Sekcja Informacje zawiera podsumowanie ogólnego statusu zadania:

• Uruchomienie

  Wyświetla Identyfikator uruchomienia bieżącego uruchomienia.

• Dane

  Pole Zadanie danych jest zaktualizowane do wyświetla czas, do którego zaktualizowano najstarszy widok. Reprezentuje ono najpóźniejszy punkt w czasie, w którym wszystkie zmiany źródłowe zatwierdzone do tego momentu są już dostępne w tabelach docelowych.

  Jeśli nie zostaną wykryte żadne nowe zmiany źródłowe, wartość ta zostanie ustawiona na bieżący czas.

• Zadanie

  Wyświetla nazwę i status klastra, na którym działa to zadanie, a także ogólne informacje o zadaniu i jego status.

Szczegóły monitorowania pełnego ładowania

W sekcji Pełne ładowanie można wyświetlić następujące statystyki zadania danych:

• Łączna liczba zestawów danych

  Liczba załadowanych zestawów danych.

• Zestawy danych z błędami

  Liczba zestawów danych z błędami.

• Zmiany przychodzące

  Liczba zmian przychodzących.

• Łączne opóźnienie

  Bieżące opóźnienie zadania (gg:mm:ss). Ten czas trwania reprezentuje czas od momentu, gdy zmiana jest dostępna w źródle, do momentu, gdy zmiana zostanie zastosowana i będzie dostępna w obiekcie docelowym.

Dla każdej tabeli w zadaniu danych można wyświetlić następujące szczegóły:

• Nazwa

  Nazwa tabeli docelowej.

• Stan

  Stan tabeli będzie następujący: W kolejce, Ładowanie, Zakończono lub Błąd.

• Rozpoczęto

  Czas rozpoczęcia ładowania.

• Zakończono

  Czas zakończenia ładowania.

• Czas trwania

  Czas trwania ładowania w formacie gg:mm:ss.

• Rekordy

  Liczba rekordów, które zostały zreplikowane podczas ładowania.

• Komunikat

  Wyświetla komunikat o błędzie, jeśli ładowanie nie zostało pomyślnie przetworzone.

Szczegóły monitorowania przetwarzania zmian

W sekcji Przetwarzanie zmian można wyświetlić następujące szczegóły dotyczące zadania danych w celu monitorowania przetwarzania zmian:

• Łączna liczba zestawów danych

  Liczba załadowanych zestawów danych.

• Zestawy danych z błędami

  Liczba zestawów danych z błędami.

• Zmiany przychodzące

  Liczba zmian przychodzących.

• Przetworzone zmiany

  Liczba przetworzonych zmian.

• Łączne opóźnienie

  Bieżące opóźnienie zadania (gg:mm:ss). Ten czas trwania reprezentuje czas od momentu, gdy zmiana jest dostępna w źródle, do momentu, gdy zmiana zostanie zastosowana i będzie dostępna w obiekcie docelowym.

Dla każdej tabeli w zadaniu danych można wyświetlić następujące szczegóły:

• Nazwa

  Nazwa tabeli docelowej w zasobie umieszczania.

• Stan

  Stan tabeli będzie następujący: Kumulowanie zmian lub Błąd.

• Zmiany przychodzące

  Liczba zmian przetworzonych przez zadanie umieszczania, które czekają na zastosowanie przez zadanie przechowywania.

• Przetworzone zmiany

  Łączna liczba zmian, które zostały zastosowane w obiekcie docelowym od czasu ostatniego pełnego załadowania zestawu danych (przez początkowe pełne ładowanie lub akcję ponownego ładowania).

• Last processed

  Czas ostatnich danych źródłowych, które zostały wstawione do docelowego zestawu danych, przeliczony na czas lokalny.

• Unoptimized changes

  Liczba rekordów, o które można pytać za pośrednictwem widoku, ale które nie zostały jeszcze scalone ze zoptymalizowanymi partycjami Iceberg. Wysokie wartości mogą wpływać na wydajność do czasu zakończenia optymalizacji w tle.

  Odzwierciedla to liczbę rekordów znajdujących się obecnie w partycji zmian, które nie zostały jeszcze zastosowane do partycji bieżących lub historycznych.

  Jeśli ta liczba jest stale wysoka, rozważ zwiększenie mocy obliczeniowej klastra w celu przyspieszenia optymalizacji.

• Message

  Wyświetla komunikat o błędzie, jeśli zmiany w tabeli zakończą się niepowodzeniem i nie zostaną przetworzone.

Wyświetlanie historii uruchomień

Możesz wyświetlić historię uruchomień zadania, aby zidentyfikować przyczyny źródłowe i zrozumieć wzorce na przestrzeni czasu.

• Kliknij pozycję Historia uruchomień w widoku Monitor zadania.

• Kliknij pozycję Historia uruchomień w menu ... zadania w obszarze Widoki monitorowania.

W historii uruchomień wyświetlanych jest maksymalnie 100 wykonań na podstawie wybranych filtrów. Doprecyzuj kryteria filtrowania, aby zobaczyć inne wykonania. Możesz filtrować według daty zakończenia wykonania i statusu zadania. Informacje o uruchomieniach są przechowywane przez 13 miesięcy. Metadane zestawu danych w uruchomieniach są przechowywane przez 30 dni.