Überwachen einer Qlik Open Lakehouse Speicheraufgabe

Die Speicheraufgabe in Qlik Open Lakehouse Projekten unterscheidet sich von anderen Projekten, da sie kontinuierlich und nicht im Stapelmodus ausgeführt wird. Folglich sind die Überwachungsmetriken unterschiedlich.

Allgemeine Überwachungsdetails

Dieser Abschnitt gibt einen Überblick über den Gesamtstatus der Aufgabe:

• Datenaufgabe wird aktualisiert auf

  Der Zeitstempel, bis zu dem alle Tabellen vollständig synchronisiert sind. Er stellt den spätesten Zeitpunkt dar, an dem alle bis zu diesem Zeitpunkt vorgenommenen Quellenänderungen bereits in den Zieltabellen verfügbar sind.

  Wenn keine neuen Quellenänderungen erkannt werden, wird dieser Wert auf die aktuelle Zeit festgelegt.

• Anzahl von Datensätzen

  Gesamtzahl der Datensätze, die in dieser Aufgabe enthalten sind.

• Datensätze mit Fehlern

  Gesamtzahl der Datensätze in dieser Aufgabe, bei denen Fehler aufgetreten sind.

• Lakehouse-Cluster

  Der Name und der Status des Clusters, auf dem diese Aufgabe ausgeführt wird.

Details zur Überwachung des vollständigen Ladens

Sie können die folgenden Details für die Datenaufgabe in Status der vollständigen Ladung anzeigen:

• In Warteschlange gestellt: Anzahl der aktuell in der Warteschleife befindlichen Tabellen.

• Wird geladen: Anzahl der Tabellen, die aktuell geladen werden.

• Abgeschlossen: Anzahl der abgeschlossenen Tabellen.

• Fehler: Anzahl der fehlerhaften Tabellen.

Sie können die folgenden Details für jede Tabelle in der Datenaufgabe anzeigen:

• Name

  Der Name der Zieldatenbank.

• Status

  Der Tabellenstatus ist einer der Folgenden: In Warteschlange gestellt, Wird geladen, Abgeschlossen oder Fehler.

• Gestartet

  Uhrzeit, um die der Ladevorgang gestartet wurde.

• Beendet

  Uhrzeit, um die der Ladevorgang beendet wurde.

• Dauer

  Dauer des Ladevorgangs im Format hh:mm:ss.

• Datensätze

  Anzahl der Datensätze, die während des Ladevorgangs repliziert wurden

• Meldung

  Zeigt eine Fehlermeldung an, wenn der Ladevorgang nicht erfolgreich verarbeitet wurde.

Überwachungsdetails für Change Data Capture (CDC)

Sie können die folgenden CDC-Details für die Datenaufgabe anzeigen, um die Änderungsverarbeitung in CDC-Status zu überwachen:

• Eingehende Änderungen: Anzahl der Änderungen, die an der Quelle vorliegen und auf die Verarbeitung warten. Sie können sehen, wie viele angesammelt sind und wie viele gerade angewendet werden.

• Verarbeitete Änderungen: Anzahl der Änderungen, die (in den letzten 24 Stunden) verarbeitet und angewendet wurden.

• Latenz: die Zeitdifferenz (hh:mm:ss) zwischen dem ältesten Zeitstempel des Quellereignisses in der Bereitstellung, das noch nicht zur Speicherung verarbeitet wurde, und der aktuellen Zeit. Diese Dauer ist die Zeit, ab der die Änderung in der Quelle verfügbar ist, bis zum Zeitpunkt, an dem die Änderung angewendet wird und im Bereitstellungsobjekt verfügbar ist.

Sie können die folgenden Details für jede Tabelle in der Datenaufgabe anzeigen:

• Name

  Name der Zieltabelle im Bereitstellungsobjekt

• Status

  Der Tabellenstatus ist entweder „Änderungen werden akkumuliert“ oder „Fehler“

• Eingehende Änderungen

  Die Anzahl der von der Bereitstellungsaufgabe verarbeiteten Änderungen, die darauf warten, von der Speicheraufgabe angewendet zu werden.

• Verarbeitete Änderungen

  Die Gesamtzahl der Änderungen, die seit dem letzten vollständigen Laden des Datensatzes (durch das anfängliche vollständige Laden oder durch eine Neuladeaktion) an dem Ziel vorgenommen wurden.

• Zuletzt verarbeitet

  Die letzte Quelldatenzeit, die in den Zieldatensatz eingefügt wurde, umgerechnet in Ortszeit.

• Nicht optimierte Änderungen

  Anzahl der Datensätze, die über die Ansicht abgefragt werden können, aber noch nicht in optimierte Iceberg-Partitionen zusammengeführt wurden. Eine hohe Anzahl kann die Leistung beeinträchtigen, bis die Optimierungen im Hintergrund abgeschlossen sind.

  Dies spiegelt die Anzahl der Datensätze wider, die sich derzeit in der Änderungspartition befinden und noch nicht auf die aktuelle oder Verlaufs-Partition angewendet wurden.

  Wenn diese Zahl konstant hoch ist, sollten Sie die Rechenkapazität des Clusters erhöhen, um die Optimierung zu beschleunigen.

• Meldung

  Zeigt eine Fehlermeldung an, wenn Änderungen an der Tabelle fehlschlagen und nicht verarbeitet werden.