Überwachen einer einzelnen Datenaufgabe

Sie können den Status und Fortschritt Ihrer Datenaufgaben überwachen, indem Sie im Dropdown-Menü oben links im Fenster der Datenaufgabe die Option Überwachen auswählen.

Sie können auch Überwachungsansichten zum Überwachen mehrerer Datenaufgaben erstellen. Weitere Informationen finden Sie unter Überwachen und Durchführen von Datenaufgaben.

Überwachen von Bereitstellungs- und Replikationsaufgaben

Die Überwachung von Bereitstellungs- und Replikationsaufgaben ähnelt sich insoweit, als sowohl das anfängliche Laden als auch CDC überwacht werden können. Aufgrund der unterschiedlichen Anwendungsfälle bestehen jedoch einige grundlegende Unterschiede.

Anwendungsfall Daten-Pipeline: Bereitstellungsaufgaben

Alle Bereitstellungsaufgaben müssen mit einem vollständigen Ladevorgang der Quelldaten ins Ziel beginnen. Nachdem der anfängliche vollständige Ladevorgang abgeschlossen ist, werden die Zieldaten mit Änderungen an den Quelldaten aktualisiert. Dies geschieht entweder über Neu laden und vergleichen oder über Change Data Capture (CDC), je nach der Aufgabendefinition.

Weitere Informationen zu Bereitstellungsaufgaben finden Sie unter Bereitstellen von Daten aus Datenquellen.
Anwendungsfall Replikation: „Daten replizieren“-Aufgaben

Alle „Daten replizieren“-Aufgaben beginnen in der Regel mit einem vollständigen Laden der Quelldaten ins Ziel. Dies ist erforderlich, wenn von SaaS-Anwendungen repliziert wird, aber optional beim Replizieren von Datenbanken. Wenn beim Replizieren von Datenbanken die Quelldaten bereits im Ziel vorhanden sind und Sie nur die Quelländerungen auf das Ziel anwenden (bzw. für die spätere Anwendung speichern) möchten, kann der Replikationsmodus Änderungen anwenden, Änderungen speichern oder beides sein. Beide Replikationsmodi werden in der CDC-Überwachung gezeigt.

Weitere Informationen zu „Daten replizieren“-Aufgaben finden Sie in den folgende Themen:

Replizieren von Daten mit einem Standard-, Premium- oder Enterprise-Abonnement

Replizieren von Daten mit einem Qlik Talend Cloud Starter-Abonnement
Anwendungsfall Replikation: „Daten in Data Lake bereitstellen“-Aufgaben

„Daten in Data Lake bereitstellen“-Aufgaben gleichen Bereitstellungsaufgaben insoweit, als sie mit einem vollständigen Ladevorgang beginnen müssen. Nachdem der anfängliche vollständige Ladevorgang abgeschlossen ist, werden die Zieldaten mit Änderungen an den Quelldaten aktualisiert. Dies geschieht entweder über Neu laden oder über Change Data Capture (CDC). Trotz ihrer Ähnlichkeit mit Bereitstellungsaufgaben werden „Daten in Data Lake bereitstellen“-Aufgaben als Replikationsaufgaben betrachtet, da sie nur in einer Replikation von der Quelle an das Ziel bestehen. Sie bieten keine Möglichkeit, die Daten an einer späteren Stelle zu bearbeiten (z. B. mit Umwandlungen und Data Marts), was in einer Daten-Pipeline möglich ist.

InformationshinweisDie Schritte zum Erstellen einer getrennten „Daten in Data Lake bereitstellen“-Aufgabe sind für ein Qlik Talend Cloud Starter-Abonnement nicht relevant. Bei einem Qlik Talend Cloud Starter-Abonnement erfolgt die Replikation an Cloud-Speicherziele über eine standardmäßige „Daten replizieren“-Aufgabe.

Weitere Informationen zu „Daten in Data Lake bereitstellen“-Aufgaben finden Sie unter Bereitstellen von Daten in einem Data Lake mit einem Standard-, Premium- oder Enterprise-Abonnement.

Überwachungsdetails

Sie können die folgenden Details für die Datenaufgabe in Status der vollständigen Ladung anzeigen:

In Warteschlange gestellt – Anzahl der aktuell in der Warteschleife befindlichen Tabellen
Wird geladen – Anzahl der Tabellen, die gerade geladen werden
Abgeschlossen – Anzahl der abgeschlossenen Tabellen
Fehler – Anzahl der fehlerhaften Tabellen

Sie können die folgenden Details für jede Tabelle in der Datenaufgabe anzeigen:

Name

Der Name der Zieldatenbank.
Status

Der Tabellenstatus ist einer der Folgenden: In Warteschlange gestellt, Wird geladen, Abgeschlossen oder Fehler.
Gestartet

Uhrzeit, um die der Ladevorgang gestartet wurde.
Beendet

Uhrzeit, um die der Ladevorgang beendet wurde.
Dauer

Dauer des Ladevorgangs im Format hh:mm:ss.
Datensätze

Anzahl der Datensätze, die während des Ladevorgangs repliziert wurden
Zwischengespeicherte Änderungen

Die Anzahl der zwischengespeicherten Änderungen.
Meldung

Zeigt eine Fehlermeldung an, wenn der Ladevorgang nicht erfolgreich verarbeitet wurde.

Überwachungsdetails für Change Data Capture (CDC)

Sie können die folgenden CDC-Details für die Datenaufgabe anzeigen, um die Änderungsverarbeitung in CDC-Status zu überwachen:

Eingehende Änderungen – Anzahl der Änderungen, die an der Quelle vorzufinden sind und auf die Verarbeitung warten. Sie können sehen, wie viele angesammelt sind und wie viele gerade angewandt werden.
Verarbeitete Änderungen – Anzahl der Änderungen, die (in den letzten 24 Stunden) verarbeitet und angewandt wurden
Durchsatz – durchschnittlicher Zieldurchsatz in Kilobyte/Sekunde. Damit wird angegeben, wie schnell die Änderungsdatensätze in den Zielendpunkt geladen werden.
Latenz – aktuelle Latenz des Datenobjekts (hh:mm:ss). Diese Dauer ist die Zeit, ab der die Änderung in der Quelle verfügbar ist, bis zum Zeitpunkt, an dem die Änderung angewandt wird und im Ziel oder Bereitstellungsobjekt verfügbar ist.

Sie können die folgenden Details für jede Tabelle in der Datenaufgabe anzeigen:

Name

Name der Zieltabelle im Bereitstellungsobjekt
Status

Der Tabellenstatus ist entweder Änderungen werden akkumuliert oder Fehler
Zuletzt verarbeitet

Datum und Uhrzeit der letzten Änderungen an der Tabelle
Einfügungen

Anzahl der Einfügeoperationen
Aktualisierungen

Anzahl der Aktualisierungsoperationen

InformationshinweisAktualisierungen werden als Einfügungen für SaaS-Anwendungsquellen behandelt.
Löschungen

Anzahl der Löschoperationen
DDL-Vorgänge

Die Anzahl der DDL-Vorgänge

InformationshinweisNur für „Daten replizieren“-Aufgaben verfügbar.
Meldung

Zeigt eine Fehlermeldung an, wenn Änderungen an der Tabelle fehlschlagen und nicht verarbeitet werden.

Wenn Sie Daten von einer lokalen Quelle bereitstellen und den Modus Vollständiges Laden ausgewählt haben, werden die Tabellen automatisch geladen, wenn das Bereitstellungsobjekt auf Ausführen steht.

Wenn Sie Daten von einer lokalen Quelle bereitstellen und den Modus Vollständiges Laden und CDC ausgewählt haben, werden die Tabellen kontinuierlich mit neuen Daten nach dem anfänglichen vollständigen Laden aktualisiert.

Laden ausgewählter Tabellen

Sie können ausgewählte Tabellen manuell aus der Quelle laden. Dies ist nützlich, wenn Sie einzelne Tabellen mit Fehlern wiederherstellen möchten. Das Laden von Tabellen wirkt sich nicht auf die CDC-Zeitachse aus, die zurückgesetzt wird, wenn Sie Tabellen neu erstellen nutzen. Metadatenänderungen werden beim Laden von Tabellen nicht übernommen.

Um ausgewählte Tabellen zu laden, wählen Sie die Tabellen im unteren Bereich von Überwachen aus und klicken Sie auf Tabellen laden.

Sie benötigen die gleichen Berechtigungen wie zum Ausführen der Datenaufgabe, also die Rolle Besitzer oder Kann bedienen.

Tabellen laden steht nach der ersten Ausführung der Datenaufgabe zur Verfügung. Wenn die Aktualisierungsmethode Neu laden und vergleichen lautet, ist Tabellen laden nicht verfügbar, wenn die Datenaufgabe ausgeführt wird.

Nachgelagerte Speicherdatenaufgaben werden bei ihrer nächsten Ausführung synchronisiert. Wenn der Verlauf der Speicheraufgabe aktiviert ist, wird er beibehalten.

Die Wiederherstellung durch erneutes Laden der Tabellen ist nicht möglich. Der nächste Schritt besteht im Reparieren der Datenaufgabe.

Erneutes Laden aller Tabellen ins Ziel

Sie können alle Tabellen erneut ins Ziel laden, wenn Sie CDC-Probleme haben, die sich nicht durch das erneute Laden bestimmter Tabellen beheben lassen. Beispiele dieser Probleme sind fehlende Ereignisse, durch eine Neuorganisation der Quelldatenbank entstandene Probleme oder Ausfälle beim Lesen von Quelldatenbankereignissen.

Dieser Vorgang ist nur für Aufgaben mit der Aktualisierungsmethode Change Data Capture (CDC) verfügbar.

Halten Sie die Datenaufgabe und alle diese nutzenden Aufgaben an.
Öffnen Sie die Datenaufgabe und wählen Sie die Registerkarte Überwachen aus.
Klicken Sie auf ... und dann auf Ziel neu laden.

Dadurch werden alle Tabellen mittels Löschen und Erstellen neu ins Ziel geladen, und alle Change Data Capture-Vorgänge starten ab diesem Zeitpunkt neu.

Speicheraufgaben, die diese Bereitstellungsdatenaufgabe nutzen, werden bei ihrer nächsten Ausführung mit Vergleichen und Anwenden neu geladen, um synchronisiert zu werden. Der vorhandene Verlauf wird beibehalten. Der Verlauf für Typ 2 wird aktualisiert und spiegelt die Änderungen wider, nachdem der Lade- und Vergleichsprozess ausgeführt wurde.

Der Zeitstempel für das Von-Datum im Verlauf für Typ 2 spiegelt das Ladedatum wider, das nicht unbedingt dem Datum der Änderung in der Quelle entspricht.
Speicher-Live-Ansichten sind während des Vorgangs „Ziel neu laden“ nicht zuverlässig, bis der Speicher wieder synchronisiert ist. Der Speicher wird in folgenden Fällen vollständig synchronisiert:
- Alle Tabellen werden mit „Vergleichen und anwenden“ neu geladen.
- Ein Änderungszyklus wird für jede Tabelle durchgeführt.

Überwachen von Speicher-, Umwandlungs- und Data Mart-Aufgaben

Sie können den Status und Fortschritt einer Speicher-, Umwandlungs- oder Data Mart-Aufgabe überwachen.

Während der erste Ladevorgang läuft, können Sie den Fortschritt unter Status der vollständigen Ladung einsehen.
Während Änderungen verarbeitet werden, können Sie auch den Status und den Fortschritt unter Aktueller Satz Änderungen anzeigen.
Wenn Änderungen verarbeitet wurden, können Sie den Status und Fortschritt unter Letzter Satz Änderungen anzeigen.

In der unteren Hälfte von Überwachen können Sie den Status und den Fortschritt für jeden Datensatz anzeigen.

Sie können auch detaillierte Informationen auf der Ebene des SQL-Befehls anzeigen.

Anzeigen von Status und Fortschritt

Sie können die folgenden Details für jeden Datensatz oder jede Änderung anzeigen:

Status

Hier wird der aktuelle Zustand dieses Datensatzes oder dieser Änderung gezeigt.
- Abgeschlossen: Der Ladevorgang bzw. die Änderung wurde erfolgreich abgeschlossen.
- Wird geladen: Die Tabelle bzw. die Änderung wird verarbeitet.
- In Warteschlange gestellt: Die Tabelle bzw. die Änderung wartet auf ihre Verarbeitung.
- Fehler: Beim Verarbeiten der Tabelle bzw. der Änderung ist ein Fehler aufgetreten.
Gestartet

Uhrzeit, um die der Ladevorgang oder die Verarbeitung der Änderungen gestartet wurde.
Beendet

Uhrzeit, um die der Ladevorgang oder die Verarbeitung der Änderungen beendet wurde.
Dauer

Dauer des Ladevorgangs oder der Änderungsverarbeitung im Format hh:mm:ss.
Verarbeitete Datensätze

Die Anzahl der Datensätze, die bei dem Lade- oder Änderungsvorgang verarbeitet wurden.
Durchsatz (Datensätze/Sekunde)

Der Durchsatz wird erst aktualisiert, nachdem der Ladevorgang abgeschlossen ist.
Meldung

Zeigt eine Fehlermeldung an, wenn der Lade- oder Änderungsvorgang nicht erfolgreich verarbeitet wurde.

Die Datensätze werden fortlaufend mit neuen Daten aktualisiert, sobald der Bereitstellungsbereich von der Replikationsaufgabe aktualisiert wird. Jeder Satz bezieht sich auf Datensätze aus einem bestimmten Zeitraum. Sie können die Zeitspanne des neuesten Satzes in Letzter Satz Änderungen anzeigen.

Daten aus allen Quelltransaktionen bis zum unter Datenaufgabe wird aktualisiert auf angezeigten Zeitpunkt können über diese Datenaufgabe genutzt werden. Diese Informationen stehen für eine Datenaufgabe zur Verfügung, nachdem alle Tabellen geladen und der erste Satz Änderungen angewendet wurde. Wenn Sie sich für die Generierung von Live-Ansichten entschieden haben, können Sie es auch sehen, wenn Live-Ansichten aktualisiert wurden.

Wenn ein Satz Änderungen anfällt, bevor der anfängliche Ladevorgang abgeschlossen ist, wird Datenaufgabe wird aktualisiert auf erst dann aktualisiert, nachdem der anfängliche Ladevorgang abgeschlossen ist und der erste Satz Änderungen angewendet wurde. Nehmen wir beispielsweise an, dass Sie ein Datenobjekt laden, das einen Datensatz „Bestellungen“ mit 1 Million Bestellungen sowie einen Datensatz „Bestellungsdetails“ mit 10 Millionen Bestellungsdetails enthält. Ein vollständiger Ladevorgang der Datensätze dauert 10 bzw. 20 Minuten. Der Datensatz „Bestellungen“ wird zuerst geladen, gefolgt von „Bestellungsdetails“. Während der Datensatz „Bestellungen“ geladen wurde, wurde eine neue Bestellung eingefügt. Wenn dann die Bestellungsdetails geladen werden, kann es vorkommen, dass der Datensatz Details der neuen Bestellung enthält, die in dem Datensatz „Bestellungen“ noch nicht vorhanden ist. Die Datensätze „Bestellungen“ und „Bestellungsdetails“ sind erst dann synchronisiert und vollständig auf den gleichen Zeitpunkt aktualisiert, nachdem der erste Satz Änderungen angewendet wurde.

Anzeigen detaillierter Informationen

Sie können detaillierte Informationen auf der Ebene des SQL-Befehls anzeigen.

Wählen Sie Vollständiges Laden, Aktueller Satz Änderungen oder Letzter Satz Änderungen in der Dropdownliste im unteren Teil von Überwachen aus.
Wählen Sie die Datensätze aus, die detailliert überwacht werden sollen.
Klicken Sie auf Überwachungsdetails.

Überwachungsdetails wird angezeigt, wo Sie die Befehle anzeigen können, die für jeden Schritt im Lade- oder Änderungsprozess ausgeführt werden. Sie können auf einen Befehl klicken, um die vollständigen SQL-Befehle anzuzeigen, die ausgeführt wurden.

Klicken Sie auf In CSV exportieren, um eine Textdatei mit vollständigen SQL-Befehlen für alle aufgelisteten Befehle zu exportieren.

Datenaufgabe wird aktualisiert auf für Ansichten

Das Feld Datenaufgabe wird aktualisiert auf zeigt die Uhrzeit an, um die die älteste Ansicht aktualisiert wurde.

Standardansichten

Datenaufgabe wird aktualisiert auf zeigt die Uhrzeit an, um die die älteste Standardansicht aktualisiert wurde.

Beispiel: Eine Aufgabe besteht aus zwei Tabellen, „Orders“ und „Order details“. „Orders“ ist bis 10:01 aktualisiert und umfasst Datensätze von 10:00 und 10:01, während „Order details“ nur Datensätze von 10:00 umfasst. In diesem Fall wird die Datenaufgabe auf 10:00 aktualisiert. Dies darf nicht mit den Start- und Enduhrzeiten des Datenaufgabe-Ladevorgangs verwechselt werden, die 10:02 bis 10:03 sein könnten.
Live-Ansichten (Speicherdatenaufgaben)

Datenaufgabe wird aktualisiert auf zeigt um die Uhrzeit an, um die die älteste Live-Ansicht aktualisiert wurde.

Beispiel: Eine Aufgabe besteht aus einer Tabelle „Orders“. „Orders“ in der Bereitstellung wird mit den Datensätzen von 10:00 und 10:01 auf 10:01 aktualisiert, aber „Orders“ im Speicher wird nur bis zu den Datensätzen von 10:00 aktualisiert. In diesem Fall werden Live-Ansichten für „Orders“ auf 10:01 aktualisiert, und Standardansichten werden auf 10:00 aktualisiert.

Hat diese Seite Ihnen geholfen?

Wenn Sie Probleme mit dieser Seite oder ihren Inhalten feststellen – einen Tippfehler, einen fehlenden Schritt oder einen technischen Fehler –, teilen Sie uns bitte mit, wie wir uns verbessern können!

Geben Sie hier Ihr Feedback ab