Fehlerbehebung von Datenaufgaben

In diesem Abschnitt werden Probleme beschrieben, die bei der Arbeit mit Datenaufgaben auftreten können, sowie die entsprechenden Schritte zur Fehlerbehebung.

Fehlerbehebung von Umgebungsfehlern

Wenn eine Datenaufgabe auf einen Umgebungsfehler trifft, zum Beispiel Zeitüberschreitungen, Netzwerkfehler oder Verbindungsfehler, versucht sie den Vorgang automatisch erneut. Falls der Fehler nach dem erneuten Versuch nicht gelöst ist, wird die Ausführung der Datenaufgabe abgebrochen und es wird der Status Fehler mit einer Fehlermeldung angezeigt.

• Bereitstellungsaufgaben mit Datenquellen, die nur über Data Movement Gateway zugänglich sind:

  Der Vorgang wird in 5-Sekunden-Intervallen eine unendliche Anzahl von Malen erneut versucht.

  Wenn der Ausfall lange dauert, wird das Intervall verdoppelt, bis ein Intervall von 1800 Sekunden erreicht wird.

• Bereitstellungsaufgaben mit Datenquellen, die ohne Data Movement Gateway erreicht werden können, Speicheraufgaben, Umwandlungsaufgaben und Data Mart-Aufgaben:

  Der Vorgang wird in 1-Sekunden-Intervallen 3 Mal erneut versucht.

Gehen Sie folgendermaßen vor:

1. Beheben Sie den Fehler mithilfe der Fehlermeldung.

2. Laden Sie die Datenaufgabe oder setzen Sie den Vorgang für die Datenaufgabe fort.

Behebung von Problemen mit einer spezifischen Tabelle

Wenn während des Schreiben in eine bestimmte Tabelle ein Fehler bei einer Datenaufgabe auftritt, wird die Datenaufgabe weiterhin ausgeführt. Die Tabelle mit dem Fehler zeigt den Status Fehler mit einer Fehlermeldung an.

1. Beheben Sie den Fehler mithilfe der Fehlermeldung.

2. Laden Sie die Tabelle mit dem Fehler.

Fehlerbehebung für CDC-Probleme

Bei der Bereitstellung von Datenaufgaben mit dem Aktualisierungsmodus Vollständiges Laden und CDC können Probleme im Zusammenhang mit CDC auftreten, die sich auf die ganze Aufgabe auswirken und die nicht durch das erneute Laden bestimmter Tabellen behoben werden können. Beispiele dieser Probleme sind fehlende Ereignisse, durch eine Neuorganisation der Quelldatenbank entstandene Probleme oder Ausfälle beim Lesen von Quelldatenbankereignissen.

Sie können alle Tabellen erneut ins Ziel laden, um derartige Probleme zu beheben.

1. Halten Sie die Datenaufgabe und alle diese nutzenden Aufgaben an.

2. Öffnen Sie die Datenaufgabe und wählen Sie die Registerkarte Überwachen aus.

3. Klicken Sie auf ... und dann auf Ziel neu laden.

Dadurch werden alle Tabellen mittels Löschen und Erstellen neu ins Ziel geladen, und alle Change Data Capture-Vorgänge starten ab diesem Zeitpunkt neu.

• Speicheraufgaben, die diese Bereitstellungsdatenaufgabe nutzen, werden bei ihrer nächsten Ausführung mit Vergleichen und Anwenden neu geladen, um synchronisiert zu werden. Der vorhandene Verlauf wird beibehalten. Der Verlauf für Typ 2 wird aktualisiert und spiegelt die Änderungen wider, nachdem der Lade- und Vergleichsprozess ausgeführt wurde.

  Der Zeitstempel für das Von-Datum im Verlauf für Typ 2 spiegelt das Ladedatum wider, das nicht unbedingt dem Datum der Änderung in der Quelle entspricht.

• Speicher-Live-Ansichten sind während des Vorgangs „Ziel neu laden“ nicht zuverlässig, bis der Speicher wieder synchronisiert ist. Der Speicher wird in folgenden Fällen vollständig synchronisiert:

  • Alle Tabellen werden mit „Vergleichen und anwenden“ neu geladen.

  • Ein Änderungszyklus wird für jede Tabelle durchgeführt.

Weitere Informationen finden Sie unter Erneutes Laden aller Tabellen ins Ziel.

NULL-Werte in Primärschlüsselspalten

Sie können eine Fehlermeldung erhalten, wenn Sie eine Datenaufgabe ausführen: Unknown execution error - NULL result in a non-nullable column.

Mögliche Ursache  

Spalten, die als Primärschlüssel verwendet werden, dürfen keine NULL-Werte enthalten und keine NULL-Werte zulassen.

Vorgeschlagene Aktion  

Fügen Sie in der Quelldatenaufgabe eine Formel hinzu, die alle NULL-Werte in einen Wert wie z. B. 0 konvertiert.

Sie können auch einen andere Spalte als Primärschlüssel auswählen.

Übertragungsfehler, wenn Redshift als Datenplattform verwendet wird

Möglicherweise erhalten Sie den folgenden oder einen ähnlichen Fehler, wenn Sie Redshift als Datenplattform verwenden: Die Konvertierungsfunktion von „unbekannt“ zu „Zeichen variierend“ konnte nicht gefunden werden.

Mögliche Ursache  

Übertragung einer konstanten Formel fehlt. Das kann in Data Marts aufgrund der höheren Komplexität der abschließenden Abfrage häufiger vorkommen.

Vorgeschlagene Aktion  

Übertragen Sie die konstante Formel als Text.

Beispiel:

Zweideutige Spaltennamen

Wenn Sie Daten auf der Grundlage einer Ansicht registrieren, die in einer Qlik Talend Data Integration Pipeline erstellt wurde, kann die Ansicht Spalten enthalten, die von Qlik Talend Data Integration generiert wurden. Die Namen dieser Spalten, die mit hdr__ beginnen, sind reserviert. Wenn eine Spalte mit einem reservierten Namen in einer Speicheraufgabe genutzt wird, erstellt die Speicheraufgabe Spalten mit demselben reservierten Namen, was zu einem Namenskonflikt führt. Sie können zum Beispiel zwei Spalten mit dem Namen hdr__key_hash haben.

Weitere Informationen zu reservierten Spaltennamen in Ansichten finden Sie unter Ansichten.

Vorgeschlagene Aktion  

Benennen Sie die Spalte, die aus der Aufgabe mit registrierten Daten stammt, in der Speicherdatenaufgabe um. Benennen Sie zum Beispiel hdr__key_hash in my__key_hash um.

Fehlerbehebung für Datenaufgaben gestützt auf Data Movement Gateway

Informationen zu Bereitstellungsvorgängen für Datenaufgaben basierend auf Data Movement Gateway finden Sie in den Protokolldateien. Sie können auch die Protokollierungsebene festlegen. Protokolle sind verfügbar, wenn die Datenaufgabe ihre erste Ausführung beendet hat.

Sie benötigen eine der folgenden Berechtigungen für den Bereich, in dem sich die Datenaufgabe befindet, um Protokolldateien anzuzeigen:

• Besitzer

• Kann operieren

Sie benötigen zudem eine der folgenden Berechtigungen für den Bereich, in dem sich das Daten-Gateway befindet:

• Kann nutzen
• Kann bearbeiten
• Kann verwalten

Anzeigen von Protokolldateien

Öffnen Sie den Protokoll-Viewer, indem Sie in einer Bereitstellungsdatenaufgabe, die auf Data Movement Gateway basiert, auf Protokolle anzeigen klicken. Die anzuzeigenden Protokolle können Sie unter Replikations-Engine-Protokolle auswählen. Sie können mit und in der Datei nach oben und unten scrollen.

Festlegen von Protokollierungsoptionen

Sie können die Protokollierungsebene für verschiedene Vorgänge der Replikation unter Protokollierungsoptionen festlegen.

Speichern der Protokollierungstypen „Verfolgen“ und „Ausführlich“ im Arbeitsspeicher

Wenn die Protokollierungsebene auf „Verfolgen“ oder „Ausführlich“ festgelegt ist, können Sie Qlik Talend Data Integration anweisen, die Protokollinformationen im Arbeitsspeicher zu speichern, bis ein Fehler auftritt. Wenn ein Fehler festgestellt wird, beginnt Qlik Talend Data Integration mit dem Schreiben der physischen Protokolle und fährt damit einige Minuten nach dem ersten Auftreten des Fehlers fort.

Wenn kein Fehler eintritt, bevor der zugewiesene Arbeitsspeicher voll ist, leert Qlik Talend Data Integration den Arbeitsspeicherpuffer und beginnt von vorn.

Diese Option ist nützlich für Aufgaben, die unvorhersehbar und ohne offensichtlichen Grund fehlschlagen. Das fortlaufende Schreiben großer Informationsmengen in die Protokolle wirft zwei Probleme auf:

• Wenn der Protokolliermodus „Verfolgen“ oder „Ausführlich“ ausgeführt wird, füllt sich der verfügbare Festplattenspeicherplatz schnell (es sei denn, die Protokolliereinstellungen wurden entsprechend konfiguriert, um dies zu verhindern).
• Das fortlaufende Schreiben großer Datenmengen in die Protokolle beeinträchtigt die Leistung.

So verwenden Sie diese Option:

1. Aktivieren Sie die Schaltfläche Nachverfolgungs-/Ausführliche Protokollierung in Hauptspeicher speichern. Wenn Fehler auftritt, in Protokolle schreiben oben auf der Registerkarte.
2. Geben Sie im Feld Hauptspeicher bis zu (MB) zuweisen die Arbeitsspeichermenge an, die Sie zum Speichern der Protokollinformationen zuweisen möchten.

Festlegen von Protokollierungsebenen

Sie können die folgenden Ebenen festlegen:

• 1. Fehler

  Zeigt Fehlermeldungen an.

• 2. Warnung

  Zeigt Warnmeldungen an.

• 3. Info

  Zeigt Informationsmeldungen an.

• 4. Debugging

  Zeigt zusätzliche Informationen zu Fehlerbehebungszwecken an.

• 5. Detaillierte Fehlerbehebung

  Zeigt detaillierte Informationen zu Fehlerbehebungszwecken an.

Die höheren Ebenen schließen immer die Meldungen der unteren Ebenen mit ein. Wenn Sie also Fehler auswählen, werden nur Fehlermeldungen ins Protokoll geschrieben. Wenn Sie dagegen Info auswählen, werden Informations-, Warn- und Fehlermeldungen eingeschlossen. Im Allgemeinen können die Ebenen Debugging und Detailliertes Debugging sehr große Protokolldatenmengen erzeugen.

Sie können Global verwenden, um die gleiche Ebene für alle Vorgänge festzulegen, oder die Ebene einzeln für jeden Vorgang festlegen.

• Quelle – Vollständiges Laden

  Protokolliert Aktivität bezüglich vollständiger Ladevorgänge in der Datenquelle. Dies schließt die SELECT-Befehle ein, die für die Quelltabellen vor dem vollständigen Laden ausgeführt wurden.

• Quelle – CDC

  Protokolliert Aktivität bezüglich CDC-Vorgängen in der Datenquelle.

  WarnhinweisWenn dies auf die Ebene Detailliertes Debugging eingestellt wird, werden sehr große Datenmengen im Protokoll generiert.

• Quelle – Daten

  Detaillierte Protokollierung der Datenquellenaktivität für vollständiges Laden und CDC-Vorgänge.

• Ziel – Vollständiges Laden

  Protokolliert Aktivität bezüglich vollständiger Ladevorgänge im Ziel.

• Ziel – CDC

  Protokolliert Aktivität bezüglich CDC-Vorgängen im Ziel.

• Ziel – Hochladen

  Protokolliert Aktivität, wenn Dateien ans Ziel übertragen werden.

• Erweitertes CDC

  Detaillierte Protokollierung der CDC-Aktivität, beispielsweise Synchronisierung und Speicherung von Transaktionen.

• Leistung

  Protokolliert Latenzwerte für Quelle und Ziel.

• Metadaten

  Protokolliert Aktivität bezüglich dem Lesen von Metadaten und Metadatenänderungen. Auch der Status der Replikationsaufgabe wird protokolliert.

• Infrastruktur

  Protokolliert Infrastrukturinformationen, Dateisystemvorgänge und Aufgabenverwaltung.

• Umwandlung

  Protokolliert Informationen bezüglich durchgeführter Umwandlungen.

Herunterladen von Diagnosedateien

Sie können ein Diagnosepaket, Aufgabenprotokolle und einen Arbeitsspeicherbericht herunterladen, die Ihnen bei der Fehlerbehebung für die Replikationsaufgabe im Zusammenhang mit der Bereitstellungsaufgabe helfen. Sie können jeweils nur ein Element herunterladen.

1. Klicken Sie im Protokoll-Viewer zum Erweitern auf Herunterladen.

2. Wählen Sie das herunterzuladende Element aus.

3. Klicken Sie auf Herunterladen.

   Abhängig von Ihren Browsereinstellungen wird die Datei entweder auf Ihren Computer heruntergeladen, oder Sie werden aufgefordert, sie zu speichern.

Fehlerbehebung bei einer Datenaufgabe ohne Data Movement Gateway

Informationen zu Bereitstellungsvorgängen für Datenaufgaben, die nicht Data Movement Gateway verwenden, finden Sie in den Protokolldateien. Sie können auch die Protokollierungsebene festlegen. Protokolle sind verfügbar, wenn die Datenaufgabe ihre erste Ausführung beendet hat. Sie können Aufgabenprotokolle und Serverprotokolle anzeigen.

Anzeigen von Aufgabenprotokollen

Sie benötigen eine der folgenden Berechtigungen für den Bereich, in dem sich die Datenaufgabe befindet, um Aufgabenprotokolldateien anzuzeigen:

• Besitzer

• Kann operieren

Sie benötigen zudem eine der folgenden Berechtigungen für den Bereich, in dem sich das Daten-Gateway befindet:

• Kann nutzen
• Kann bearbeiten
• Kann verwalten

Öffnen Sie den Protokoll-Viewer, indem Sie in einer Bereitstellungsdatenaufgabe, die nicht Data Movement Gateway verwendet, auf Aufgabenprotokolle anzeigen klicken. Die anzuzeigenden Protokolle können Sie unter Replikations-Engine-Protokolle auswählen. Sie können mit und in der Datei nach oben und unten scrollen.

Sie können die Protokollierungsebene für verschiedene Vorgänge der Replikation unter Protokollierungsoptionen festlegen. Weitere Informationen finden Sie unter Festlegen von Protokollierungsoptionen.

Anzeigen von Datenbewegungsprotokollen

Um Datenbewegungsprotokolle anzuzeigen, benötigen Sie eine Datenadministrator- oder Mandantenadministratorrolle.

Öffnen Sie den Protokoll-Viewer, indem Sie in einer Bereitstellungsdatenaufgabe, die nicht Data Movement Gateway verwendet, auf Datenbewegungsprotokolle anzeigen klicken. Weitere Informationen zu den Protokollen finden Sie unter Anzeigen und Herunterladen von Protokolldateien.