Verwenden von Benachrichtigungen und Logs zum Debuggen einer Pipeline
Vorbereitungen
-
Sie haben zuvor eine vollständige Pipeline erstellt.
-
Sie haben die Pipeline ausgeführt, und die Ausführung ist fehlgeschlagen.
Prozedur
-
Öffnen Sie die gescheiterte Pipeline.
In diesem Beispiel enthält die Pipeline eine Datenbanktabelle mit Kundendaten, einen Python 3-Prozessor, der Namen verknüpft, Währungen umrechnet und Daten verarbeitet, sowie ein HDFS-Topic zur Speicherung der verarbeiteten Daten.
-
Um die Fehlermeldung anzuzeigen, die Sie über den Ausführungsstatus informiert, klicken Sie auf das Symbol
in der oberen Symbolleiste.
Sie können die Fehlermeldung in diesem Fenster erweitern, indem Sie darauf klicken.
-
Um die Logs zu sortieren und ausschließlich Fehlermeldungen anzuzeigen, aktivieren Sie das Kontrollkästchen Error (Fehler).
Sie können jetzt feststellen, dass der Fehler auf einen ungültigen Operator zurückgeht, der im Python 3-Prozessor auf Zeile 3 verwendet wird.
-
Da Sie nun den Fehler identifiziert haben, wählen Sie den Python 3-Prozessor aus, um dessen Konfiguration zu bearbeiten.
In diesem Beispiel ist das Jahr 2017 auf Zeile 7 von unnötigen Operatoren umgeben, die das Scheitern der Pipeline verursachen. Bearbeiten Sie die Zeile wie folgt: output['number_year_registrated'] = 2017 - int(year). Speichern Sie dann die Änderungen.
Ergebnisse
in der oberen Symbolleiste, um sie anzuzeigen.