Bewerten von Zeitreihenmodellen
Zeitmodelle sagen Ergebnisse als Zahlen vorher, die bestimmten zukünftigen Terminen entsprechen. Es werden mehrere Metriken generiert, anhand derer Sie Zeitreihenmodelle auswerten können.
MASE
MASE steht für „Mean Absolute Scaled Error“ (mittlerer absoluter skalierter Fehler). MASE ist eine der wichtigsten Metriken, die zur Bewertung und Empfehlung von Zeitreihenmodellen in Qlik Predict verwendet wird.
In Qlik Predict wird der MASE bestimmt, indem der mittlere absolute Fehler (MAE) einer Vorhersage mit dem MAE einer naiven Vorhersage verglichen wird. Die naive Vorhersage verwendet den letzten verfügbaren Wert als den vorhergesagten Wert für alle zukünftigen Schritte.
MAE
MAE steht für „Mean Absolute Error“ (mittlerer absoluter Fehler). Neben MASE ist MAE ist eine der wichtigsten Metriken, die zur Bewertung und Empfehlung von Zeitreihenmodellen in Qlik Predict verwendet wird. MAE misst die Modellqualität, indem die Fehlerrate innerhalb der vom Modell erstellten Prognosen berechnet wird.
WMAPE
WMAPE steht für „Weighted Mean Absolute Percentage Error“ (gewichteter mittlerer absoluter prozentualer Fehler).
RMSE
Die mittlere quadratische Gesamtabweichung (Root Mean Squared Error, RMSE) kann als Durchschnitt der erwarteten +/- Differenz zwischen einem vorhergesagten Wert und dem tatsächlichen Wert interpretiert werden. Es ist die Standardabweichung von Restwerten (der Differenz zwischen dem beobachteten Wert und dem vorhergesagten Wert für ein Feature). RMSE wird in der gleichen Einheit wie der Zielwert gemessen.
Nehmen wir beispielsweise an, unser Ziel besteht im Vorhersagen des Vertragswerts und wir erhalten eine RMSE = 1250 Das bedeutet, dass im Durchschnitt der vorhergesagte Wert um +/- $1.250 vom tatsächlichen Wert abweicht.
SMAPE
SMAPE steht für „Symmetric Mean Absolute Percentage Error“ (symmetrischer mittlerer absoluter prozentualer Fehler).
MDAPE
MDAPE steht für „Median Absolute Percentage Error“ (Mittelwert absoluter prozentualer Fehler).
MNRMSE
MNRMSE steht für „Mean Root Mean Squared Error “ (mittlere Wurzel des mittleren quadratischen Fehlers).
MDNRMSE
MDNRMSE steht für „Median Root Mean Squared Error “ (Mittelwert Wurzel des mittleren quadratischen Fehlers).
Vorhersagegeschwindigkeit
Die Prognosegeschwindigkeit ist eine Modellmetrik, die für alle Modelltypen gilt: Binärklassifikation, Mehrklassen-Klassifikation, Regression und Zeitreihen. Die Vorhersagegeschwindigkeit misst, wie schnell ein ML-Modell in der Lage ist, Vorhersagen zu erstellen.
In Qlik Predict wird die Vorhersagegeschwindigkeit anhand der kombinierten Feature-Berechnungszeit und der Testdatensatz-Vorhersagezeit berechnet. Sie wird in Zeilen pro Sekunde angezeigt.
Die Vorhersagegeschwindigkeit kann in der Tabelle Modellmetriken analysiert werden, nachdem Sie die Experimentversion ausgeführt haben. Sie können auch Daten zur Vorhersagegeschwindigkeit anzeigen, wenn Sie Modelle mit eingebetteten Analysen analysieren. Weitere Informationen finden Sie unter:
Überlegungen
Die gemessene Vorhersagegeschwindigkeit basiert auf der Größe des Trainingsdatensatzes und nicht auf den Daten, für die Vorhersagen getroffen werden. Nachdem Sie ein Modell bereitgestellt haben, stellen Sie möglicherweise Unterschiede in der Vorhersagegeschwindigkeit fest, wenn sich die Trainings- und Vorhersagedaten in ihrer Größe stark unterscheiden oder wenn Sie Echtzeitvorhersagen für eine oder wenige Datenzeilen erstellen.