Bewertung von Mehrklassen-Klassifikationsmodellen
Bei der Mehrklassen-Klassifikation versuchen Sie, wie bei der Binärklassifikation ein einzelnes diskretes Ergebnis vorherzusagen, aber mit mehr als zwei Klassen. Mehrklassen-Klassifikationsmodelle werden nach verschiedenen Durchschnitten von F1 bewertet.
F1-Makro
F1 Macro ist der durchschnittliche F1-Wert für jede Klasse ohne Gewichtung, d. h. alle Klassen werden gleich behandelt.
Micro F1
Micro F1 ist der F1-Wert, der über die ganze Konfusionsmatrix hinweg berechnet wird. Die gesamten Wahr-positiv-, Falsch-negativ- und Falsch-positiv-Werte werden gezählt. Die Berechnung des Micro F1-Score entspricht der Berechnung der globalen Präzision oder der globalen Trefferquote.
Gewichteter F1
Gewichteter F1 entspricht dem F1 der Binärklassifikation. Er wird für jede Klasse berechnet und dann als gewichteter Durchschnitt kombiniert, wobei die Anzahl der Datensatzeinträge für jede Klasse berücksichtigt wird.
Genauigkeit
Genauigkeit misst, wie oft das Modell im Durchschnitt eine korrekte Vorhersage getroffen hat. Sie wird als Anzahl der genau übereinstimmenden Vorhersagen geteilt durch die Stichprobenanzahl berechnet.
Vorhersagegeschwindigkeit
Die Prognosegeschwindigkeit ist eine Modellmetrik, die für alle Modelltypen gilt: Binärklassifikation, Mehrklassen-Klassifikation, Regression und Zeitreihen. Die Vorhersagegeschwindigkeit misst, wie schnell ein ML-Modell in der Lage ist, Vorhersagen zu erstellen.
In Qlik Predict wird die Vorhersagegeschwindigkeit anhand der kombinierten Feature-Berechnungszeit und der Testdatensatz-Vorhersagezeit berechnet. Sie wird in Zeilen pro Sekunde angezeigt.
Die Vorhersagegeschwindigkeit kann in der Tabelle Modellmetriken analysiert werden, nachdem Sie die Experimentversion ausgeführt haben. Sie können auch Daten zur Vorhersagegeschwindigkeit anzeigen, wenn Sie Modelle mit eingebetteten Analysen analysieren. Weitere Informationen finden Sie unter:
Überlegungen
Die gemessene Vorhersagegeschwindigkeit basiert auf der Größe des Trainingsdatensatzes und nicht auf den Daten, für die Vorhersagen getroffen werden. Nachdem Sie ein Modell bereitgestellt haben, stellen Sie möglicherweise Unterschiede in der Vorhersagegeschwindigkeit fest, wenn sich die Trainings- und Vorhersagedaten in ihrer Größe stark unterscheiden oder wenn Sie Echtzeitvorhersagen für eine oder wenige Datenzeilen erstellen.