Durchführen von schnellen Modellanalysen
Wenn Modell mit dem Training für eine Experimentversion fertig sind, führen Sie eine Analyse der wichtigsten Modellmetriken durch und rufen Sie eine Übersicht ab, wie die Trainingsdaten verarbeitet wurden. Eine schnelle Analyse wird auf den Registerkarten Daten und Modelle durchgeführt.
Verwenden Sie die Registerkarte Modelle für eine Übersicht über Ihre Trainingsergebnisse. Wenn Sie eine Experimentversion ausführen, werden Sie automatisch auf die Registerkarte Modelle umgeleitet. Es wird auch empfohlen, sich noch einmal die Registerkarte Daten anzusehen, um zu überprüfen, wie die Daten vorverarbeitet und gehandhabt wurden.
Registerkarte Modelle für ein Binärklassifikationsexperiment
Für eine weitere Auswertung von Modellen stehen zusätzliche Optionen zur Verfügung. Sie können zusätzliche Metriken und Hyperparameters zwischen Modellen vergleichen oder sich für eine eingehende Analyse auf ein spezifisches Modell konzentrieren. Diese Optionen stehen auf den Registerkarten Vergleichen und Analysieren zur Verfügung. Weitere Informationen finden Sie unter:
Verständnis der Konzepte
Ein grundlegendes Verständnis der Konzepte hinter der Modellanalyse kann hilfreich sein, bevor Sie eine Auswertung Ihrer Modelle beginnen. Weitere Informationen finden Sie unter Verständnis von Modellüberprüfungskonzepten.
Auswirkung von Optimierungseinstellungen auf die Analyse
Für Klassifizierungs- und Regressionsexperimente kann Ihre Analyseerfahrung je nachdem, ob Sie die intelligente Modelloptimierung verwendet haben oder nicht, leicht abweichen. Die intelligente Modelloptimierung ist standardmäßig für neue Klassifizierungs- und Regressionsexperimente aktiviert.
Analyse von mit intelligenter Optimierung trainierten Modellen
Klassifizierungs- und Regressionsexperimente werden standardmäßig mit intelligenter Modelloptimierung durchgeführt.
Die intelligente Modelloptimierung bietet einen stabileren Trainingsprozess, der idealerweise ein Modell erstellt, welches mit wenig oder gar ohne Verfeinerung einsatzbereit ist. Die Leistung dieser Modelle hängt bei der Bereitstellung für Produktionsanwendungsfälle nach wie vor von deren Training mit einem qualitativ hochwertigen Datensatz, der relevante Features und Daten umfasst, ab.
Wenn Ihre Version mit intelligenter Modelloptimierung trainiert wurde, beachten Sie Folgendes:
-
Jedes Modell in der Version kann je nachdem, wie der Algorithmus die Daten analysiert hat, eine andere Funktionsauswahl haben.
-
Lesen Sie auf der Registerkarte Modelle die Modelltrainingsübersicht für das Modell, bevor Sie sich eingehend mit der spezifischen Analyse befassen. In Modelltraining – Übersicht wird zusammengefasst, wie Qlik Predict das Modell durch Iteration der Featureauswahl und Anwendung erweiterter Umwandlungen automatisch optimiert hat.
Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.
Analyse von ohne intelligente Optimierung trainierten Modellen
Als Alternative haben Sie möglicherweise die intelligente Modelloptimierung für die Trainingsversion deaktiviert. Eine manuelle Optimierung von Modellen kann hilfreich sein, wenn Sie den Trainingsprozess stärker beeinflussen müssen.
Wenn Sie die manuelle Optimierung verwendet haben, haben alle Modelle in der Version dieselbe Featureauswahl. Es wird somit keine Modelltrainingsübersicht benötigt.
Überprüfen der Konfiguration
Während der Vorverarbeitung wurden Funktionen möglicherweise von der Verwendung im Training ausgeschlossen. Dies geschieht normalerweise, da mehr im Verlauf des Trainings Informationen über die Daten bekannt werden als vor der Ausführung der Version.
Nach der Durchsicht der Modelltrainingsübersicht (die nur mit intelligenter Optimierung gezeigt wird) können Sie einen näheren Blick auf die Experimentkonfiguration werfen, wenn Sie nach diesen anderen Änderungen suchen müssen.
Gehen Sie folgendermaßen vor:
-
Wechseln Sie im Experiment zur Registerkarte Daten.
-
Stellen Sie sicher, dass Sie sich in der Ansicht
Schemaansicht befinden. -
Verwenden Sie das Dropdown-Menü in der Symbolleiste, um ein Modell aus der Version auszuwählen.
-
Analysieren Sie das Modellschema. Es ist ratsam, sich auf die Spalten Einblicke und Funktionstyp zu konzentrieren, um zu sehen, ob bestimmte Funktionen weggelassen oder in einen anderen Funktionstyp umgewandelt wurden.
Zum Beispiel ist es möglich, dass eine Funktion, die ursprünglich als Möglicher Freitext markiert wurde, nach der Ausführung der Version ausgeschlossen wurde.
Weitere Informationen zur Bedeutung der einzelnen Einblicke finden Sie unter Interpretation von Datensatzeinblicken.
Beachten Sie, dass bei Ausführung der Version mit der standardmäßigen intelligenten Optimierungsoption jedes Modell in der Version aufgrund der automatischen Verfeinerung eine andere Funktionsauswahl haben könnte. Falls die Version ohne intelligente Optimierung ausgeführt wurde, ist die Funktionsauswahl für alle Modelle in der Version gleich. Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.
Je nachdem, was Sie in dieser Konfiguration vorfinden, müssen Sie möglicherweise zur Phrase der Vorbereitung des Datensatzes zurückkehren, um die Funktionsdaten zu verbessern.
Wenn die intelligente Modelloptimierung deaktiviert ist, sehen Sie keine Modelltrainingsübersicht als Teil Ihrer Erfahrung einer schnellen Analyse. Zusätzlich verwenden alle Modelle aus einer Experimentversion dieselben Funktionskombinationen, während Modelle, die mit intelligenter Optimierung trainiert wurden, unterschiedliche Funktionskombinationen haben können.
Auswahl eines Modells
Wenn das Training abgeschlossen ist, wird das empfohlene Modell automatisch für die Analyse ausgewählt, und die Metriken für dieses Modell werden angezeigt.
Wechseln Sie zwischen Modellen hin und her, um die Unterschiede bei den Metriken und der Konfiguration zu vergleichen. Wenn Sie sich auf der Registerkarte Daten befinden, verwenden Sie das Dropdown-Menü in der Symbolleiste, um ein Modell auszuwählen. Wenn Sie sich auf der Registerkarte Modelle befinden, klicken Sie auf ein Modell in der Tabelle Modellmetriken, um ein Modell auszuwählen.
Analyse der Trainingsübersicht
Intelligente Modelloptimierung
Bei Modellen, die mit intelligenter Modelloptimierung trainiert wurden, gibt die Modelltrainingsübersicht wichtigte Informationen darüber, was während des Training geschah. Zu dieser Übersicht gehört:
-
Stichprobenanteil für das Modell
-
Liste mit Funktionen, die als Folge der intelligenten Optimierung automatisch entfernt wurden. Diese Liste variiert je nach ausgewähltem Modell.
-
Eine Zusammenfassung aller erweiterten Umwandlungen, die beim Training des Modells angewendet wurden.
-
Link zum Trainings-Datensatz
Die Modelltrainingsübersicht wird nicht angezeigt, wenn Sie Ihre Modelle manuell optimieren.
Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.
Diagramm Modelltrainingsübersicht für ein Modell, wie es auf der Registerkarte Modelle angezeigt wird
Die Modelltrainingsübersicht listet keine Funktionen auf, die während der Vorverarbeitungsphase entfernt wurden. Um nach dieser Information zu suchen, gehen Sie zurück zur Registerkarte Daten des Experiments. Siehe: Überprüfen der Konfiguration
Gehen Sie folgendermaßen vor:
-
Wechseln Sie im Experiment zur Registerkarte Modelle.
-
Bestätigen Sie, dass Sie das Modell ausgewählt haben, das Sie analysieren möchten.
-
Sehen Sie sich im Abschnitt Modelleinblicke rechts auf der Seite die Modelltrainingsübersicht an.
Zeitreihenexperimente
In Zeitreihenexperimenten zeigt die Modelltrainingsübersicht die Konfigurationseinstellungen für das Zeitreihenprognoseproblem, das durch Ihren Datensatz und Ihre Trainingseinstellungen definiert wird. Einige dieser Details wurden vor Beginn des Trainings geschätzt, aber jetzt sind sie mit Sicherheit bestätigt, nachdem der gesamte Datensatz analysiert wurde. Sie könne Folgendes anzeigen:
-
Den Datumsbereich der Daten, die zum Trainieren des Modells verwendet wurden
-
Den Zeitschritt
-
Die Größe des Anwendungsfensters
-
Die maximale Prognose
-
Das Prognosefenster und die Lückengrößen
Diagramm der Modelltrainingsübersicht für ein Modell in einem Zeitreihenexperiment
Analyse der Modellmetriktabelle
Die Tabelle Modellmetriken enthält grundlegende Informationen zur Leistung jedes Modells im Experiment. Die empfohlenen Modelle aus dieser Liste sind über der Tabelle aufgeführt.
Tabelle Modellmetriken mit empfohlenen Modellen und Filtern
Die Tabelle zeigt:
-
Ob das Modell ein leistungsstarkes Modell entsprechend den Typen leistungsstarker Modelle ist. Siehe: Ermitteln der leistungsstärksten Modelle
-
Name jedes Modells (Dieser kann der Einfachheit halber bearbeitet werden. Siehe: Bearbeitung von Modelldetails)
-
Algorithmus, der zum Trainieren des Modells verwendet wurde
-
Wichtige Metriken zur Modellleistung. Sie können zwischen Folgendem wechseln:
-
Häufige Metriken zur Bewertung des Vorhersagepotenzials, je nach Modelltyp. Für Binärklassifikationsmodelle ist dies F1. Für Mehrklassen-Klassifikationsmodelle ist dies F1 Macro. Für Regressionsmodelle ist dies R2.
-
Vorhersagegeschwindigkeit.
-
Genauigkeit. Bei Klassifikationsmodellen ist dies die Metrik namens „Genauigkeit“. Bei Regressionsmodellen ist dies der MAE (mittlerer absoluter Fehler).
-
Ermitteln der leistungsstärksten Modelle
Die besten und leistungsstärksten Modelle werden auf der Grundlage der von Ihnen angewandten Filter ermittelt. Sie werden als Empfehlungen oberhalb der Tabelle „Modellmetriken“ dargestellt und sind auch innerhalb der Tabelle hervorgehoben.
Das beste Modell ist standardmäßig ausgewählt. Dieses Modell ist mit einem 
-Symbol gekennzeichnet. Das beste Modell wird auf der Grundlage einer ausgewogenen Berechnung ermittelt, bei der sowohl die Genauigkeit als auch die Vorhersagegeschwindigkeit berücksichtigt werden.
Je nach Anwendungsfall sind Sie vielleicht auch daran interessiert, bestimmte Leistungsmarkierungen einzeln zu analysieren. Andere Bestleistungs-Modelle sind mit den folgenden Markierungen hervorgehoben:
-
Am genauesten: Das Modell weist die höchste Genauigkeit basierend auf den anwendbaren Bewertungsmetriken den Problemtyp auf. -
Schnellstes Modell: Das Modell liefert die schnellste Vorhersagegeschwindigkeit. Auch die Genauigkeit wird berücksichtigt.
Sie können die leistungsstärksten Modelle auch direkt aus den Empfehlungen oberhalb der Tabelle Modellmetriken auswählen.
Eine vollständige Übersicht darüber, wie die einzelnen Typen von empfohlenen Modellen bestimmt werden, finden Sie unter Auswählen des für Sie am besten geeigneten Modells.
Filtern von Modellen in der Tabelle
Die Tabelle "Modellmetriken" kann so gefiltert werden, dass nur die Modelle angezeigt werden, die Sie vergleichen möchten.
Die folgenden Filter sind verfügbar und können entsprechend kombiniert werden:
-
Version: Wählen Sie eine oder mehrere Experimentversionen aus.
-
Algorithmus: Wählen Sie einen oder mehrere Algorithmen aus.
-
100% Stichprobe: Dieser Filter wird standardmäßig angewandt. Er kann bei Bedarf entfernt werden. Der Filter zeigt Modelle an, die den gesamten Trainingsdatensatz zur Durchführung des Trainings und des Kreuzvalidierungsprozesses verwendet haben. Zu finden unter Weitere Modellfilter.
-
Bereitgestellt: Zeigt Modelle an, die in ML-Bereitstellungen bereitgestellt wurden. Zu finden unter Weitere Modellfilter.
Nachdem Sie die gewünschten Filter angewendet haben, werden die leistungsstärksten Modelle auf der Grundlage der gefilterten Elemente automatisch neu berechnet. Ihre empfohlenen Modelle werden dann aktualisiert.
Interpretation von Funktionsrelevanzvisualisierungen
Blättern Sie auf der Registerkarte Modelle nach unten, um die Funktionsrelevanzvisualisierungen anzuzeigen. Es handelt sich dabei um Permutation Importance und SHAP importance.
Funktionsrelevanzvisualisierung auf der Registerkarte Modelle
Permutation Importance-Diagramm
Das Diagramm Permutation Importance gibt die Relevanz jeder Funktion für die Vorhersageleistung des Modells insgesamt an. Über den Inhalt des Diagramms Permutation Importance können Sie verstehen, wie Ihre Modelle verfeinert werden müssen.
Zu den allgemeinen Einblicken, die Sie durch die Analyse dieses Diagramms erhalten können, gehören:
-
Wenn eine Funktion fast die gesamte Relevanz vereinnahmt, ist dies wahrscheinlich ein Anzeigen eines Ziellecks. Die Funktion muss entfernt werden. Falls der Grund Datenqualitätsprobleme sind, müssen diese ebenfalls behoben werden.
-
Einige Funktionen haben möglicherweise wenig bis gar keine Auswirkungen auf die Modellvorhersagen. Funktionen mit extrem geringer Permutation Importance können als statistisches Rauschen angesehen werden und sollten entfernt werden.
Falls die intelligente Modelloptimierung zum Trainieren der Version verwendet wurde, wurden einige der oben erwähnten allgemeinen Probleme möglicherweise automatisch behoben, indem diese Funktionen weggelassen wurden.
Weitere Informationen zur Permutation Importance finden Sie unter Verständnis der Permutation Importance.
SHAP Importance-Diagramm
Das SHAP Importance-Diagramm bietet eine weitere Methode zur Analyse des Einflusses, den jede Funktion im Experiment auf die Vorhersagen aus jedem Modell hat. Dadurch erhalten Sie frühzeitig Einblick, welche Funktionen signifikant sind oder ob Sie das Training umkonfigurieren müssen. Weitere Informationen finden Sie unter Verständnis der SHAP Importance im Experimenttraining.
Interpretation von Modellbewertungsvisualisierungen
Für einige Modelltypen sind zusätzliche Visualisierungen verfügbar, die eine Übersicht darüber geben, wie gut das Modell abschneidet.
Binäre Klassifizierung
Falls es sich bei Ihrem Experiment um ein Binärklassifikationsproblem handelt, wird eine Reihe zusätzlicher Visualisierungen zur schnellen Nutzung automatisch generiert. Diese Visualisierungen gewähren einen detaillierteren Einblick, wie gut das Modell die positiven und negativen Klassen vorhersagt.
Weitere Informationen zu diesen Visualisierungen finden Sie unter Bewertung von Binärklassifikationsmodellen.
Konfusionsmatrix
Das Konfusionsmatrix-Diagramm zeigt die Genauigkeit der durch das Modell erstellten Vorhersagen. Die Vorhersagen werden für die automatischen Holdout-Daten durchgeführt.
ROC-Kurcve
Das Diagramm ROC-Kurve beschreibt, wie gut das Modell die positive Klasse vorhersagen kann, wenn das tatsächliche Ergebnis positiv ist.
Einen Hinweis, wie eine ideale ROC-Kurve aussieht, finden Sie unter AUC und ROC-Kurve.
Zeitreihen
Für Zeitreihenmodelle wird das Diagramm Vorhersagefehler im Prognosefensterautomatisch generiert, um Einblicke in die Vorhersagegenauigkeit zu geben. Sie können die Rate des Vorhersagefehlers für jeden Zeitschritt im Prognosefenster anzeigen. Die Fehlerraten werden in das 50., 10. und 90. Perzentil aufgeschlüsselt.