Durchführen von schnellen Modellanalysen

Wenn Modell mit dem Training für eine Experimentversion fertig sind, führen Sie eine Analyse der wichtigsten Modellmetriken durch und rufen Sie eine Übersicht ab, wie die Trainingsdaten verarbeitet wurden. Eine schnelle Analyse wird auf den Registerkarten Daten und Modelle durchgeführt.

Verwenden Sie die Registerkarte Modelle für eine Übersicht über Ihre Trainingsergebnisse. Wenn Sie eine Experimentversion ausführen, werden Sie automatisch auf die Registerkarte Modelle umgeleitet. Es wird auch empfohlen, sich noch einmal die Registerkarte Daten anzusehen, um zu überprüfen, wie die Daten vorverarbeitet und gehandhabt wurden.

Für eine weitere Auswertung von Modellen stehen zusätzliche Optionen zur Verfügung. Sie können zusätzliche Metriken und Hyperparameters zwischen Modellen vergleichen oder sich für eine eingehende Analyse auf ein spezifisches Modell konzentrieren. Diese Optionen stehen auf den Registerkarten Vergleichen und Analysieren zur Verfügung. Weitere Informationen finden Sie unter:

• Vergleichen von Modellen

• Durchführen von detaillierten Modellanalysen

Verständnis der Konzepte

Ein grundlegendes Verständnis der Konzepte hinter der Modellanalyse kann hilfreich sein, bevor Sie eine Auswertung Ihrer Modelle beginnen. Weitere Informationen finden Sie unter Verständnis von Modellüberprüfungskonzepten.

Auswirkung von Optimierungseinstellungen auf die Analyse

Ihre Analyseerfahrung kann je nachdem, ob Sie die intelligente Modelloptimierung verwendet haben oder nicht, leicht abweichen. Die intelligente Modelloptimierung ist standardmäßig für neue Experimente aktiviert.

Analyse von mit intelligenter Optimierung trainierten Modellen

Neue Experimente werden standardmäßig mit intelligenter Modelloptimierung durchgeführt.

Die intelligente Modelloptimierung bietet einen stabileren Trainingsprozess, der idealerweise ein Modell erstellt, welches mit wenig oder gar ohne Verfeinerung einsatzbereit ist. Die Leistung dieser Modelle hängt bei der Bereitstellung für Produktionsanwendungsfälle nach wie vor von deren Training mit einem qualitativ hochwertigen Datensatz, der relevante Features und Daten umfasst, ab.

Wenn Ihre Version mit intelligenter Modelloptimierung trainiert wurde, beachten Sie Folgendes:

• Jedes Modell in der Version kann je nachdem, wie der Algorithmus die Daten analysiert hat, eine andere Featureauswahl haben.

• Lesen Sie auf der Registerkarte Modelle die Modelltrainingsübersicht für das Modell, bevor Sie sich eingehend mit der spezifischen Analyse befassen. In der Modelltrainingsübersicht wird zusammengefasst, wie AutoML das Modell durch Iteration der Featureauswahl und Anwendung erweiterter Umwandlungen automatisch optimiert hat.

Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.

Analyse von ohne intelligente Optimierung trainierten Modellen

Als Alternative haben Sie möglicherweise die intelligente Modelloptimierung für die Trainingsversion deaktiviert. Eine manuelle Optimierung von Modellen kann hilfreich sein, wenn Sie den Trainingsprozess stärker beeinflussen müssen.

Wenn Sie die manuelle Optimierung verwendet haben, haben alle Modelle in der Version dieselbe Featureauswahl. Es wird somit keine Modelltrainingsübersicht benötigt.

Überprüfen der Konfiguration

Während der Vorverarbeitung wurden Funktionen möglicherweise von der Verwendung im Training ausgeschlossen. Dies geschieht normalerweise, da mehr im Verlauf des Trainings Informationen über die Daten bekannt werden als vor der Ausführung der Version.

Nach der Durchsicht der Modelltrainingsübersicht (die nur mit intelligenter Optimierung gezeigt wird) können Sie einen näheren Blick auf die Experimentkonfiguration werfen, wenn Sie nach diesen anderen Änderungen suchen müssen.

Gehen Sie folgendermaßen vor:

1. Wechseln Sie im Experiment zur Registerkarte Daten.

2. Stellen Sie sicher, dass Sie sich in der Ansicht Schemaansicht befinden.

3. Verwenden Sie das Dropdown-Menü in der Symbolleiste, um ein Modell aus der Version auszuwählen.

4. Analysieren Sie das Modellschema. Es ist ratsam, sich auf die Spalten Einblicke und Funktionstyp zu konzentrieren, um zu sehen, ob bestimmte Funktionen weggelassen oder in einen anderen Funktionstyp umgewandelt wurden.

   Zum Beispiel ist es möglich, dass eine Funktion, die ursprünglich als Möglicher Freitext markiert wurde, nach der Ausführung der Version ausgeschlossen wurde.

   Weitere Informationen zur Bedeutung der einzelnen Einblicke finden Sie unter Interpretation von Datensatzeinblicken.

Beachten Sie, dass bei Ausführung der Version mit der standardmäßigen intelligenten Optimierungsoption jedes Modell in der Version aufgrund der automatischen Verfeinerung eine andere Funktionsauswahl haben könnte. Falls die Version ohne intelligente Optimierung ausgeführt wurde, ist die Funktionsauswahl für alle Modelle in der Version gleich. Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.

Je nachdem, was Sie in dieser Konfiguration vorfinden, müssen Sie möglicherweise zur Phrase der Vorbereitung des Datensatzes zurückkehren, um die Funktionsdaten zu verbessern.

Wenn die intelligente Modelloptimierung deaktiviert ist, sehen Sie keine Modelltrainingsübersicht als Teil Ihrer Erfahrung einer schnellen Analyse. Zusätzlich verwenden alle Modelle aus einer Experimentversion dieselben Funktionskombinationen, während Modelle, die mit intelligenter Optimierung trainiert wurden, unterschiedliche Funktionskombinationen haben können.

Auswahl eines Modells

Wenn das Training abgeschlossen ist, wird das Modell mit der besten Leistung automatisch zur Analyse ausgewählt, und die Metriken für dieses Modell werden angezeigt. Das Modell mit der besten Leistung für jede Experimentversion wird mit einem Symbol gekennzeichnet.

Wechseln Sie zwischen Modellen hin und her, um die Unterschiede bei den Metriken und der Konfiguration zu vergleichen. Wenn Sie sich auf der Registerkarte Daten befinden, verwenden Sie das Dropdown-Menü in der Symbolleiste, um ein Modell auszuwählen. Wenn Sie sich auf der Registerkarte Modelle befinden, klicken Sie auf ein Modell in der Tabelle Modellmetriken, um ein Modell auszuwählen.

Analyse der Trainingsübersicht

Bei Modellen, die mit intelligenter Modelloptimierung trainiert wurden, gibt die Modelltrainingsübersicht wichtigte Informationen darüber, was während des Training geschah. Zu dieser Übersicht gehört:

• Stichprobenanteil für das Modell

• Liste mit Funktionen, die als Folge der intelligenten Optimierung automatisch entfernt wurden. Diese Liste variiert je nach ausgewähltem Modell.

• Link zum Trainings-Datensatz

Die Modelltrainingsübersicht wird nicht angezeigt, wenn Sie Ihre Modelle manuell optimieren.

Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.

Die Modelltrainingsübersicht listet keine Funktionen auf, die während der Vorverarbeitungsphase entfernt wurden. Um nach dieser Information zu suchen, gehen Sie zurück zur Registerkarte Daten des Experiments. Siehe: Überprüfen der Konfiguration

Gehen Sie folgendermaßen vor:

1. Wechseln Sie im Experiment zur Registerkarte Modelle.

2. Bestätigen Sie, dass Sie das Modell ausgewählt haben, das Sie analysieren möchten.

3. Sehen Sie sich im Abschnitt Modelleinblicke rechts auf der Seite die Modelltrainingsübersicht an.

Analyse der Modellmetriktabelle

Die Tabelle Modellmetriken enthält grundlegende Informationen zur Leistung jedes Modells im Experiment. Diese Tabelle wird auf der Registerkarte Modelle angezeigt.

Wenn Sie sich auf der Registerkarte Modelle befinden, wählen Sie in der Tabelle Modellmetriken auch ein Modell zur Analyse aus.

Die Tabelle "Modellmetriken" zeigt Folgendes:

• Ob das Modell das mit der besten Leistung für seine Version ist

• Name jedes Modells (Dieser kann der Einfachheit halber bearbeitet werden. Siehe: Bearbeitung von Modelldetails)

• Algorithmus, der zum Trainieren des Modells verwendet wurde

• Werte für den wichtigsten Modellleistungs-Score, vorausgesetzt, der Modelltyp wurde vom Experimentziel definiert:

  • Binärklassifikationsmodelle: F1

    F1

  • Mehrklassen-Klassifikationsmodelle: F1 Macro

    Macro F1

  • Regressionsmodelle: R2

    R2

  Weitere Informationen darüber, welcher Modelltyp Ihr Experiment trainiert, finden Sie unter Bestimmen des Typs des erstellten Modells.

Filtern von Modellen in der Tabelle

Die Tabelle "Modellmetriken" kann so gefiltert werden, dass nur die Modelle angezeigt werden, die Sie vergleichen möchten.

Die folgenden Filter sind verfügbar und können entsprechend kombiniert werden:

• Version: Wählen Sie eine oder mehrere Experimentversionen aus.

• Algorithmus: Wählen Sie einen oder mehrere Algorithmen aus.

• Modelle mit bester Leistung: Zeigt Modelle mit der besten Leistung in allen Versionen (gekennzeichnet mit -Symbolen). Zu finden unter Weitere Modellfilter.

• 100% Stichprobe: Dieser Filter wird standardmäßig angewandt. Er kann bei Bedarf entfernt werden. Der Filter zeigt Modelle an, die den gesamten Trainingsdatensatz zur Durchführung des Trainings und des Kreuzvalidierungsprozesses verwendet haben. Zu finden unter Weitere Modellfilter.

• Bereitgestellt: Zeigt Modelle an, die in ML-Bereitstellungen bereitgestellt wurden. Zu finden unter Weitere Modellfilter.

Interpretation von Funktionsrelevanzvisualisierungen

Blättern Sie auf der Registerkarte Modelle nach unten, um die Funktionsrelevanzvisualisierungen anzuzeigen. Es handelt sich dabei um Permutation Importance und SHAP importance.

Permutation Importance-Diagramm

Das Diagramm Permutation Importance gibt die Relevanz jeder Funktion für die Vorhersageleistung des Modells insgesamt an. Über den Inhalt des Diagramms Permutation Importance können Sie verstehen, wie Ihre Modelle verfeinert werden müssen.

Zu den allgemeinen Einblicken, die Sie durch die Analyse dieses Diagramms erhalten können, gehören:

• Wenn eine Funktion fast die gesamte Relevanz vereinnahmt, ist dies wahrscheinlich ein Anzeigen eines Ziellecks. Die Funktion muss entfernt werden. Falls der Grund Datenqualitätsprobleme sind, müssen diese ebenfalls behoben werden.

  Datenleck

• Einige Funktionen haben möglicherweise wenig bis gar keine Auswirkungen auf die Modellvorhersagen. Funktionen mit extrem geringer Permutation Importance können als statistisches Rauschen angesehen werden und sollten entfernt werden.

 Falls die intelligente Modelloptimierung zum Trainieren der Version verwendet wurde, wurden einige der oben erwähnten allgemeinen Probleme möglicherweise automatisch behoben, indem diese Funktionen weggelassen wurden.

Weitere Informationen zur Permutation Importance finden Sie unter Verständnis der Permutation Importance.

SHAP Importance-Diagramm

Das SHAP Importance-Diagramm bietet eine weitere Methode zur Analyse des Einflusses, den jede Funktion im Experiment auf die Vorhersagen aus jedem Modell hat. Dadurch erhalten Sie frühzeitig Einblick, welche Funktionen signifikant sind oder ob Sie das Training umkonfigurieren müssen. Weitere Informationen finden Sie unter Verständnis der SHAP Importance im Experimenttraining.

Interpretation von Modellbewertungsvisualisierungen

Falls es sich bei Ihrem Experiment um ein Binärklassifikationsproblem handelt, wird eine Reihe zusätzlicher Visualisierungen zur schnellen Nutzung automatisch generiert. Diese Visualisierungen gewähren einen detaillierteren Einblick, wie gut das Modell die positiven und negativen Klassen vorhersagt.

Weitere Informationen zu diesen Visualisierungen finden Sie unter Bewertung von Binärklassifikationsmodellen.

Konfusionsmatrix

Das Konfusionsmatrix-Diagramm zeigt die Genauigkeit der durch das Modell erstellten Vorhersagen. Die Vorhersagen werden für die automatischen Holdout-Daten durchgeführt.

Konfusionsmatrix

ROC-Kurcve

Das Diagramm ROC-Kurve beschreibt, wie gut das Modell die positive Klasse vorhersagen kann, wenn das tatsächliche Ergebnis positiv ist.

Einen Hinweis, wie eine ideale ROC-Kurve aussieht, finden Sie unter AUC und ROC-Kurve.