Durchführen von detaillierten Modellanalysen

Auf der Registerkarte Analysieren des Experiments können Sie sich auf ein einzelnes Modell konzentrieren und dessen Vorhersageleistung eingehend analysieren. Die detaillierte Analyse erfolgt mithilfe von eingebetteten Analysen.

Wählen Sie nach Abschluss des Trainings ein Modell aus. Öffnen Sie dann die Registerkarte Analysieren, um weitere Angaben zur Genauigkeit der Modellvorhersagen, zu Einflussfaktoren auf Trends in den Daten und weitere Informationen anzuzeigen. Die Daten, die auf der Registerkarte Analysieren angezeigt werden, basieren auf Vorhersagen, die das Modell für die Holdout-Daten generiert.

Einige der Hauptvorteile von detaillierten Modellanalysen sind unter anderem:

• Interaktive Oberfläche, auf der Sie Visualisierungsdaten nach Belieben verfeinern und anpassen können

• Eine Detailansicht von Vorhersagen, die für die Holdout-Daten getroffen wurden, kombiniert mit Funktionsrelevanzstatistiken

Analyse-Workflow

Für ein umfassendes Verständnis der Modelltrainingsergebnisse wird empfohlen, dass Sie eine schnelle Analyse durchführen und dann mit den zusätzlichen Optionen auf den Registerkarten Vergleichen und Analysieren fortfahren. Die Schnelle Analyse stellt eine Modelltrainingsübersicht bereit, die zeigt, welche Funktionen während des intelligenten Optimierungsprozesses entfernt wurden, und stellt ebenfalls eine Anzahl an selbstgenerierten Visualisierungen zur schnellen Nutzung bereit. Die Registerkarten Vergleichen und Analysieren zeigen die Modelltrainingsübersicht nicht an, ermöglichen jedoch eine gründlichere Untersuchung der Modellmetriken, um die Qualität Ihrer Modelle besser zu verstehen.

Weitere Informationen zu den anderen Analyseoptionen finden Sie unter:

• Durchführen von schnellen Modellanalysen

• Vergleichen von Modellen

Verständnis der Konzepte

Ein grundlegendes Verständnis der Konzepte hinter der Modellanalyse kann hilfreich sein, bevor Sie eine Auswertung Ihrer Modelle beginnen. Weitere Informationen finden Sie unter Verständnis von Modellüberprüfungskonzepten.

Auswirkung von Optimierungseinstellungen auf die Analyse

Ihre Analyseerfahrung kann je nachdem, ob Sie die intelligente Modelloptimierung verwendet haben oder nicht, leicht abweichen. Die intelligente Modelloptimierung ist standardmäßig für neue Experimente aktiviert.

Analyse von mit intelligenter Optimierung trainierten Modellen

Neue Experimente werden standardmäßig mit intelligenter Modelloptimierung durchgeführt.

Die intelligente Modelloptimierung bietet einen stabileren Trainingsprozess, der idealerweise ein Modell erstellt, welches mit wenig oder gar ohne Verfeinerung einsatzbereit ist. Die Leistung dieser Modelle hängt bei der Bereitstellung für Produktionsanwendungsfälle nach wie vor von deren Training mit einem qualitativ hochwertigen Datensatz, der relevante Features und Daten umfasst, ab.

Wenn Ihre Version mit intelligenter Modelloptimierung trainiert wurde, beachten Sie Folgendes:

• Jedes Modell in der Version kann je nachdem, wie der Algorithmus die Daten analysiert hat, eine andere Featureauswahl haben.

• Lesen Sie auf der Registerkarte Modelle die Modelltrainingsübersicht für das Modell, bevor Sie sich eingehend mit der spezifischen Analyse befassen. In der Modelltrainingsübersicht wird zusammengefasst, wie AutoML das Modell durch Iteration der Featureauswahl und Anwendung erweiterter Umwandlungen automatisch optimiert hat.

Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.

Analyse von ohne intelligente Optimierung trainierten Modellen

Als Alternative haben Sie möglicherweise die intelligente Modelloptimierung für die Trainingsversion deaktiviert. Eine manuelle Optimierung von Modellen kann hilfreich sein, wenn Sie den Trainingsprozess stärker beeinflussen müssen.

Wenn Sie die manuelle Optimierung verwendet haben, haben alle Modelle in der Version dieselbe Featureauswahl. Es wird somit keine Modelltrainingsübersicht benötigt.

Überprüfen der Konfiguration

Während der Vorverarbeitung wurden Funktionen möglicherweise von der Verwendung im Training ausgeschlossen. Dies geschieht normalerweise, da mehr im Verlauf des Trainings Informationen über die Daten bekannt werden als vor der Ausführung der Version.

Nach der Durchsicht der Modelltrainingsübersicht (die nur mit intelligenter Optimierung gezeigt wird) können Sie einen näheren Blick auf die Experimentkonfiguration werfen, wenn Sie nach diesen anderen Änderungen suchen müssen.

Gehen Sie folgendermaßen vor:

1. Wechseln Sie im Experiment zur Registerkarte Daten.

2. Stellen Sie sicher, dass Sie sich in der Ansicht Schemaansicht befinden.

3. Verwenden Sie das Dropdown-Menü in der Symbolleiste, um ein Modell aus der Version auszuwählen.

4. Analysieren Sie das Modellschema. Es ist ratsam, sich auf die Spalten Einblicke und Funktionstyp zu konzentrieren, um zu sehen, ob bestimmte Funktionen weggelassen oder in einen anderen Funktionstyp umgewandelt wurden.

   Zum Beispiel ist es möglich, dass eine Funktion, die ursprünglich als Möglicher Freitext markiert wurde, nach der Ausführung der Version ausgeschlossen wurde.

   Weitere Informationen zur Bedeutung der einzelnen Einblicke finden Sie unter Interpretation von Datensatzeinblicken.

Beachten Sie, dass bei Ausführung der Version mit der standardmäßigen intelligenten Optimierungsoption jedes Modell in der Version aufgrund der automatischen Verfeinerung eine andere Funktionsauswahl haben könnte. Falls die Version ohne intelligente Optimierung ausgeführt wurde, ist die Funktionsauswahl für alle Modelle in der Version gleich. Weitere Informationen zur intelligenten Modelloptimierung finden Sie unter Intelligente Modelloptimierung.

Je nachdem, was Sie in dieser Konfiguration vorfinden, müssen Sie möglicherweise zur Phrase der Vorbereitung des Datensatzes zurückkehren, um die Funktionsdaten zu verbessern.

Anstoßen einer detaillierten Analyse

Es gibt einige Verfahren, wie Sie eine detaillierte Analyse eines spezifischen Modells anstoßen können:

• Wählen Sie ein Modell auf der Registerkarte Daten oder Modelle aus, klicken Sie neben dem Modell auf und klicken Sie dann auf Analysieren.

• Klicken Sie auf die Registerkarte Analysieren, wenn Sie ein Modell ausgewählt haben.

• Falls Sie bereits eine Detailanalyse für ein Modell ansehen, verwenden Sie das Dropdown-Menü in der Symbolleiste, um ein anderes Modell auszuwählen.

Der Analyseinhalt hängt vom Modelltyp ab, wie im Experiment-Ziel definiert. Für unterschiedliche Modelltypen stehen unterschiedliche Metriken zur Verfügung.

Navigieren in eingebetteten Analysen

Mithilfe der interaktiven Benutzeroberfläche können Sie das Modell mit eingebetteten Analysen analysieren.

Wechseln zwischen Arbeitsblättern

Im Fensterbereich Arbeitsblätter können Sie zwischen den Arbeitsblättern in der Analyse hin- und herwechseln. Jedes Arbeitsblatt hat einen bestimmten Schwerpunkt. Der Fensterbereich kann nach Belieben erweitert und reduziert werden.

Vornehmen von Auswahlen

Verwenden Sie Auswahlen zur Verfeinerung der Daten. Sie können Funktionen auswählen und spezifische Werte und Bereiche gründlich untersuchen. Damit können Sie sich, falls nötig, dies genauer ansehen. In einigen Fällen müssen Sie möglicherweise eine oder mehrere Auswahlen treffen, damit Visualisierungen angezeigt werden. Klicken Sie auf Datenwerte in Visualisierungen und Filterfenstern, um Auswahlen vorzunehmen.

Sie können mit Auswahlen arbeiten, indem Sie:

• Werte durch Klicken auf Inhalte, definierende Bereiche und Zeichnungen auswählen

• In Diagrammen suchen, um Werte auszuwählen

• Auf ein ausgewähltes Feld in der Symbolleiste oben in der eingebetteten Analyse klicken. Damit können Sie in bestehenden Auswahlen suchen, diese sperren oder entsperren und weiter ändern.

• In der Symbolleiste oben in der eingebetteten Analyse auf klicken, um eine Auswahl zu entfernen. Löschen Sie alle Auswahlen durch Klicken auf das Symbol .

• In Ihren Auswahlen vor- und zurückspringen, indem Sie auf und klicken

Die Analysen enthalten Filterfenster, um eine Verfeinerung der Daten zu erleichtern. Klicken Sie in einem Filterfenster auf das Kontrollkästchen für einen Wert, um eine Auswahl vorzunehmen. Wenn das Filterfenster mehrere Listenfelder enthält, klicken Sie auf ein Listenfeld, um es zu erweitern, und nehmen Sie dann die gewünschten Auswahlen vor.

Exportieren von Daten in den Katalog

Sie können die Daten, die in der detaillierten Analyse verwendet werden, in den Katalog exportieren. Die Daten werden in einen Bereich in Qlik Cloud Analytics exportiert. Sie können die exportierten Daten verwenden, um Ihre eigenen Qlik Sense Apps für benutzerdefinierte Analysen zu erstellen.

Weitere Informationen finden Sie unter Exportieren von Modelltrainingsdaten.

Analyse der Vorhersagegenauigkeit

Wie Sie die Genauigkeit der Vorhersagen interpretieren, hängt von der Struktur Ihres Trainingsdatensatzes und Ihres Anwendungsfalls mit maschinellem Lernen ab. Zusätzlich hängt die Interpretation dieser Visualisierungen vom Modelltyp ab. Weitere Informationen werden für jeden Modelltyp in den unten stehenden Abschnitt bereitgestellt.

Der Abschnitt Vorhersagen des Arbeitsblatts Modellübersicht stellt eine aggregierte Übersicht darüber bereit, wie viele richtige bzw. falsche Vorhersagen das Modell trifft.

Nutzen Sie das Arbeitsblatt Vorhersagen und Feature-Verteilung, um anhand eines spezifischen Features die Art der Vorhersageungenauigkeiten zu analysieren. Wählen Sie eine einzelne Funktion im Filterfenster links auf dem Arbeitsblatt aus. Dieses Arbeitsblatt zeigt für alle Modelltypen Vorhersageungenauigkeiten und die tatsächliche Werteverteilung nebeneinander an, damit die Daten relativiert gesehen werden können.

Binärklassifikationsmodelle

Analyse des gesamten Modells

Im Abschnitt Vorhersagen des Arbeitsblatts Modellübersicht werden die Rohdaten angezeigt, die in der Konfusionsmatrix definiert sind. Dazu gehören auch die Richtig- und Falsch-Positiven sowie die Richtig- und Falsch-Negativen. Diese Werte werden als statische Gesamtwerte dargestellt, sodass sie nicht auf Auswahlen reagieren. Mehr Informationen darüber, was diese Werte bedeuten, finden Sie unter Konfusionsmatrix.

Analyse von Teilsätzen der Daten

Im Arbeitsblatt Vorhersagen und Feature-Verteilung zeigt das Diagramm Falsch vorhergesagt einen Balken für jeden möglichen Feature-Wert oder Bereich im Feature, wobei die Höhe des Balkens dem Wert entspricht, wie viel falsche Vorhersagen das Modell getroffen hat. Jede Farbe im Balken entspricht jedem der tatsächlichen Zielwerte. Wählen Sie eine einzelne Funktion und Werte aus beliebigen anderen gewünschten Feldern aus, um zu sehen, wie sich die Vorhersagegenauigkeit für unterschiedliche Datenteilsätze ändert.

Mehrklassen-Klassifikationsmodelle

Analyse des gesamten Modells

Im Abschnitt Vorhersagen des Arbeitsblatts Modellübersicht wird ein Balkendiagramm mit einem Balken für jeden der tatsächlichen Zielwerte gezeigt. Die Höhe jeder Farbe eines Balkens entspricht dem Wert, wie oft eine spezifische Klasse vom Modell vorhergesagt wird. Zusätzlich zu diesem Diagramm zeigt der Abschnitt Vorhersagen auch eine Aufschlüsselung von richtigen und falschen Vorhersagen.

Analyse von Teilsätzen der Daten

Im Arbeitsblatt Vorhersagen und Feature-Verteilung zeigt das Diagramm Falsch vorhergesagt einen Balken für jeden möglichen Wert oder Bereich im Feature, wobei die Höhe des Balkens der Anzahl der falschen Vorhersagen des Modells entspricht. Jede Farbe im Balken entspricht jedem der tatsächlichen Zielwerte.

Regressionsmodelle

Für Regressionsmodelle können Sie die folgenden Informationen sowohl auf Modell- als auch auf Funktionsebene anzeigen:

• Durchschnittlicher vorhergesagter Wert für das Ziel

• Tatsächlicher Zielwert

• Vorhersagebereiche des 90. und 10. Perzentils. Diese Linien zeigen die Bereiche, in denen Sie die Vorhersage eines Werts durch das Modell erwarten können. Die Linie des 90. Perzentils ist immer die Linie mit den größeren Werten.

• Mittlerer absoluter Fehler (MAE)

Analysieren Sie sowohl für die modellweite und funktionsspezifische Visualisierung die Metriken neben der tatsächlichen Werteverteilung für die Funktion.

Analyse der Funktionsrelevanz

Zugriff auf eine Übersicht

Durch die Analyse der Funktionsrelevanz erhalten Sie einen Hinweis darauf, wie jede Funktion Vorhersagen im Verhältnis zu den anderen Funktionen beeinflusst.

Der Abschnitt Feature-Auswirkung des Arbeitsblatts Modellübersicht stellt eine Übersicht über die durchschnittlichen absoluten SHAP-Werte bereit. Dieses Diagramm sieht genauso aus wie das SHAP-Relevanz-Diagramm auf der Registerkarte Modelle. Das Diagramm wird in Abhängigkeit der von Ihnen getroffenen Auswahlen aktualisiert. Wenn Sie eine einzelne Funktion auswählen, können Sie sich spezifische Werte und Bereiche gründlicher ansehen.

Analyse der SHAP-Verteilung

Sie können auch das Arbeitsblatt Auswirkung nach Feature öffnen, um eine umfassendere Ansicht der SHAP-Werte für jeden Feature-Wert oder -Bereich zu erhalten. Die SHAP-Werte werden mit Richtung anstatt als absolute Werte dargestellt.

Diese Analyse kann Sie dabei unterstützen, Muster in spezifischen Kohorten ausfindig zu machen sowie Ausreißer in den Daten zu finden. Treffen Sie Auswahlen von Werten oder Bereichen im Diagramm, um die Daten für eine Analyse mit höherer Granularität zu filtern.

Die Darstellung und der Typ des Diagramms hängen davon ab, welchen Funktionstyp Sie auswählen.

Kategorische Funktionen

Kategorische Funktionen werden als Boxplot visualisiert. Mit dem Boxplot können Sie die Verteilung von SHAP-Werten für jeden kategorischen Wert sehen. Der Boxplot hat die folgende Konfiguration:

• Zeigt durchschnittliche SHAP-Werte.

• Die Konfiguration Standard (Tukey) wird verwendet:

  • Die Box für einen Wert wird durch das erste Quartil (unteres Ende) und das dritte Quartil (oberes Ende) definiert.

  • Der Mittelwert ist die horizontale Linie in der Box.

• Die oberen und unteren Antennen entsprechen den oberen und unteren Grenzwerten des 1,5-Fachen des Interquartilsabstands.

• Ausreißerwerte werden nicht angezeigt.

Numerische Funktionen

Für numerische Funktionen werden SHAP-Werte als Punktdiagramm visualisiert. Das Punktdiagramm hat die folgende Konfiguration:

• SHAP-Werte für die ausgewählte Stichprobe werden angezeigt.

• Das Erscheinungsbild des Punktdiagramms hängt von der anzuzeigenden Datenpunkte ab. Bei Diagrammen mit einer geringeren Anzahl an Datenpunkten werden einzelne Blasen angezeigt. Bei Diagrammen mit einer größeren Anzahl an Datenpunkten werden Blasen in Blöcken gesammelt, wobei die Färbung angibt, wie viele Datenpunkt sich in jedem Block befinden.

Treffen Sie im Punktdiagramm Auswahlen von spezifischen Werten oder Bereichen, die näher untersucht werden sollen.