Überprüfen und Verfeinern von Modellen
Nachdem die erste Version des Modelltrainings abgeschlossen ist, analysieren Sie die resultierenden Modellmetriken und konfigurieren neue Versionen des Experiments, bis Sie die gewünschten Ergebnisse erzielt haben.
Wenn Sie die Experimentversion ausführen, werden Sie zur Registerkarte Modelle geführt, wo Sie die sich ergebenden Modellmetriken analysieren können. Sie können auf die Schemaansicht und Datenansicht zugreifen, indem Sie zur Registerkarte Daten zurückkehren. Eine detailliertere Analyse kann auf den Registerkarten Vergleichen und Analysieren durchgeführt werden.
Wenn die erste Version des Trainings abgeschlossen ist, werden alle Metriken in der Tabelle Modellmetriken ausgefüllt, und das Trophäen-Symbol 
wird neben dem besten Modell angezeigt.
Analysieren der Modelle aus v1
Wechseln Sie zurück zur Registerkarte Modelle. In der Tabelle Modellmetriken ist das beste Modell mit einem Trophäensymbol gekennzeichnet. Das bedeutet, dass dies gemäß F1-Score das Modell mit der besten Leistung ist.
Tabelle Modellmetriken mit dem v1-Modell mit der besten Leistung
Wechseln Sie zurück zur Registerkarte Modelle. In der Tabelle Modellmetriken ist das beste Modell mit einem Trophäensymbol gekennzeichnet. Das bedeutet, dass dies das Modell mit der besten Leistung gestützt auf den F1-Score ist.
Sortieren Sie die Modelle nach Leistung vom obersten zum untersten, indem Sie auf die Spaltenkopfzeile F1 klicken. Sie können Algorithmen mit geringer Leistung ausschließen oder sich nur auf den besten konzentrieren, um in der nächsten Iteration des Trainings schnellere Ergebnisse zu erhalten. Darauf wird beim Konfigurieren von v3 in einem späteren Abschnitt genauer eingegangen.
Identifizieren von Datenlecks
Sehen Sie sich die Diagramme Modelleinblicke rechts auf der Seite an. Diese Diagramme geben Sie einen Hinweis auf die relative Bedeutung jeder Funktion sowie auf die Modellleistung.
Im Permutation Importance-Diagramm und in der Liste Features im Fenster Experimentkonfiguration sehen Sie, dass diese erste Iteration des Modells sich sehr stark auf das Feature DaysSinceLastService stützt und dass alle anderen Features im Vergleich dazu praktisch keine Bedeutung haben.
Diagramm Permutation Importance auf der Registerkarte Modelle mit Datenlecks
Dieses Missverhältnis und die extrem guten F1-Leistungsbewertungen der Modelle sollten als Zeichen gewertet werden, dass etwas nicht stimmt. In diesem Fall war während der Datenerfassung keine Logik definiert, um das Zählen der Anzahl der Tage seit dem letzten Dienstticket eines Kunden für Kunden zu stoppen, die ihr Abonnement gekündigt hatten. Dadurch lernte das Modell, eine große Anzahl Tage seit dem letzten Servicticket (für Kunden vorliegend, die vor Jahren storniert haben) mit dem Ergebnis yes im Feld Churned zu assoziieren.
Das ist ein Beispiel für ein Datenleck, da das Modell in der Realität nur Zugang zu Informationen bis zum Zeitpunkt der Vorhersage hätte, und die Anzahl der Tage in diesem Feld wurde über diesen Messpunkt hinaus erfasst. Dieses Problem ist als Zielleck bekannt, einer Form von Datenleck. Weitere Informationen zu Datenlecks finden Sie unter Datenleck.
Das „leckende“ Feature DaysSinceLastService muss aus der Experimentkonfiguration entfernt werden, da es die sich ergebenden Modelle verzerrt. Beachten Sie auch, dass in einem realen Fall eine gründliche Prüfung der Datenqualität und Logik vor der Modellerstellung erforderlich ist, um sicherzustellen, dass das entstandene Modell ordnungsgemäß trainiert wird.
Darauf wird beim Konfigurieren von v2 genauer eingegangen.
Konfigurieren und Ausführen von Version 2
Wir wollen nun eine neue Version konfigurieren, um das Datenleckproblem anzugehen.
Gehen Sie folgendermaßen vor:
Klicken Sie auf Konfiguration anzeigen, um den Fensterbereich der Experimentkonfiguration zu erweitern.
Klicken Sie auf Neue Version.
Deaktivieren Sie unter Funktionen das Kontrollkästchen DaysSinceLastService.
Klicken Sie auf v2 ausführen.
DaysSinceLastService wird für v2 entfernt
Analysieren der Modelle aus v2
Nachdem die Ausführung der zweiten Version des Experiments beendet ist, klicken Sie in der Tabelle Modellmetriken auf das Kontrollkästchen neben dem v2-Modell mit der besten Leistung (mit dem Trophäen-Symbol gekennzeichnet). Dadurch wird die Seite mit den Metriken für dieses Modell aktualisiert.
Vergleich von Trainings- und Holdout-Metriken
Sie können zusätzliche Metriken anzeigen und die Metriken aus dem Kreuzvalidierungstraining mit den Holdout-Metriken vergleichen.
Gehen Sie folgendermaßen vor:
Wechseln Sie im Experiment zur Registerkarte Vergleichen.
Es wird eine eingebettete Analyse geöffnet. Sie können die interaktive Benutzeroberfläche für eine eingehendere Untersuchung Ihrer Vergleichsmodellanalyse und für die Gewinnung neuer Einblicke nutzen.
Wechseln Sie im Fensterbereich Arbeitsblätter rechts in der Analyse zum Arbeitsblatt Details.
Sehen Sie sich die Tabelle Model Metrics an. Sie zeigt Modellbewertungsmetriken wie F1 sowie weitere Informationen.
Version 1 des Trainings wurde von Ziellecks beeinflusst. Sehen wir uns nun schwerpunktmäßig nur v2 an. Verwenden das Filterfenster Version rechts auf dem Arbeitsblatt, um den Wert 1 auszuwählen.
Verwenden Sie im Abschnitt Columns to show das Filterfenster, um Spalten in der Tabelle hinzuzufügen und zu entfernen.
Fügen Sie im Dropdown-Listenfeld zusätzliche Metriken hinzu. Trainingsbewertungen für jede Metrik werden als Werte angezeigt, die auf Train enden. Fügen Sie einige Trainingsmetriken zur Tabelle hinzu.
Sie können jetzt die F1-Metriken aus dem Kreuzvalidierungstraining anzeigen und sie mit den Holdout-Metriken vergleichen.
Hinzufügen und Anzeigen von Trainings-Scores für Vergleich mit den Holdout-Scores
Erkennung von Funktionen mit geringer Relevanz
Als Nächstes sollten wir uns ansehen, ob es Funktionen mit geringer Permutation Importance gibt. Funktionen, die nur einen geringen bis gar keinen Einfluss auf das Modell haben, sollten für eine verbesserte Vorhersagegenauigkeit entfernt werden.
Gehen Sie folgendermaßen vor:
Wechseln Sie im Experiment zurück zur Registerkarte Modelle.
Betrachten Sie das Permutation Importance-Diagramm. Die vier Features mit den niedrigsten Werten – StartMonth, DeviceType, CustomerTenure und Territory – haben wesentlich weniger Einfluss auf unser Modell als die anderen Features. Sie sind für diesen Anwendungsfall praktisch nutzlos und können als statistisches Rauschen betrachtet werden.
In v3 können wir diese Funktionen entfernen, um zu sehen, ob sich dadurch die Modell-Scores verbessern.
Registerkarte Modelle mit ausgewähltem v2-Modell mit der besten Leistung. Das Diagramm Permutation Importance gibt an, ob es Funktionen gibt, die nur einen geringen bis gar keinen Einfluss auf das Modell haben.
Erkennung von Algorithmen mit geringer Leistung
Wir können uns auch die Tabelle Modellmetriken ansehen, m herauszufinden, ob wir Algorithmen aus dem v3-Training entfernen können. Sie können bei der Verfeinerung von Modellen Algorithmen mit geringer Leistung entfernen, sodass das Training in nachfolgenden Iterationen schnelle abläuft.
Wechseln Sie im Experiment zurück zur Registerkarte Modelle.
Verwenden Sie in der Tabelle Modellmetriken den Filter Version, um nur die Modelle aus v2 anzuzeigen.
Sehen Sie sich die F1-Scores für jeden Algorithmus an. Wenn bestimmte Algorithmen Modelle erstellen, welche einen erheblich geringeren Score als andere aufweisen, können wir sie aus der nächsten Version entfernen.
Konfigurieren und Ausführen von Version 3
Gehen Sie folgendermaßen vor:
Klicken Sie auf Konfiguration anzeigen, um den Fensterbereich der Experimentkonfiguration zu erweitern.
Klicken Sie auf Neue Version.
Deaktivieren Sie im Fensterbereich unter Funktionen die Kontrollkästchen für StartMonth, DeviceType, CustomerTenure und Territory.
Erweitern Sie optional Algorithmen und deaktivieren Sie die Kontrollkästchen für Gaussian Naive Bayes und Logistische Regression.
Klicken Sie auf v3 ausführen.
Analysieren der Modelle aus v3
Nachdem v3 ausgeführt wurde, können Sie den Filter Version aus der Tabelle Modellmetriken löschen. Wählen Sie das Modell mit der besten Leistung aus v3 aus.
Wir wollen einen kurzen Vergleich der Modelle über alle Versionen hinweg durchführen.
Die erste Version des Trainings ergab die höchsten Scores, aber diese Metriken waren stark übertriebene und unrealistische Prädiktoren der Leistung, die durch das Datenleckproblem verursacht wurden. In v3 erhöhte sich der F1-Score des Modells mit der besten Leistung im Vergleich zum Modell mit der besten Leistung in v2.
Tabelle Modellmetriken mit sortierten F1-Scores für Modelle über alle drei Versionen hinweg. Der F1-Score wurde in v3 nach Entfernen von Funktionen mit geringer Relevanz verbessert.
Wie vorher bereits erwähnt, können Sie zur Registerkarte Vergleichen wechseln, um einen detailliereren Vergleich der Modell-Scores zu erhalten.
Augenmerk auf ein spezifisches Modell
Sie können zu jeder Zeit während der Modellanalyse eine detaillierte Analyse eines einzelnen Modells durchführen. Erkunden Sie die Vorhersagegenauigkeit, die Funktionsrelevanz und Funktionsverteilung mit einer interaktiven Qlik Sense-Erfahrung.
Gehen Sie folgendermaßen vor:
Klicken Sie nach der Auswahl des v3-Modells mit der besten Leistung auf die Registerkarte Analysieren.
Es wird eine eingebettete Analyse geöffnet.
Mit dem Arbeitsblatt Model Overview können Sie die Vorhersagegenauigkeit des Models analysieren. Die Analyse wird durch das Leistungsvermögen von Auswahlen verbessert. Klicken Sie auf eine Funktion oder einen vorhergesagten Wert, um eine Auswahl zu treffen. Die Daten in der eingebetteten Analyse werden angepasst, um die Daten zu filtern. Sie können einen Drilldown in spezifische Funktionswerte und -bereiche durchführen, um zu sehen, wie sich der Funktionseinfluss und die Vorhersagegenauigkeit ändern.
Durch einen Wechsel zu den anderen Arbeitsblättern können Visualisierungen für Vorhersagegenauigkeit, Funktionsverteilung und Auswirkungsverteilung (SHAP) anzeigen. Diese Analyseinhalte können Ihnen bei Folgendem helfen:
Die Haupttreiber aufdecken, die Trends in den Daten beeinflussen.
Ermitteln, wie spezifische Funktionen und Kohorten vorhergesagte Werte und die Vorhersagegenauigkeit beeinflussen.
Ausreißer in den Daten identifizieren.
Registerkarte Analysieren in einem ML-Experiment
Nächste Schritte
In einem realen Szenario ist es wichtig, diese Verfeinerungsschritte so oft wie erforderlich zu wiederholen, bevor das Modell bereitgestellt wird, um zu gewährleisten, dass Sie über das bestmögliche Modell für Ihren speziellen Anwendungsfall verfügen.
In diesem Tutorial gehen Sie jetzt zum nächsten Abschnitt über die Bereitstellung Ihres Modells weiter.