Überprüfen und Verfeinern von Modellversionen

Nachdem die erste Version des Modelltrainings abgeschlossen ist, analysieren Sie die resultierenden Modellmetriken und konfigurieren neue Versionen des Experiments, bis Sie die gewünschten Ergebnisse erzielt haben.

Wenn Sie die Experimentversion ausführen, werden Sie zur Modellansicht geführt, wo Sie die sich ergebenden Modellmetriken analysieren können. Sie können jederzeit zur Schema- oder Datenansicht wechseln. Wenn Sie zur Modellansicht zurückkehren möchten, klicken Sie auf das Modellansicht-Symbol .

Wenn die erste Version des Trainings abgeschlossen ist, werden alle Metriken in der Tabelle Modellmetriken ausgefüllt, und das Trophäen-Symbol wird neben dem besten Modell angezeigt.

Analysieren des Modells

In der Modellansicht sehen wir, dass der beste Algorithmus mit einem Trophäen-Symbol bewertet wird. Das bedeutet, dass dies das Modell mit der besten Leistung gestützt auf den F1-Score ist.

Gehen Sie folgendermaßen vor:

1. Klicken Sie oben rechts in der Tabelle auf die Schaltfläche „Spaltenauswahl“ . Hier können Sie alle verfügbaren Metriken für die Aufgabe anzeigen und nach Bedarf Metriken hinzufügen oder entfernen. Wählen Sie alle Metriken aus, die in der Tabelle angezeigt werden sollen, oder behalten Sie die Standardmetriken bei.

   

2. Klicken Sie in der Tabelle Modellmetriken auf die Filter-Dropdown-Liste Algorithmus und wählen Sie den Algorithmus für das Modell mit der besten Leistung aus.

3. Aktivieren Sie Metriken der Trainingsdaten anzeigen.

   Sie können jetzt die Metriken aus dem Kreuzvalidierungstraining anzeigen und sie mit den Holdout-Metriken vergleichen. Für jede „holdout“-Metrikspalte ist eine entsprechende „train“-Spalte für die zugehörige Metrik in den Trainingsdaten vorhanden.

   

4. Klicken Sie auf Filter löschen und deaktivieren Sie die Option Metriken der Trainingsdaten anzeigen wieder.

5. Sortieren Sie die Modelle nach Leistung vom obersten zum untersten, indem Sie auf die Spaltenkopfzeile F1 klicken. Sie können Algorithmen mit geringer Leistung ausschließen oder sich nur auf den besten konzentrieren, um in der nächsten Iteration des Trainings schnellere Ergebnisse zu erhalten. Darauf wird beim Konfigurieren von v3 in einem späteren Abschnitt genauer eingegangen.

6. Scrollen Sie nach unten, um unterhalb der Metriktabelle Visualisierungen für das ausgewählte Modell anzuzeigen.

   

7. Klicken Sie auf oder auf Konfiguration anzeigen, um das Fenster Experimentkonfiguration zu erweitern.

8. Klicken Sie auf Neue Version, um einen Entwurf der nächsten Experimentversion zu erstellen.

9. Im Permutation Importance-Diagramm und in der Liste Features im Fenster Experimentkonfiguration sehen Sie, dass diese erste Iteration des Modells sich sehr stark auf das Feature DaysSinceLastService stützt und dass alle anderen Features im Vergleich dazu praktisch keine Bedeutung haben.

   

   Dieses Missverhältnis und die extrem gute Leistung des Modells sollten als Zeichen gewertet werden, dass etwas nicht stimmt. In diesem Fall war während der Datenerfassung keine Logik definiert, um das Zählen der Anzahl der Tage seit dem letzten Dienstticket eines Kunden für Kunden zu stoppen, die ihr Abonnement gekündigt hatten. Dadurch lernte das Modell, eine große Anzahl Tage seit dem letzten Dienstticket mit dem Ergebnis yes im Feld Churned zu assoziieren.

   Das ist ein Beispiel für ein Datenleck, da das Modell in der Realität nur Zugang zu Informationen bis zum Zeitpunkt der Vorhersage hätte, und die Anzahl der Tage in diesem Feld wurde über diesen Messpunkt hinaus erfasst. Weitere Informationen zu Datenlecks finden Sie unter Datenleck.

   Das „leckende“ Feature DaysSinceLastService muss aus der Experimentkonfiguration entfernt werden, da es die sich ergebenden Modelle verzerrt. Beachten Sie auch, dass in einem realen Fall eine gründliche Prüfung der Datenqualität und Logik vor der Modellerstellung erforderlich ist, um sicherzustellen, dass das entstandene Modell ordnungsgemäß trainiert wird.

   Darauf wird beim Konfigurieren von v2 im nächsten Abschnitt genauer eingegangen.

Konfigurieren und Ausführen von Version 2

Da sich ein Großteil des Modelltrainings ändern wird, nachdem dieses Datenleckproblem behoben ist, wollen wir eine neue Version konfigurieren, bevor weitere Verfeinerungen vorgenommen werden.

Gehen Sie folgendermaßen vor:

1. Von einem früheren Schritt her haben Sie bereits das Fenster Experimentkonfiguration für die Konfiguration von v2 geöffnet.

2. Deaktivieren Sie im Fenster Experimentkonfiguration unter Features das Kontrollkästchen DaysSinceLastService.

3. Klicken Sie auf v2 ausführen.

Konfigurieren und Ausführen von Version 3

Nachdem die Ausführung der zweiten Version des Experiments beendet ist, klicken Sie in der Metriktabelle auf das Kontrollkästchen neben dem v2-Modell mit der besten Leistung (mit dem Trophäen-Symbol gekennzeichnet). Dadurch wird die Seite mit den Metriken für dieses Modell aktualisiert.

Klicken Sie oberhalb der Tabelle Modellmetriken auf die Filter-Dropdown-Liste Version und wählen Sie 2 aus. Damit können Sie sich nur auf die Modellmetriken von v2 konzentrieren.

Sie können sehen, dass die Liste der relevanten Features sich erheblich verändert hat, seit das Datenleck behoben wurde. Das Modell mit der besten Leistung verwendet möglicherweise auch einen anderen Algorithmus als das Modell mit der besten Leistung aus v1.

Gehen Sie folgendermaßen vor:

1. Betrachten Sie das Permutation Importance-Diagramm. Es können Features vorhanden sein, die wesentlich weniger Einfluss auf unser Modell als die anderen Features haben. Sie sind für diesen Anwendungsfall praktisch nutzlos und können als statistisches Rauschen betrachtet werden. Sie können versuchen, einige dieser Features zu entfernen, um zu sehen, ob sich dadurch die Modell-Scores verbessern.

   

2. Klicken Sie auf oder auf Konfiguration anzeigen, um das Fenster Experimentkonfiguration zu erweitern.

3. Klicken Sie auf Neue Version, um einen Entwurf der nächsten Experimentversion zu erstellen.

4. Deaktivieren Sie im Fenster Experimentkonfiguration unter Features die Kontrollkästchen für ein oder mehrere Features, die kaum oder gar keinen Einfluss auf das Modell haben.

5. Betrachten Sie die Tabelle Modellmetriken. Sie können einige Algorithmen mit geringer Leistung ausschließen oder sich nur auf den besten konzentrieren, um in der nächsten Iteration des Trainings schnellere Ergebnisse zu erhalten.

6. Im Fenster Experimentkonfiguration können Sie unter Algorithmen optional die Kontrollkästchen für einige der Algorithmen mit geringer Leistung deaktiviern.

7. Klicken Sie auf v3 ausführen.

Vergleichen von Experimentversionen

Klicken Sie in der Tabelle Modellmetriken auf Filter löschen.

Klicken Sie nach der Ausführung von v3 auf das Kontrollkästchen neben dem Modell mit der besten Leistung für v3, um dessen Metriken anzuzeigen.

Klicken Sie auf Weitere Modellfilter und wählen Sie den Filter Modelle mit bester Leistung aus. Es werden Metriken für die Modelle mit der besten Leistung jeder Iteration des Experiments angezeigt.

Die erste Version des Trainings ergab die höchsten Scores, aber diese Metriken waren stark übertriebene und unrealistische Prädiktoren der Leistung, die durch das Datenleckproblem verursacht wurden. In v3 erhöhte sich der F1-Score des Modells mit der besten Leistung im Vergleich zum Modell mit der besten Leistung in v2.

In einem realen Szenario ist es wichtig, diese Verfeinerungsschritte so oft wie erforderlich zu wiederholen, bevor das Modell bereitgestellt wird, um zu gewährleisten, dass Sie über das bestmögliche Modell für Ihren speziellen Anwendungsfall verfügen.

In diesem Tutorial gehen Sie jetzt zum nächsten Abschnitt über die Bereitstellung Ihres Modells weiter.