Verfeinern von Modellen

Nachdem Sie einige anfängliche Modelle erstellt haben, müssen Sie sie verfeinern, um ihre Effektivität und potenzielle Genauigkeit zu steigern. Die Modell-Scores geben verschiedene Maße dieser Leistung an. Das Ziel der Modellverfeinerung besteht im Steigern dieser Scores. Ein höherer Score bedeutet aber nicht immer ein besseres Modell.

Sie können Ihre Modelle verfeinern, indem Sie Features aus- oder einschließen, die Trainingsdaten ändern und weitere Konfigurationsparameter bearbeiten. Dabei können Sie verschiedene Versionen vergleichen, um zu sehen, welche Auswirkungen Ihre Änderungen haben.

Indem Sie diese Scores interpretieren, lernen Sie, wie Sie das Modell verfeinern können. Die Werte für die verschiedenen Metriken geben Ihnen Einblicke in die Maßnahmen, die Sie zum Verbessern des Ergebnisses ergreifen können.

Anforderungen und Berechtigungen

Weitere Informationen über die Benutzeranforderungen für die Arbeit mit ML-Experimenten finden Sie unter Arbeiten mit Experimenten.

Konfigurieren einer neuen Version

Nachdem Sie eine Experimentversion ausgeführt haben, können Sie Ihre Modelle bei Bedarf verfeinern, indem Sie eine neue Version erstellen.

Gehen Sie folgendermaßen vor:

1. Wählen Sie auf der Registerkarte Daten, Modelle oder Analysieren das Modell aus, das als Ausgangsbasis für die nächste Version verwendet werden soll.

2. Klicken Sie auf Konfiguration anzeigen.

   Der Fensterbereich der Experimentkonfiguration wird geöffnet.

3. Klicken Sie auf Neue Version.

Nachdem Sie eine neue Version erstellt haben, können Sie Änderungen wie die folgenden an der Konfiguration vornehmen:

• Vorhandene Features ausschließen

• Zuvor ausgeschlossene Features einschließen

• Den Datensatz ändern oder aktualisieren

• Algorithmen auswählen bzw. die Auswahl aufheben

Weitere Informationen zu diesen Optionen finden Sie in den folgenden Abschnitten.

Klicken Sie beim Entwerfen einer neuen Version im Fensterbereich der Experimentkonfiguration auf das Filtersymbol unter Funktionen. Beim Filtern können Sie leichter visualisieren, welche Features seit dem Ändern des Trainingsdatensatzes eingeführt wurden. Sie können auch sehen, welche Features automatisch bzw. nicht automatisch erstellt wurden.

Verbessern des Datensatzes

Wenn Ihr Modell nicht gut abschneidet, können Sie den Datensatz prüfen, um ggf. Probleme zu beheben. Weitere Informationen zum Verbessern des Datensatzes finden Sie unter Vorbereiten Ihres Datensatzes für das Training.

Ausschließen von Features

Mehr Features ergeben nicht unbedingt ein besseres Modell. Um das Modell zu verfeinern, können Sie unzuverlässige und irrelevante Features wie die Folgenden ausschließen:

• Features mit zu hoher Korrelation. Schließen Sie aus zwei korrelierten Features dasjenige mit weniger Featurerelevanz aus.

• Features mit zu geringer Featurerelevanz. Diese Features haben keinen Einfluss auf das, was Sie lernen möchten.

• Features mit zu hoher Featurerelevanz. Dies kann auf Datenlecks zurückzuführen sein.

Probieren Sie, das Feature aus den Trainingsdaten zu entfernen. Führen Sie das Training erneut aus und prüfen Sie, ob dies das Modell verbessert. Zeigt sich ein großer oder gar kein Unterschied beim Modell-Score?

Gehen Sie folgendermaßen vor:

1. Öffnen Sie ein Experiment im Katalog.

2. Wählen Sie auf der Registerkarte Daten, Modelle oder Analysieren das Modell aus, das als Ausgangsbasis für die nächste Version verwendet werden soll.

3. Klicken Sie auf Konfiguration anzeigen.

   Der Fensterbereich der Experimentkonfiguration wird geöffnet.

4. Klicken Sie auf Neue Version, um eine neue Experimentversion zu konfigurieren.

5. Deaktivieren Sie unter Features die Kontrollkästchen für alle Features, die Sie nicht im Training verwenden möchten.

Hinzufügen von Features

Wenn Ihr Modell immer noch keine hohe Leistung erbringt, kann dies daran liegen, dass die Features, die eine Beziehung zum Ziel haben, noch nicht im Datensatz erfasst sind. Sie können den Datensatz erneut verarbeiten und seinen Zweck ändern, um die Datenqualität zu optimieren und neue Features und Informationen hinzuzufügen. Sobald der neue Datensatz bereit ist, kann er zu zukünftigen Experimentversionen hinzugefügt werden. Weitere Informationen finden Sie unter Ändern oder Aktualisieren des Datensatzes.

Lesen Sie mehr über das Erfassen oder Erstellen neuer Features in Erstellen neuer Featurespalten.

Auswählen von Algorithmen

Gestützt auf den Datentyp Ihrer Zielspalte werden geeignete Algorithmen automatisch für das Training ausgewählt. Sie können Algorithmen ausschließen, die keine so gute Leistung erbringen oder langsamer sind. So verlieren Sie keine Zeit mit deren Training.

Weitere Informationen zur Auswahl von Algorithmen finden Sie unter Verstehen von Modellalgorithmen.

Gehen Sie folgendermaßen vor:

1. Öffnen Sie ein Experiment im Katalog.

2. Wählen Sie auf der Registerkarte Daten, Modelle oder Analysieren das Modell aus, das als Ausgangsbasis für die nächste Version verwendet werden soll.

3. Klicken Sie auf Konfiguration anzeigen.

   Der Fensterbereich der Experimentkonfiguration wird geöffnet.

4. Klicken Sie auf Neue Version, um eine neue Experimentversion zu konfigurieren.

5. Deaktivieren Sie unter Algorithmen die Kontrollkästchen für alle Algorithmen, die Sie nicht im Training verwenden möchten.

Ändern oder Aktualisieren des Datensatzes

Wenn sich Ihre Trainingsdaten seit der letzten Experimentversion geändert haben, können Sie den Datensatz für zukünftige Versionen des Experiments ändern oder aktualisieren.

Das kann nützlich sein, wenn Sie Modellmetriken und -leistung für verschiedene Datensätze im gleichen Experiment vergleichen möchten. Dies ist beispielsweise in folgenden Fällen nützlich:

• Ein neuer Satz Datensatzeinträge ist verfügbar, oder der ursprüngliche Satz Datensatzeinträge wurde aktualisiert. Beispielsweise könnten die neuesten Transaktionen des Monats verfügbar geworden und für das Training geeignet sein, oder ein Datensammlungsproblem wurde identifiziert und behoben.

• Der ursprüngliche Trainingsdatensatz wurde erneut verarbeitet oder umgewidmet, evtl. mit der Absicht, das Modelltraining zu verbessern. Sie können beispielsweise die Logik zum Definieren der Feature-Spaltenwerte verbessert oder neue Feature-Spalten hinzugefügt haben.

Das Ändern oder Aktualisieren des Datensatzes ändert vorhandene Modelle nicht, die bereits in früheren Experimentversionen trainiert wurden. Innerhalb einer Experimentversion werden die Modelle nur mit den Trainingsdaten trainiert, die innerhalb dieser konkreten Version definiert wurden.

Voraussetzungen

Wenn Sie den Datensatz für eine neue Experimentversion ändern oder aktualisieren, muss der neue Datensatz die folgenden Anforderungen erfüllen:

• Der Name und Feature-Typ der Zielspalte muss dem Ziel im ursprünglichen Trainingsdatensatz entsprechen.

• Die Anzahl der distinkten Werte in der Zielspalte muss sich in dem Bereich befinden, der für den jeweiligen Experimenttyp erforderlich ist. Beispielsweise muss die Zielspalte für ein Mehrklassen-Klassifikationsexperiment im neuen Datensatz ebenfalls zwischen drei und zehn eindeutige Werte enthalten. Informationen zu spezifischen Bereichen finden Sie unter Bestimmen des Typs des erstellten Modells.

Die anderen Feature-Spalten können völlig neu sein, andere Namen haben und andere Daten enthalten.

Ändern des Datensatzes

Gehen Sie folgendermaßen vor:

1. Wählen Sie auf der Registerkarte Daten, Modelle oder Analysieren das Modell aus, das als Ausgangsbasis für die nächste Version verwendet werden soll.

2. Klicken Sie auf Konfiguration anzeigen.

   Der Fensterbereich der Experimentkonfiguration wird geöffnet.

3. Klicken Sie auf Neue Version, um eine neue Experimentversion zu konfigurieren.

4. Klicken Sie unter Trainingsdaten auf Datensatz ändern.

5. Wählen Sie den neuen Datensatz aus bzw. laden Sie ihn hoch.

Aktualisieren des Datensatzes

Gehen Sie folgendermaßen vor:

1. Wählen Sie auf der Registerkarte Daten, Modelle oder Analysieren das Modell aus, das als Ausgangsbasis für die nächste Version verwendet werden soll.

2. Klicken Sie auf Konfiguration anzeigen.

   Der Fensterbereich der Experimentkonfiguration wird geöffnet.

3. Klicken Sie auf Neue Version, um eine neue Experimentversion zu konfigurieren.

4. Klicken Sie unter Trainingsdaten auf Datensatz aktualisieren.

   Sie werden benachrichtigt, wenn eine Datensatzaktualisierung verfügbar ist. Ein Datensatz wird in der Regel aktualisiert, wenn die vorhandene Datendatei durch die Erstellung einer neuen Datei mit dem gleichen Namen überschrieben wird.

Ausführung der verfeinerten Version

Wenn Sie mit der Konfiguration der Version fertig sind, können Sie sie ausführen.

Gehen Sie folgendermaßen vor:

• Klicken Sie auf v2 ausführen unten rechts auf dem Bildschirm.

  (Der Text auf der Schaltfläche hängt von der Anzahl der Versionen ab, die Sie ausgeführt haben.)

Vergleichen von Experimentversionen

Nachdem die neue Version mit dem Trainieren fertig ist, vergleichen Sie die neue Version mit der alten, um die Auswirkungen Ihrer Änderungen zu sehen. Sie haben eine Reihe von Optionen zum Vergleichen Modellen über Experimentversionen hinweg.

Schnellanalyse

Verwenden Sie die Registerkarten Modelle und Daten im Experiment, um die Version mit älteren Versionen zu vergleichen. Auf der Registerkarte Modelle können Sie:

• Die Ergebnisse in der Tabelle Modellmetriken anzeigen.

• Zwischen Modellen wechseln, um die Unterschiede in der Modelltrainingsübersicht und anderen automatisch generierten Diagrammen zu sehen.

Weitere Informationen zur schnellen Modellanalyse finden Sie unter Durchführen von schnellen Modellanalysen.

Eingehende Analyse

Sie können eine eingehendere Untersuchung Ihrer Modellanalyse durchführen, indem Sie zu den Registerkarten Vergleichen und Analysieren im Experiment wechseln. Diese Registerkarten bieten eine eingebettete Analyseerfahrung, bei der Sie die Modelle interaktiv detaillierter auswerten können.

Die Registerkarte Vergleichen bietet einen modellübergreifenden Vergleich von Modell-Scores und Hyperparametern. Auf der Registerkarte Analysieren können Ihren Schwerpunkt auf ein spezifisches Modell legen, um die Vorhersagegenauigkeit, die Funktionsrelevantz und andere Details zu beurteilen.

Weitere Informationen finden Sie unter Vergleichen von Modellen und Durchführen von detaillierten Modellanalysen.

Änderung der Modelloptimierungseinstellungen

Sie können die intelligente Optimierung deaktivieren, nachdem Sie eine Version ausführen, in der sie aktiviert war. Dadurch können Sie die Einblicke verwenden, die Sie aus der intelligente Optimierung gewonnen haben. Außerdem erhalten Sie dadurch die notwendige Kontrolle darüber, kleinere, minimale Änderungen vorzunehmen. Alternativ können Sie die intelligente Modelloptimierung aktivieren, nachdem Sie eine oder mehrere Version mit deaktivierter Einstellung ausgeführt haben.

Die Hyperparameteroptimierung ist eine Einstellung, die während des Modellverfeinerungsprozess nützlich sein kann. Im Allgemeinen wird nicht empfohlen, diese Einstellung für die erste Version des Experiments zu aktivieren.

Sie können auch ändern, ob das zeitbezogene Training verwendet werden soll oder nicht, oder die Spalte ändern, die als Datumsindex verwendet wird.

Gehen Sie folgendermaßen vor:

1. Klicken Sie auf Konfiguration anzeigen.

2. Klicken Sie bei Bedarf auf Neue Version, um eine neue Experimentversion zu konfigurieren.

3. Erweitern Sie im Fensterbereich die Option Modelloptimierung.

4. Wechseln Sie zwischen den Einstellungen Intelligent und Manual, um die intelligente Modelloptimierung zu aktivieren bzw. zu deaktivieren.

5. Wenn Sie die Hyperparameteroptimierung aktivieren möchten, aktivieren Sie das Kontrollkästchen Hyperparameteroptimierung und legen Sie eine maximale Trainingszeit fest.

6. Unter Zeitbasierter Test-Train-Split können Sie die Einstellungen für das zeitbezogene Training ändern:

   1. Um das zeitbezogene Training zu aktivieren, ändern Sie den Standardwert Keine, indem Sie eine bestimmte Spalte im Datensatz als Datumsindex auswählen.

   2. Zum Deaktivieren des zeitbezogenen Trainings setzen Sie den Datumsindex auf den Wert Keine.

   3. Ändern Sie die ausgewählte Spalte für den Datumsindex in eine andere Spalte.

Löschen von Experimentversionen

Sie können Experimentversionen löschen, die Sie nicht beibehalten möchten. Beachten Sie, dass alle Modelle in den Experimentversionen ebenfalls gelöscht werden und nicht wiederhergestellt werden können.

Gehen Sie folgendermaßen vor:

1. Wechseln Sie zur Registerkarte Modelle.

2. Wählen Sie in der Tabelle Modellmetriken ein Modell der Experimentversion aus, die Sie löschen möchten.

   TipphinweisSie können auch ein Modell über das Dropdown-Menü in der Symbolleiste auswählen, wenn Sie sich auf der Registerkarte Daten oder Analysieren befinden.

3. Klicken Sie unten rechts auf <Versionsnummer> löschen.

4. Klicken Sie im Bestätigungsdialogfeld auf Löschen.