Bewerten der Modellleistung im Zeitverlauf

Nachdem Sie eine Reihe von Modellen für maschinelles Lernen trainiert und das beste Modell bereitgestellt haben, beginnen Sie mit der Erstellung von Vorhersagen für Produktionsdaten. Es ist wichtig, die Leistung Ihres Modells laufend zu überprüfen, um sicherzustellen, dass es immer noch zuverlässige Vorhersagen trifft und dass die Daten, mit denen es trainiert wurde, immer noch relevant sind.

Faktoren, die überwacht werden sollten

Betriebliche Erfordernisse

Ihre Vorhersagenutzung wird sich im Laufe der Zeit wahrscheinlich ändern. Die Änderungen können geringfügig oder erheblich sein. Sie müssen beurteilen, ob das Modell in seiner aktuellen Konfiguration noch einen Nutzen erbringt. Wenn sich die Fragestellung für das maschinelle Lernen seit dem ersten Training Ihrer Modelle wesentlich geändert hat, sollten Sie den Definitionsprozess für Ihre Frage und den Datensatz neu beginnen.

Eingabedaten und Vorhersagegenauigkeit

In der Regel ändern sich Verteilungen und Trends in Eingabedaten mit der Zeit. Was einmal ein entscheidendes Merkmal Ihrer Trainingsdaten war, ist möglicherweise nicht mehr relevant oder hat sogar noch stärkere Auswirkungen. Vielleicht stellen Sie fest, dass es neue Variablen gibt, die sich auf die vorhergesagten Ergebnisse auswirken und die als neue Features in Ihr Modell aufgenommen werden müssen. Ebenso kann es sein, dass bestimmte Features nicht mehr in ausreichendem Maße zu den Ergebnissen beitragen, um in das Modell aufgenommen zu werden.

Es ist wichtig, dass Sie Ihre Daten auf Drift zwischen Ihren ursprünglichen Trainingsdaten und den neuesten verfügbaren Daten überwachen. Wenn der Drift für bestimmte Features einen Schwellenwert erreicht, der nicht mehr akzeptabel ist, müssen Sie neue Daten erfassen und das Modell neu trainieren oder mit einer neuen Definition des ML-Problems beginnen. Weitere Einzelheiten zu Datendrift finden Sie unter Datendrift.

Wenn Sie außerdem feststellen, dass das Modell Vorhersagen nicht mehr mit der gleichen Genauigkeit wie ursprünglich trifft, müssen Sie neu bewerten, was Sie ändern müssen, um wieder eine akzeptable Leistung zu erzielen. Sie könnten zum Beispiel feststellen, dass die Modellgenauigkeit durch Fehler bei der Datenerfassung beeinträchtigt wird.

Erneutes Trainieren von Modellen

Wenn mit der Zeit immer mehr Verlaufsdaten verfügbar werden, ist es auch ohne nachlassende Leistung unvermeidlich, Ihre Modelle neu zu trainieren, damit die aktuellsten Informationen berücksichtigt werden.

Überwachung von Datendrifts

AutoML verfügt über integrierte Funktionen, die Ihnen helfen, Feature-Drift in Ihren bereitgestellten Modelle zu erkennen. Weitere Informationen finden Sie unter Überwachung von Datendrift in bereitgestellten Modellen.

Nächste Schritte

Je nachdem, wie sehr sich der Anwendungsfall und die Eingabedaten verändert haben, sollten Sie eine oder mehrere der folgenden Möglichkeiten in Betracht ziehen:

• Trainieren Sie Modelle innerhalb desselben Experiments mit neuen Daten neu. Wenn sich Ihr ML-Problem nicht wesentlich verändert hat, bietet diese Option mehrere Vorteile. Insbesondere können Sie die Modelle aller Experimentversionen innerhalb desselben Experiments detailliert vergleichen. Weitere Informationen finden Sie unter Ändern oder Aktualisieren des Datensatzes.

• Wenn das anfänglich definierte ML-Problem nicht mehr relevant ist, kann es sinnvoll sein, ein völlig neues Experiment zu erstellen. Das hängt weitgehend von Ihrem Anwendungsfall ab.