Holdout-Daten und Kreuzvalidierung
Eine der größten Herausforderungen bei der prädiktiven Analyse besteht darin, herauszufinden, wie ein trainiertes Modell sich bei Daten verhält, die ihm noch völlig unbekannt sind. Es muss also geprüft werden, wie gut das Modell echte Muster gelernt hat, im Gegensatz zum einfachen Auswendiglernen der Trainingsdaten. Holdout-Daten und Kreuzvalidierung sind effektive Techniken, mit denen Sie sich vergewissern können, dass Ihr Modell nicht nur auswendig lernt, sondern tatsächlich allgemeine Muster erlernt.
Testen von Modellen auf Auswendiglernen im Gegensatz zu Generalisieren
Wenn wir uns fragen, wie gut das Modell in der Realität funktionieren wird, entspricht dies der Frage, ob das Modell auswendig lernt oder generalisiert. Auswendiglernen ist die Fähigkeit, sich perfekt zu erinnern, was in der Vergangenheit geschehen ist. Ein Modell, das auswendig lernt, erzielt beim anfänglichen Training hohe Werte. Die Vorhersagegenauigkeit fällt allerdings signifikant ab, wenn es auf neue Daten angewendet wird. Stattdessen möchten wir ein Modell, dass generalisiert. Generalisierung ist die Fähigkeit, allgemeine Muster zu lernen und anzuwenden. Ein generalisiertes Modell erlernt die echten, umfassenderen Muster aus Trainingsdaten und ist in der Lage, die gleichen hochwertigen Vorhersagen für neue Daten zu treffen, die es zuvor noch nicht gesehen hat.
Automatisches Holdout von Daten
Unter Holdout verstehen sich zufällig ausgewählte Daten, die während des Trainings für das Modell „ausgeblendet“ und dann zum Bewerten des Modells verwendet werden. Das Holdout simuliert, wie gut die Leistung des Modells bei zukünftigen Vorhersagen sein wird, indem Genauigkeitsmetriken für Daten generiert werden, die nicht im Training verwendet wurden. Das ist so, als würden wir ein Modell erstellen, bereitstellen und seine Vorhersagen bezüglich dessen, was tatsächlich geschehen ist, überwachen – ohne auf diese späteren Vorhersagen warten zu müssen.
Der Datensatz wird in Trainingsdaten und in Holdout-Daten aufgeteilt.
Kreuzvalidierung
Bei der Kreuzvalidierung wird ein Datensatz zufällig in eine Reihe gleich großer Segmente aufgeteilt, die als Faltungen bezeichnet werden. Der Algorithmus für maschinelles Lernen wird mit allen Faltungen außer einer trainiert. Bei der Kreuzvalidierung wird dann jede Faltung mit einem Modell getestet, das mit allen anderen Faltungen trainiert wurde. Das bedeutet, dass jedes trainierte Modell mit einem Datensegment getestet wird, das es vorher noch nie gesehen hat. Der Prozess wird mit einer weiteren, während des Trainings ausgeblendeten Faltung wiederholt und dann getestet, bis alle Faltungen genau einmal als Test verwendet und in jeder anderen Iteration trainiert wurden.
Die Trainingsdaten werden in fünf Faltungen aufgeteilt. Während jeder Iteration wird eine andere Faltung als Testdaten zur Seite gestellt.
Das Ergebnis der Kreuzvalidierung ist eine Reihe von Testmetriken, die eine angemessene Vorhersage dessen ergeben, wie genau das trainierte Modell Daten vorhersagen kann, die es zuvor noch nie gesehen hat.
Funktionsweise von automatischem Holdout und Kreuzvalidierung
AutoML verwendet Kreuzvalidierung mit fünf Faltungen während des Modelltrainings, um die Modellleistung zu simulieren. Das Modell wird dann mit einem getrennten Holdout der Trainingsdaten getestet. Damit werden Bewertungsmetriken erzielt, anhand derer Sie bewerten und vergleichen können, wie gut die Leistung verschiedener Algorithmen ist.
-
Bevor das Training Ihres Experiments startet, werden alle Daten in Ihrem Datensatz mit einem Ziel von nicht Null nach dem Zufallsprinzip gemischt. 20 Prozent des Datensatzes werden als Holdout-Daten extrahiert. Die verbleibenden 80 Prozent des Datensatzes werden verwendet, um das Modell mit Kreuzvalidierung zu trainieren.
-
Zur Vorbereitung auf die Kreuzvalidierung wird der Datensatz nach dem Zufallsprinzip in fünf Teile (Faltungen) unterteilt. Das Modell wird dann fünf Mal trainiert, wobei jedes Mal ein anderes Fünftel der Daten „ausgeblendet“ wird, um zu testen, wie gut die Modellleistung ist. Während der Kreuzvalidierung werden Trainingsmetriken generiert, die den Durchschnitt der berechneten Werte darstellen.
-
Nach dem Training wird das Modell auf die Holdout-Daten angewendet. Da die Holdout-Daten vom Modell während des Trainings nicht gelesen wurden (im Gegensatz zu den Kreuzvalidierungsdaten), sind sie ideal für die Validierung der Modelltrainingsleistung. Während dieser abschließenden Modellbewertung werden Holdout-Metriken generiert.
Weitere Informationen zu den für die Analyse der Modellleistung verwendeten Metriken finden Sie unter Überprüfen der Modelle.
Die Trainingsdaten werden während der Kreuzvalidierung mit fünf Faltungen verwendet, um ein Modell zu generieren. Nach dem Training wird das Modell anhand der Holdout-Daten bewertet.
