Dati di controllo e convalida incrociata
Una delle maggiori sfide dell'analisi previsionale è sapere come si comporterà un modello addestrato su dati che non ha mai visto prima. In altre parole, quanto bene il modello ha appreso i veri modelli rispetto alla semplice memorizzazione dei dati di training. I dati di controllo e la convalida incrociata sono tecniche efficaci per assicurarsi che il modello non stia solo memorizzando, ma stia effettivamente imparando modelli generalizzati.
Test dei modelli per la memorizzazione rispetto alla generalizzazione
Chiedere quanto bene un modello si comporterà nel mondo reale equivale a chiedere se il modello memorizza o generalizza. La memorizzazione è la capacità di ricordare perfettamente ciò che è accaduto in passato. Sebbene un modello che memorizza possa avere punteggi elevati al momento del training iniziale, l'accuratezza della previsione diminuisce significativamente quando viene applicato a nuovi dati. Vogliamo invece un modello che generalizzi. La generalizzazione è la capacità di apprendere e applicare modelli generali. Imparando i veri modelli più ampi dai dati di training, un modello generalizzato sarà in grado di fare previsioni della stessa qualità su nuovi dati che non ha mai visto prima.
Dati di controllo automatico
Un controllo è costituito da dati selezionati in modo casuale "nascosti" al modello durante il training e poi utilizzati per assegnare un punteggio al modello. il controllo simula le prestazioni del modello nelle previsioni future, generando metriche di accuratezza su dati non utilizzati nel training. È come se avessimo costruito un modello, lo avessimo distribuito e stessimo monitorando le sue previsioni rispetto a ciò che è effettivamente accaduto, senza dover aspettare di osservare tali previsioni.
Il set di dati è suddiviso in dati di training e dati di controllo
Convalida incrociata
La pratica della convalida incrociata consiste nel prendere un set di dati e dividerlo casualmente in un certo numero di segmenti pari, chiamati fold. L'algoritmo di machine learning viene addestrato su tutti i fold tranne uno. La convalida incrociata testa quindi ciascun fold rispetto a un modello addestrato su tutti gli altri fold. Ciò significa che ogni modello addestrato viene testato su un segmento di dati che non ha mai visto prima. Il processo viene ripetuto con un fold diverso nascosto durante il training e poi testato fino a quando tutti i fold sono stati utilizzati esattamente una volta come test e sono stati addestrati durante ogni altra iterazione.
I dati di training vengono suddivisi in cinque fold. Durante ogni iterazione, viene messo da parte un fold diverso da utilizzare come dati di prova.
Il risultato della convalida incrociata è un insieme di metriche di test che forniscono una previsione ragionevole della precisione con cui il modello addestrato sarà in grado di effettuare previsioni su dati che non ha mai visto prima.
Funzionamento del controllo automatico e della convalida incrociata
AutoML utilizza una convalida incrociata a cinque fold durante il training del modello per simularne le prestazioni. Il modello viene quindi testato su un controllo separato di dati di training. Questo genera metriche di punteggio che consentono di valutare e confrontare le prestazioni dei diversi algoritmi.
-
Prima di iniziare il training dell'esperimento, tutti i dati del set di dati che hanno un target non nullo vengono rimescolati in modo casuale. Il 20% del set di dati viene estratto come dati di controllo. Il restante 80% del set di dati viene utilizzato per addestrare il modello con la convalida incrociata.
-
Per preparare la convalida incrociata, il set di dati viene diviso in cinque parti – i fold – in modo casuale. Il modello viene quindi addestrato cinque volte, "nascondendo" ogni volta un quinto diverso dei dati per testare le prestazioni del modello. Le metriche di training sono generate durante la convalida incrociata e rappresentano la media dei valori calcolati.
-
Dopo il training, il modello viene applicato ai dati di controllo. Poiché i dati di controllo non sono stati visti dal modello durante il training, a differenza dei dati di convalida incrociata, sono ideali per convalidare le prestazioni del training del modello. Le metriche di controllo vengono generate durante questa valutazione finale del modello.
Per ulteriori informazioni sulle metriche utilizzate per analizzare le prestazioni del modello, consultare la sezione Revisione dei modelli.
I dati di training vengono utilizzati durante la convalida incrociata a cinque fold per generare un modello. Dopo il training, il modello viene valutato utilizzando i dati di controllo.
