Undantagna data och korsvalidering

En av de största utmaningarna inom prediktiv analys är att veta hur en tränad modell kommer att fungera på data som den aldrig har sett förut. Med andra ord, hur väl modellen har lärt sig sanna mönster jämfört med om den bara har memorerat träningsdata. Undantagna data och korsvalidering är effektiva tekniker för att se till att modellen inte bara memorerar utan faktiskt lär sig generaliserade mönster.

Testning av modeller för memorering kontra generalisering

Frågan om hur väl en modell kommer att prestera i den verkliga världen, motsvarar frågan om huruvida modellen memorerar eller generaliserar. Memorering är förmågan att minnas perfekt vad som hänt i det förflutna. Även om en modell som memorerar kan få höga poäng när den först tränas kommer prediktionsnoggrannheten att sjunka avsevärt när den används på nya data. I stället vill vi ha en modell som generaliserar. Generalisering är förmågan att lära sig och tillämpa allmänna mönster. Genom att lära sig de sanna, mer allmänna mönstren från träningsdata kommer en generaliserad modell att kunna göra samma kvalitativa prognoser på nya data som den inte har sett tidigare.

Automatiska undantagna data

Ett undantagande är slumpmässigt utvalda data som "döljs" för modellen medan den tränas och som sedan används för att bedöma modellen. I undantagandeanalysen simuleras hur modellen kommer att prestera vid framtida prognoser genom att generera noggrannhetsmått på data som inte användes vid träningen. Det är som om vi byggde en modell, använde den och övervakar dess prognoser i förhållande till vad som faktiskt hände – utan att behöva vänta på att observera dessa prognoser.

Korsvalidering

Korsvalidering innebär att man tar en datauppsättning och slumpmässigt delar upp den i ett antal jämna segment, så kallade folds. Algoritmen för maskininlärning tränas på alla folds utom ett. Korsvalidering testar sedan varje fold mot en modell som tränats på alla de andra folden. Detta innebär att varje tränad modell testas på ett segment av data som den aldrig tidigare har sett. Processen upprepas med en annan fold som döljs under träningen och sedan testas tills alla folds har använts exakt en gång som test och tränats under varannan iteration.

Resultatet av korsvalideringen är en uppsättning testmått som ger en rimlig prognos för hur exakt den tränade modellen kommer att kunna förutsäga på data som den aldrig tidigare har sett.

Hur fungerar automatiskt undantagande och korsvalidering?

AutoML använder femfaldig korsvalidering under modellträningen för att simulera modellens prestanda. Modellen testas sedan mot en separat undantagen del av träningsdata. Detta genererar poängsättningar för att du ska kunna utvärdera och jämföra hur bra olika algoritmer presterar.

1. Innan träningen för experimentet börjar blandas alla data i datauppsättningen som har ett mål som inte är noll slumpmässigt. 20 procent av datauppsättningen extraheras som undantagna data. De återstående 80 procenten av datauppsättningen används för att träna modellen med korsvalidering.

2. För att förbereda korsvalidering delas datauppsättningen upp i fem delar (folds) slumpmässigt. Modellen tränas sedan fem gånger, varvid varje gång en annan femtedel av data "döljs" för att testa hur modellen fungerar. Träningsstatistik genereras under korsvalideringen och är genomsnittet av de beräknade värdena.

3. Efter träningen tillämpas modellen på undantagna data. Eftersom undantagna data inte har setts av modellen under träningen – till skillnad från korsvalideringsdata – är de idealiska för att validera modellens träningsresultat. Under denna slutliga modellutvärdering genereras mätvärden för undantagna data.

För mer information om mätvärden som används för att analysera modellens prestanda, se Granskning av modeller.