Granska och förfina modeller
När den första versionen av modellträningen är klar analyserar du de resulterande modellmätningarna och rekommenderade modellerna. Om det krävs ytterligare modifieringar för att förfina modellerna kan du köra ytterligare versioner med hjälp av manuell modelloptimering.
När du kör experimentversionen förs du till fliken Modeller där du kan analysera resulterande modellmetrik. Du kommer åt Schemavy och Datavy när du går tillbaka till fliken Data. Du kan göra mer detaljerade analyser på flikarna Jämför och Analysera.
Du kan se att den första versionen av träningen är klar när alla mätvärden fylls i tabellen Mätvärden för modell och en 
-troféikon visas bredvid toppmodellen.
Analysera tabellen Modellmätvärden
Växla tillbaka till fliken Modeller. I delavsnittet Modellmätningar markeras rekommenderade modeller baserat på gemensamma kvalitetskrav. Den bästa modellen har automatiskt valts ut för analys.
Tre rekommendationer ges från de modeller som tränats i experimentet. En och samma modell kan förekomma i mer än en rekommendation. Rekommendationerna är:
-
Bästa modellen: Den modell som bäst balanserar noggrannhet och prognoshastighet i toppklass.
-
Mest exakt: Modellen får högst poäng i balanserade och råa mätvärden för noggrannhet. -
Snabbaste modellen: Modellen har den snabbaste prognoshastigheten, utöver starka noggrannhetsrelaterade mätvärden.
Det är viktigt att välja den modell som är bäst lämpad för ditt användningsområde. I de flesta fall är Den bästa modellen det mest fördelaktiga alternativet. Ditt prognostiska användningsfall kan dock kräva särskilda specifikationer för prognoshastighet eller noggrannhet.
För en djupgående översikt över hur de bästa modelltyperna fastställs, se Välja bäst modell för dig.
Tabellen Modellmätvärden visar rekommenderade modeller och modellmätvärden
Du kan begränsa ditt fokus med hjälp av listrutefiltren ovanför rekommendationerna. De bästa modelltyperna beräknas automatiskt på nytt varje gång du ändrar filtreringen.
Växla mellan de viktigaste mätvärdena med hjälp av väljaren Visa mätvärden ovanför tabellen. Du kan sortera modeller utifrån namn och det valda mätvärdet som analyseras.
Överanpassade modeller är markerade med en varning 
i tabellen. Dessa modeller är inte lämpliga för distribution. Orsaker till överanpassning kan vara modellkomplexitet som införs av träningsalgoritmer och problem med träningsdatauppsättningen. Mer information finns i Överanpassning.
Analysera Modellträningssammanfattningen
Vi kan nu fokusera på Modellträningssammanfattningen till höger i gränssnittet. Med den här sammanfattningen kan du utforska hur modellen och inmatade träningsdata har optimerats för bästa prestanda. Modellträningssammanfattningen är en översikt över de förbättringar som intelligent modelloptimering ger.
Av sammanfattningen i bilden nedan kan vi se:
Funktioner från träningsdata togs bort under träningen och införlivades inte i modellen.
Modellen har en samplingsgrad på 100 %.
Funktion borttagen på grund av målläckage
Funktionen DaysSinceLastService togs bort under träningen på grund av målläckage.
I den här funktionskolumnen definierades ingen logik under datainsamlingen för att stoppa räkningen av antalet dagar sedan kundens senaste tjänstärende för kunder som sade upp sin prenumeration. Som ett resultat av detta kunde modellen ha lärt sig att associera ett stort antal dagar sedan senaste tjänstärende (finns för kunder som annullerade för flera år sedan) med värdet yes i fältet Churned.
Denna funktion behövde tas bort från träningen eftersom den skulle ha resulterat i en modell med mycket dåliga prestanda på nya data.
Det bakomliggande problemet kallas målläckage vilket är en form av dataläckage. Mer information om dataläckage finns i Dataläckage.
Funktioner borttagna på grund av hög korrelation
Vi kan se att PriorPeriodUsage-Rounded och AdditionalFeatureSpend har tagits bort under utbildningen.
I det här fallet fanns det minst en funktionskolumn – PriorPeriodUsage-Rounded – som härleddes direkt från en annan kolumn i datauppsättningen. Andra problem med korrelationen upptäcktes med AdditionalFeatureSpend.
Att ta bort funktioner som orsakar problem med korrelation är viktigt för att träna en kvalitetsmodell.
Se Korrelation för mer information om korrelation.
Funktioner borttagna på grund av låg betydelse
Flera funktioner togs också bort på grund av låg permutationsbetydelse. Efter en preliminär analys har dessa funktioner identifierats som att de har en mycket låg inverkan på målets resultat. Dessa funktioner kan ses som statistiskt brus och har tagits bort för att förbättra modellkvaliteten.
Se Förstå permutationsbetydelse för mer information om permutationsbetydelse.
Sammanfattning av modellträning
Analysera andra visualiseringar på fliken Modeller
Andra visualiseringar finns tillgängliga på fliken Modeller för ytterligare analys på hög nivå. Välj olika modeller i tabellen Modellmätningar för att utforska prestanda på funktionsnivå och andra diagram som kan ge en inblick i modellens kvalitet.
Fliken Modeller i ML-experimentet visar andra visualiseringar som är tillgängliga för analys
Jämföra träningsmetrik och undantagen metrik
Du kan nu se flera mätvärden och jämföra mätvärdena från korsvalideringsträningen och jämföra dem med undantagna mätvärden.
Gör följande:
Växla till fliken Jämför i experimentet.
En inbäddad analys öppnas. Du kan använda det interaktiva gränssnittet för att fördjupa dig i din jämförande modellanalys och få fram nya insikter.
I panelen Ark till vänster om analysen växlar du till arket Detaljer.
Titta på visualiseringen av Modellmätvärdena. Där visas modellpoängmätvärden, som F1, samt annan information.
I delavsnittet Kolumner att visa använder du filterrutan för att lägga till och ta bort kolumner i tabellen.
I listrutan lägger du till ytterligare mätvärden. Träningsresultat finns tillgängliga för att läggas till i tabellen. Du kan lägga till dem efter behov för din analys.
Nu kan du se F1-mätvärden från korsvalideringsträningen och jämföra dem med mätvärden för undantagna mätvärden.
Lägga till och ta bort träningspoäng för att jämföra med undantagna poäng
Fokusera på en specifik modell
När som helst under modellanalys kan du göra en granulär analys av en enskild modell. Titta närmare på prognosnoggrannhet, funktionsbetydelse och funktionsdistribution i en interaktiv upplevelse.
Gör följande:
Välj en modell och klicka på fliken Analysera.
En inbäddad analys öppnas.
Från arket Modellöversiktkan du analysera prognosnoggrannheten för modellen. Analys förbättras med möjligheterna med urval. Klicka på en funktion eller ett förutsagt värde för att göra ett urval. Data i den inbäddade analysen justeras för att filtrera data. Du kan fördjupa dig i specifika funktionsvärden och -intervall för att visa funktionens påverkan och förändring av prognosnoggrannhet.
Växla till de andra arken för visualiseringar av prognosnoggrannhet, funktionsdistribution och effektdistribution (SHAP). Analysinnehållet kan hjälpa till att:
Få fram de viktigaste drivkrafterna för trender i data.
Identifiera hur specifika funktioner och grupper påverkar förutsagda värden och prognosnoggrannhet.
Identifiera outliers i data.
Fliken Analysera i ett ML-experiment
Nästa steg
När du har kört en version av experimentet med intelligent modelloptimering kan du köra manuella versioner efter behov för att förfina dina modeller. Om du snabbt vill skapa en ny manuell version kan du gå tillbaka till fliken Modeller och klicka på Ny manuell version i sammanfattningen av modellträningen.
I ett verkligt scenario är det viktigt att upprepa dessa förfinande steg så många gånger det behövs innan du distribuerar modellen, för att säkerställa att du har bästa möjliga modell för ditt specifika användningsfall.
Se Förfining av modeller för mer information om förfining av modeller.
I den här handledningen går du till nästa delavsnitt om att distribuera din modell.