Utföra snabb modellanalys

När modeller slutför träning för en experimentversion utför du analys av viktigaste modellmätvärden och öppnar en sammanfattning av hur träningsdata har bearbetats. Snabbanalys utförs på flikarna Data och Modeller.

Använd fliken Modeller för översikt över dina träningsresultat. När du kör en experimentversion växlas du automatiskt över till fliken Modeller. Vi rekommenderar även att du går tillbaka till fliken Data och inspekterar hur data har förberetts och hanterats.

Det finns ytterligare alternativ för vidare utvärdering av modeller. Du kan jämföra ytterligare mätvärden och hyperparametrar mellan modeller eller fokusera på en specifik modell för granulär analys. Dessa alternativ finns på flikarna Jämför och Analysera. Mer information finns här:

• Jämförelse av modeller

• Utföra detaljerad modellanalys

Förstå koncepten

Det kan vara bra att ha en grundförståelse för koncepten bakom modellanalys innan du börjar utvärdera dina modeller. Se Förstå koncept för modellgranskning för mer information.

Påverkan av optimeringsinställningarna på analys

Din analysupplevelse kan skifta något beroende på om du har använt intelligent modelloptimering eller inte. Intelligent modelloptimering är som standard aktiverat för nya experiment.

Analysera modeller som har tränats med intelligent optimering

Nya experiment körs som standard med intelligent modelloptimering.

Intelligent modelloptimering ger en mer robust träningsprocess som i idealfall är klara att distribuera med lite eller ingen ytterligare förfining. Prestanda för dessa modeller när de distribuerats för användning i produktion beror fortfarande på om de tränats med datauppsättning i hög kvalitet som innehåller relevanta funktioner och data.

Om din version har tränats med intelligent modelloptimering ska du överväga följande:

• Varje modell i versionen kan ha olika funktionsval beroende på hur algoritmen analyserade data.

• Från fliken Modeller kan du läsa Sammanfattning av modellträning för modellen innan du fördjupar dig i vidare analys. Sammanfattning av modellträning visar en översikt över hur AutoML automatiskt optimerade modellen genom att utesluta potentiellt problematiska funktioner.

Se Intelligent modelloptimering för mer information om intelligent modelloptimering.

Analysera modeller som tränats utan intelligent optimering

Du kan även ha stängt av intelligent modelloptimering för träningens version. Manuell optimering av modeller kan vara användbar om du vill ha mer kontroll över utbildningsprocessen.

Om du använde manuell optimering har alal modeller i versionen samma funktionsval så det behövs ingen Sammanfattning av modellträning.

Inspektera konfigurationen

Under förberedelserna kan funktioner ha uteslutits från att användas i träningen. Detta inträffar oftast på grund av att mer information är känd om data allteftersom träningen fortgår än innan versionen körs.

Efter att ha granskat Sammanfattning av modellträning (visas enbart med intelligent optimering) kan du titta närmare på experimentets konfiguration om du vill kontrollera dessa övriga ändringar.

Gör följande:

1. Växla till fliken Data under experimentet.

2. Se till att du är i Schema-vy.

3. I listrutemenyn väljer du modell från versionen.

4. Analysera modellens schema. Du kanske vill fokusera på kolumnerna Insikter och Funktionstyp och se om några funktioner har förlorats eller har omvandlats till någon annan funktionstyp.

   Till exempel är det möjligt att en funktion som ursprungligen märkts som Eventuell fritext har uteslutits efter att du kört versionen.

   Se Tolka datauppsättningsinsikter för mer information om vad de olika insikterna innebär.

Observera att om du kört versionen med standardalternativet intelligent optimering kan alla modeller ha olika funktionsval på grund av automatisk förfining. Om versionen kördes utan intelligent optimering är funktionsval samma för alla modeller i versionen. Se Intelligent modelloptimering för mer information om intelligent modelloptimering.

Utifrån vad du hittar i den här konfigurationen kanske du behöver returnera till förberedelsskedet för datauppsättningen för att förbättra dina funktionsdata.

Om intelligent modelloptimering är inaktiverad visas inte Sammanfattning av modellträning som del av snabbanalysupplevelsen. Dessutom använder alla modeller från en experimentversion samma funktionskombinationer medan modeller som tränats med intelligent optimering kan ha olika funktionskombinationer.

Välja en modell

När träningen slutförs kommer modellen med bäst resultat automatiskt att väljas för analys och mätvärden för den modellen visas. Modellen med bäst resultat för varje experimentversion märks med ikonen .

Växla mellan modeller för att jämföra skillnader mellan mätvärden och konfiguration. Om du är på fliken Data använder du rullgardinsmenyn i verktygsfältet för att välja en modell. Är du på fliken Modeller klickar du på en modell i tabellen Mätvärden för modell för att välja en modell.

Analysera träningssammanfattningen

För modeller som tränats med intelligent modelloptimering beskriver Sammanfattning av modellträning viktig information om vad som hände under träningen. Sammanfattningen inkluderar:

• Samplingskvot för modellen.

• En lista med funktioner som automatiskt uteslutits spå grund av intelligent optimering. Denna lista varierar beroende på den valda modellen.

• En länk till den tränade datauppsättningen.

Sammanfattning av modellträning visas inte om du optimerar dina modeller manuellt.

Se Intelligent modelloptimering för mer information om intelligent modelloptimering.

Sammanfattningen av modellträning har inte med funktioner som släppts under förberedelseskedet. Den här informationen kan kontrolleras genom att gå tillbaka till fliken Data för experimentet. Se: Inspektera konfigurationen

Gör följande:

1. Växla till fliken Modeller i experimentet.

2. Bekräfta att du har valt den modell som du vill analysera.

3. I delavsnittet Modellinsikter till höger på sidan tittar du på Sammanfattning av modellträning.

Analysera tabellen mätvärden för modell

Tabellen Mätvärden för modell ger information på hög nivå om resultat för varje modell i experimentet. Tabellen visas på fliken Modeller.

När du är på fliken Modeller är tabellen Mätvärden för modell även där du väljer modell att analysera.

Tabellen mätvärden för modell visar:

• Om modellen ger bäst resultat för sin version

• Namnet på varje modell (Kan redigeras för enkelhetens skull. Se: Redigera modelluppgifter)

• Algoritmen som använts för att träna modellen

• Värden för de viktigaste modellresultatpoängen utifrån att modelltypen definieras av experimentmålet:

  • Binära klassificeringsmodeller: F1.

    F1

  • Multiklassklassificeringsmodeller: F1 Makro.

    Makro-F1

  • Regressionsmodeller: R2.

    R2

  Se Bestämma den typ av modell som skapas för mer information om vilken typ av modeller som ditt experiment tränar.

Filtrera modeller i tabellen

Tabellen mätvärden för modell kan filtreras att enbart visa de modeller du vill jämföra.

Följande filter finns och kan kombineras efter behov:

• Version: Välj en eller flera experimentversioner.

• Algoritm: Välj en eller flera algoritmer.

• Bästa resultat: Visa modellerna med bäst resultat bland alla versioner (märkta med -ikoner). Finns under Fler modellfilter.

• 100 % sampling: Detta filter används som standard. Det kan tas bort om så önskas. Filtret visar modeller som använde hela träningsdatauppsättningen för att slutföra träningen och korsvalideringsprocessen. Finns under Fler modellfilter.

• Distribuerad: Visar modeller som har distribuerats i ML-distributioner. Finns under Fler modellfilter.

Tolka visualiseringar av funktionsbetydelse

På fliken Modeller skrollar du neråt för att visa visualiseringar av funktionsbetydelse. Dessa är Permutationsbetydelse och SHAP-betydelse.

Diagram för permutationsbetydelse

Diagrammet för permutationsbetydelse visar hur viktig varje funktionen är för modellens övergripande prognos. Det du ser i diagrammet Permutationsbetydelse kan hjälpa dig förstå hur du kan förfina dina modeller.

Vanliga insikter du kan få genom att analysera detta diagram är bland andra:

• Om någon funktion förbrukar nästan all betydelse är det ett tecken på målläckage. Funktionen behöver tas bort. Om det orsakas av problem med datakvalitet behöver även sådana problem åtgärdas.

  Dataläckage

• Vissa funktioner kan ha väldigt liten eller ingen påverkan på modellprognoserna. Funktioner med extremt låg permutationsbetydelse kan anses vara statistiskt brus och bör tas bort.

 Om intelligent modelloptimering användes för att träna versionen kan vissa av de vanliga problem som tas upp ovan ha åtgärdats automatiskt genom att dessa funktioner släppts.

Se Förstå permutationsbetydelse för mer information om permutationsbetydelse.

Diagram över SHAP-betydelse

Diagrammet över SHAP-betydelse är ett annat sätt att analysera betydelsen som varje funktion har på prognoser respektive modells prognoser. Detta kan ge tidig information om vilka funktioner som är viktiga eller om du behöver konfigurera om träningen. Se Förstå SHAP-betydelse vid experimentträning för mer information.

Tolka visualiseringar av modellpoäng

Om ditt experiment är ett binärt klassificeringsproblem genereras ett antal ytterligare visualiseringar för snabb förbrukning. Visualiseringarna ger mer insikter om hur väl modellen prognostiserar positiva och negativa klasser.

Se Poängsättning av binära klassificeringsmodeller för mer information om dessa visualiseringar.

Sammanblandningsmatris

Diagrammet Sammanblandningsmatris visar noggrannhet i prognoser som modellen har skapat. Prognoserna görs på automatiskt reserverade data.

Sammanblandningsmatris

ROC-kurva

Diagrammet ROC-kurva beskriver hur bra modellen är på att förutsäga den positiva klassen när det faktiska resultatet är positivt.

Se AUC och ROC-kurva för en indikation på hur en idealisk ROC-kurva ser ut.