Utföra snabb modellanalys
När modeller har tränats klart för en experimentversion kan du utföra en analys av de viktigaste modellmåtten och få tillgång till en sammanfattning av hur träningsdata bearbetades. Snabbanalys utförs på flikarna Konfiguration/Träningsdata och Modeller.
Använd fliken Modeller för en översikt över dina träningsresultat. När du kör en experimentversion växlas du automatiskt till fliken Modeller. Det rekommenderas också att du går tillbaka till fliken Träningsdata för att granska hur data förbehandlades och hanterades.
Fliken Modeller för ett binärt klassificeringsexperiment
Ytterligare alternativ finns tillgängliga för vidare utvärdering av modeller. Du kan jämföra ytterligare mått och hyperparametrar mellan modeller, eller fokusera på en specifik modell för detaljerad analys. Dessa alternativ finns på flikarna Jämför och Analysera. Mer information finns i:
Förstå koncepten
Det kan vara bra att ha en grundläggande förståelse för koncepten bakom modellanalys innan du börjar utvärdera dina modeller. Mer information finns i Förstå koncept för modellgranskning.
Påverkan av optimeringsinställningarna på analys
För klassificerings- och regressionsexperiment kan din analysupplevelse skifta något beroende på om du har använt intelligent modelloptimering eller inte. Intelligent modelloptimering är som standard aktiverat för nya klassificerings- och regressionsexperiment.
Analysera modeller som har tränats med intelligent optimering
Nya klassificerings- och regressionsexperiment körs som standard med intelligent modelloptimering.
Intelligent modelloptimering ger en mer robust träningsprocess som i idealfall är klara att distribuera med lite eller ingen ytterligare förfining. Prestanda för dessa modeller när de distribuerats för användning i produktion beror fortfarande på om de tränats med datauppsättning i hög kvalitet som innehåller relevanta funktioner och data.
Om din version har tränats med intelligent modelloptimering ska du överväga följande:
-
Varje modell i versionen kan ha olika funktionsval beroende på hur algoritmen analyserade data.
-
Från fliken Modeller kan du läsa Sammanfattning av modellträning för modellen innan du fördjupar dig i vidare analys. Sammanfattning av modellträning visar en sammanfattning av hur Qlik Predict automatiskt optimerade modellen genom att upprepa valet av funktioner och tillämpa avancerade transformeringar.
Se Intelligent modelloptimering för mer information om intelligent modelloptimering.
Analysera modeller som tränats utan intelligent optimering
Du kan även ha stängt av intelligent modelloptimering för träningens version. Manuell optimering av modeller kan vara användbar om du vill ha mer kontroll över utbildningsprocessen.
Om du använde manuell optimering har alal modeller i versionen samma funktionsval så det behövs ingen Sammanfattning av modellträning.
Granska konfigurationen
Under förbearbetningen kan funktioner ha uteslutits från att användas i träningen. Detta beror vanligtvis på att mer information är känd om data allt eftersom träningen fortskrider än innan du kör versionen.
Efter att ha granskat Sammanfattning av modellträning (visas endast med intelligent optimering) kan du ta en närmare titt på experimentkonfigurationen om du behöver kontrollera dessa andra ändringar.
Gör följande:
-
I experimentet växlar du till fliken Träningsdata.
-
Se till att du är i
Schemavy. -
Använd rullgardinsmenyn i verktygsfältet för att välja en modell från versionen.
-
Analysera modellschemat. Du kanske vill fokusera på kolumnerna Insikter och Funktionstyp för att se om vissa funktioner har tagits bort eller har omvandlats till en annan funktionstyp.
Det är till exempel möjligt att en funktion som ursprungligen markerats som Möjlig fritext har uteslutits efter att du körde versionen.
Mer information om vad varje insikt betyder finns i Tolka insikter om datamängder.
Observera att om du körde versionen med det förvalda alternativet för intelligent optimering kan varje modell i versionen ha olika funktionsval på grund av automatisk förfining. Om versionen kördes utan intelligent optimering kommer funktionsvalet att vara detsamma för alla modeller i versionen. Mer information om intelligent modelloptimering finns i Intelligent modelloptimering.
Baserat på vad du hittar i denna konfiguration kan du behöva återgå till steget för förberedelse av datauppsättningen för att förbättra dina funktionsdata.
Om intelligent modelloptimering är inaktiverad ser du inte en Sammanfattning av modellträning som en del av din snabbanalys. Dessutom kommer alla modeller från en experimentversion att använda samma funktionskombinationer, medan modeller som tränats med intelligent optimering kan ha olika funktionskombinationer.
Välja en modell
När träningen är klar väljs den rekommenderade modellen automatiskt för analys, och måtten för den modellen visas.
Växla mellan modeller för att jämföra skillnaderna i mått och konfiguration. Om du är på fliken Träningsdata använder du rullgardinsmenyn i verktygsfältet för att välja en modell. Om du är på fliken Modeller klickar du på en modell i tabellen Modellmått för att välja en modell.
Analysera sammanfattningen av träningen
Intelligent modelloptimering
För modeller som tränats med intelligent modelloptimering visar Sammanfattning av modellträning viktig information om vad som hände under träningen. Denna sammanfattning innehåller:
-
Samplingsförhållandet för modellen.
-
En lista över funktioner som automatiskt togs bort till följd av intelligent optimering. Denna lista varierar beroende på den valda modellen.
-
En sammanfattning av eventuella avancerade transformationer som tillämpades när modellen tränades.
-
En länk till träningsdatasetet.
Sammanfattning av modellträning visas inte om du optimerar dina modeller manuellt.
Mer information om intelligent modelloptimering finns i Intelligent modelloptimering.
Sammanfattning av modellträning-diagram för en modell, som visas på fliken Modeller
Sammanfattningen av modellträningen listar inte funktioner som togs bort under förbehandlingssteget. Om du vill kontrollera denna information går du tillbaka till fliken Data i experimentet. Se: Granska konfigurationen
Gör följande:
-
I experimentet växlar du till fliken Modeller.
-
Bekräfta att du har valt den modell du vill analysera.
-
I delavsnittet Modellinsikter på höger sida av sidan tittar du på Sammanfattning av modellträning.
Tidsserieexperiment
I tidsserieexperiment visar Sammanfattning av modellträning konfigurationsinställningarna för tidsserieprognosproblemet, enligt definitionen i ditt dataset och dina träningsinställningar. Vissa av dessa detaljer uppskattades innan träningen började, men nu bekräftas de med säkerhet efter att hela datasetet har analyserats. Du kan visa:
-
Datumintervallet för de data som används för att träna modellen
-
Tidssteget
-
Storleken på tillämpningsfönstret
-
Den maximala prognosen
-
Prognosfönstret och gapstorlekarna
Sammanfattning av modellträning-diagram för en modell i ett tidsserieexperiment
Analysera tabellen med modellmått
Tabellen Modellmått ger övergripande information om prestandan för varje modell i experimentet. Rekommenderade modeller från denna lista presenteras ovanför tabellen.
Tabellen Modellmått med rekommenderade modeller och filter
Tabellen visar:
-
Om modellen är en toppmodell med avseende på toppmodelltyperna. Se: Hitta toppmodellerna
-
Namnet på varje modell (detta kan redigeras för enkelhets skull. Se: Redigera modelluppgifter)
-
Algoritmen som användes för att träna modellen
-
Viktiga mått relaterade till modellprestanda. Du kan växla mellan:
-
Vanliga mått för att utvärdera prediktiv potential, enligt modelltyp. För binära klassificeringsmodeller är detta F1. För multiklass-klassificeringsmodeller är detta F1 Macro. För regressionsmodeller är detta R2.
-
Prediktionshastighet.
-
Noggrannhet. För klassificeringsmodeller är detta måttet som kallas noggrannhet. För regressionsmodeller är detta MAE (genomsnittligt absolut fel).
-
Hitta toppmodellerna
De bästa modellerna och de modeller som presterar bäst bestäms utifrån de filter du har tillämpat. De presenteras som rekommendationer ovanför tabellen med modellmått och är även markerade i tabellen.
Den Bästa modell väljs som standard. Denna modell är markerad med en 
-ikon. Den bästa modellen bestäms utifrån en balanserad beräkning som tar hänsyn till både noggrannhet och prediktionshastighet.
Beroende på ditt användningsfall kan du också vara intresserad av att analysera specifika prestandamarkörer individuellt. Andra modeller som presterar bäst är markerade med följande markörer:
-
Mest noggrann: Modellen visar den högsta noggrannheten baserat på tillämpliga poängmått för problemtypen. -
Snabbaste modell: Modellen levererar de snabbaste prediktionshastigheterna. Hänsyn tas även till noggrannhet.
Du kan också välja modeller som presterar bäst direkt från rekommendationerna ovanför tabellen Modellmått.
För en fullständig översikt över hur varje typ av rekommenderad modell bestäms, se Välja bäst modell för dig.
Filtrera modeller i tabellen
Tabellen med modellmått kan filtreras så att endast de modeller du vill jämföra visas.
Följande filter är tillgängliga och kan kombineras efter behov:
-
Version: Välj en eller flera experimentversioner.
-
Algoritm: Välj en eller flera algoritmer.
-
100 % sampling: Det här filtret tillämpas som standard. Det kan tas bort om så önskas. Filtret visar modeller som använde hela träningsdatasetet för att slutföra träningen och korsvalideringsprocessen. Finns under Fler modellfilter.
-
Distribuerad: Visa modeller som har distribuerats till ML-distributioner. Finns under Fler modellfilter.
När du har tillämpat dina önskade filter beräknas de bäst presterande modellerna automatiskt om baserat på de filtrerade objekten. Dina rekommenderade modeller uppdateras sedan.
Tolka visualiseringar av funktionsbetydelse
På fliken Modeller rullar du nedåt för att visa visualiseringarna av funktionsbetydelse. Dessa är Permutationsbetydelse och SHAP-betydelse.
Visualisering av funktionsbetydelse på fliken Modeller
Permutationsbetydelse-diagram
Permutationsbetydelse-diagrammet visar betydelsen av varje funktion för modellens övergripande prediktion. Det du ser i Permutationsbetydelse-diagrammet kan hjälpa dig att förstå hur du kan förfina dina modeller.
Vanliga insikter du kan få genom att analysera detta diagram inkluderar:
-
Om en funktion förbrukar nästan all betydelse är detta troligen ett tecken på målläckage. Funktionen måste tas bort. Om detta orsakas av datakvalitetsproblem måste även dessa åtgärdas.
-
Vissa funktioner kan ha mycket liten eller ingen inverkan på modellens prediktioner. Funktioner med extremt låg permutationsbetydelse kan betraktas som statistiskt brus och bör tas bort.
Om intelligent modelloptimering användes för att träna versionen kan vissa av de vanliga problemen som nämns ovan ha åtgärdats automatiskt genom att dessa funktioner togs bort.
Mer information om permutationsbetydelse finns i Förstå permutationsbetydelse.
SHAP-betydelse-diagram
SHAP-betydelse-diagrammet ger ett annat sätt att analysera det inflytande som varje funktion i experimentet har på prediktionerna från varje modell. Detta kan ge dig en tidig inblick i vilka funktioner som är signifikanta, eller om du behöver konfigurera om träningen. Mer information finns i Förstå SHAP-betydelse vid experimentträning.
Tolka visualiseringar av modellpoängsättning
För vissa modelltyper finns ytterligare visualiseringar tillgängliga för att visa en översikt över hur väl modellen presterar.
Binär klassificering
Om ditt experiment är ett binärt klassificeringsproblem genereras ett antal ytterligare visualiseringar automatiskt för snabb användning. Dessa visualiseringar ger dig mer inblick i hur väl modellen förutsäger de positiva och negativa klasserna.
Mer information om dessa visualiseringar finns i Poängsättning av binära klassificeringsmodeller.
Förväxlingsmatris
Förväxlingsmatris-diagrammet visar noggrannheten för de prediktioner som skapats av modellen. Prediktionerna utförs på automatiska undanhållna data (holdout-data).
ROC-kurva
ROC-kurva-diagrammet beskriver hur bra modellen är på att förutsäga den positiva klassen när det faktiska utfallet är positivt.
För en indikation på hur en idealisk ROC-kurva ser ut, se AUC och ROC-kurva.
Tidsserie
För tidsseriemodeller genereras diagrammet Prediktionsfel i prognosfönster automatiskt för att ge inblick i prediktionsnoggrannheten. Du kan visa andelen prediktionsfel för varje tidssteg i prognosfönstret. Felfrekvenserna är uppdelade i 50:e, 10:e och 90:e percentilen.
Analysera resultat för biasdetektering
Om några funktioner i versionen aktiverades för biasdetektering kan du snabbt få insikter om vilka funktioner som identifierades ha data- och modellbias.
Alla mått och grupper visas inte i denna komprimerade vy på grund av begränsat utrymme. Till exempel kanske endast minimi- och maximivärden visas om måttet för biasdetektering beräknas baserat på denna statistik. Du kan växla till fliken Analysera för att visa omfattande information om biasresultat för varje vald funktion.
Mer information finns i Snabb analys av avvikelsedetekteringsresultat.