Utföra detaljerad modellanalys

I fliken Analysera i experimentet kan du fokusera på en enda modell för djupgående analyser av dess prognosprestanda. Detaljerad analys utförs med hjälp av inbäddad analys.

Välj en modell när träningen är slutförd. Öppna sedan fliken Analysera för att visa mer information om noggrannheten i modellens prognoser, vad som påverkar datatrender och annan information. Data som visas på fliken Analysera baseras på prognoser som modellen genererar för reserverade data.

Några av de största fördelarna med detaljerad modellanalys är:

• Interaktivt gränssnitt där du kan förfina och anpassa visualiseringsdata efter behov.

• Närbild på prognoser som görs av undantagna data tillsammans med statistik för funktionsbetydelse.

Arbetsflöde för analys

För att helt förstå resultat av modellträning rekommenderar vi att du genomför en snabbanalys och sedan fortsätter med de ytterligare alternativen på flikarna Jämför och Analysera. Snabbanalys ger en Sammanfattning av modellträning som visar vilka funktioner som har släppts under den intelligenta modelloptimeringen och också visar ett antal autogenererade visualiseringar för snabb användning. Flikarna Jämför och Analysera visar inte Sammanfattning av modellträning men du kan fördjupa dig i modellernas mätvärden och bättre förstå dina modellers kvalitet.

För mer information om andra analysalternativ, se:

• Utföra snabb modellanalys

• Jämförelse av modeller

Förstå koncepten

Det kan vara bra att ha en grundförståelse för koncepten bakom modellanalys innan du börjar utvärdera dina modeller. Se Förstå koncept för modellgranskning för mer information.

Påverkan av optimeringsinställningarna på analys

Din analysupplevelse kan skifta något beroende på om du har använt intelligent modelloptimering eller inte. Intelligent modelloptimering är som standard aktiverat för nya experiment.

Analysera modeller som har tränats med intelligent optimering

Nya experiment körs som standard med intelligent modelloptimering.

Intelligent modelloptimering ger en mer robust träningsprocess som i idealfall är klara att distribuera med lite eller ingen ytterligare förfining. Prestanda för dessa modeller när de distribuerats för användning i produktion beror fortfarande på om de tränats med datauppsättning i hög kvalitet som innehåller relevanta funktioner och data.

Om din version har tränats med intelligent modelloptimering ska du överväga följande:

• Varje modell i versionen kan ha olika funktionsval beroende på hur algoritmen analyserade data.

• Från fliken Modeller kan du läsa Sammanfattning av modellträning för modellen innan du fördjupar dig i vidare analys. Sammanfattning av modellträning visar en översikt över hur AutoML automatiskt optimerade modellen genom att utesluta potentiellt problematiska funktioner.

Se Intelligent modelloptimering för mer information om intelligent modelloptimering.

Analysera modeller som tränats utan intelligent optimering

Du kan även ha stängt av intelligent modelloptimering för träningens version. Manuell optimering av modeller kan vara användbar om du vill ha mer kontroll över utbildningsprocessen.

Om du använde manuell optimering har alal modeller i versionen samma funktionsval så det behövs ingen Sammanfattning av modellträning.

Inspektera konfigurationen

Under förberedelserna kan funktioner ha uteslutits från att användas i träningen. Detta inträffar oftast på grund av att mer information är känd om data allteftersom träningen fortgår än innan versionen körs.

Efter att ha granskat Sammanfattning av modellträning (visas enbart med intelligent optimering) kan du titta närmare på experimentets konfiguration om du vill kontrollera dessa övriga ändringar.

Gör följande:

1. Växla till fliken Data under experimentet.

2. Se till att du är i Schema-vy.

3. I listrutemenyn väljer du modell från versionen.

4. Analysera modellens schema. Du kanske vill fokusera på kolumnerna Insikter och Funktionstyp och se om några funktioner har förlorats eller har omvandlats till någon annan funktionstyp.

   Till exempel är det möjligt att en funktion som ursprungligen märkts som Eventuell fritext har uteslutits efter att du kört versionen.

   Se Tolka datauppsättningsinsikter för mer information om vad de olika insikterna innebär.

Observera att om du kört versionen med standardalternativet intelligent optimering kan alla modeller ha olika funktionsval på grund av automatisk förfining. Om versionen kördes utan intelligent optimering är funktionsval samma för alla modeller i versionen. Se Intelligent modelloptimering för mer information om intelligent modelloptimering.

Utifrån vad du hittar i den här konfigurationen kanske du behöver returnera till förberedelsskedet för datauppsättningen för att förbättra dina funktionsdata.

Starta en detaljerad analys

Det finns flera sätt att starta detaljerad analys av en specifik modell.

• Välj modell på någon av flikarna Data och Modeller, klicka på bredvid modellen och klicka sedan på Analysera.

• Klicka på fliken Analysera när du har valt modell.

• Om du redan granskar en detaljerad analys för en modell kan du använda rullgardinsmenyn i verktygsfältet och välja en annan modell.

Innehåll i analysen beror på modelltypen som definieras av experimentets mål. Det finns olika mätvärden för olika modelltyper.

Navigera inbäddade analyser

Med hjälp av det interaktiva gränssnittet kan du analysera modellen med inbäddad analys.

Växla mellan ark

I panelen Ark kan du växla mellan arken i analysen. Varje ark har ett specifikt fokus. Panelen kan expanderas och komprimeras efter behov.

Göra val

Använd urval för att förfina data. Du kan välja funktioner och fördjupa dig i specifika värden och intervall. Det gör att du vid behov kan titta närmare på dem. I vissa fall kan du behöva göra ett eller flera val för att visualiseringar ska visas. Klicka på datavärden i visualiseringar och filterrutor för att göra urval.

Du kan arbeta med urval genom att:

• Välja värden genom att klicka på innehåll, definiera intervall och rita.

• Söka i diagram för att välja värden.

• Klicka på ett markerat fält i verktygsfältet högst upp i den inbäddade analysen. Det gör att du kan söka i befintliga urval, låsa och låsa upp dem samt modifiera dem ytterligare.

• I verktygsfältet högst upp i den inbäddade analysen klickar du på för att ta bort ett urval. Radera alla urval genom att klicka på ikonen .

• Gå framåt eller bakåt i urvalen genom att klicka på och .

Analysen innehåller filterrutor som gör det enklare att förfina data. I en filterruta klickar du i markeringsrutan för ett värde för att göra ett urval. Om filterrutan har flera markeringsrutor kan du klicka på en listruta för att expandera den och sedan göra önskade urval.

Exportera data till katalogen

Du kan exportera de data som används i den detaljerade analysen till katalogen. Data exporteras till ett utrymme i Qlik Cloud-analys. Du kan använda de exporterade uppgifterna för att skapa dina egna Qlik Sense-appar för anpassad analys.

Mer information finns i Exportera data för modellutbildning.

Analysera noggrannhet i prognoser

Hur du tolkar noggrannheten i prognoser beror på strukturen för datauppsättningen som tränats och ditt användningsfall för maskininlärning. Dessutom beror tolkningen av visualiseringarna på modelltyp. Det finns mer information om respektive modell i delavsnitten nedan.

Delavsnittet Prognoser i arket Modellöversikt ger en sammanställd översikt över hur många av modellens prognoser som varit korrekta respektive felaktiga.

Med arket Förutsägelser och fördelning av påverkan kan du fokusera på en specifik funktion för att analysera på vilket sätt prognosen varit felaktig. Välj en enskild funktion i filterrutan till vänster i arket. Detta ark visar felaktigheter i prognosen med faktisk värdedistribution sida vid sida för modelltyperna som hjälp för att få perspektiv på data.

Binära klassificeringsmodeller

Analysera hela modellen

I delavsnittet Prognoser på arket Modellöversikt visas rådata definierad i sammanblandningsmatrisen. Det inkluderar sanna och falska positiva, samt sanna och falska negativa. Dessa värden presenteras som statiska totalsummor så de stämmer inte för urval. Se Sammanblandningsmatris för mer information om vad dessa värden innebär.

Analysera delmängder av data

I arket Förutsägelser och fördelning av påverkan visar diagrammet Gjorde felaktig förutsägelse en stapel för varje möjligt funktionsvärde eller intervall i funktionen där stapelns höjd motsvarar antal felaktiga prognoser som modellen har gjort. Varje färg i stapeln motsvarar var och en av de faktiska målvärdena. Välj en enskild funktion och värden från något annat önskat fält för att se hur noggrannheten för prognosen ändras för varje delmängd av data.

Multiklassklassificeringsmodeller

Analysera hela modellen

I delavsnittet Förutsägelser på arket Modellöversikt visas ett stapeldiagram med en stapel för vart och ett av faktiska målvärden. Höjden på varje färg i stapeln motsvarar hur många gånger en specifik klass har prognostiserats av modellen. Förutom detta diagram visar även delavsnittet Förutsägelser en uppdelning av korrekta jämfört med felaktiga prognoser.

Analysera delmängder av data

I arket Förutsägelser och fördelning av påverkan visar diagrammet Gjorde felaktig förutsägelse en stapel för varje möjligt värde eller intervall där stapelns höjd motsvarar antal felaktiga prognoser som modellen har gjort. Varje färg i stapeln motsvarar var och en av de faktiska målvärdena.

Regressionsmodeller

Du kan visa följande information för regressionsmodeller på både modell- och funktionsnivå:

• Genomsnittligt prognosvärde för målet

• Faktiskt värde för målets nittionde och tionde percentil

• Prognosintervall för nittionde och tionde percentilen. Dessa linjer visar inom vilka intervall du kan förvänta att modellen prognostiserar ett värde. Nittionde percentilen är alltid linjen med högre värden.

• Median av absolut fel (MAE)

För både modellomfattande och funktionsspecifika visualiseringar analyseras värden tillsammans med faktisk värdedistribution för funktionen.

Analysera funktionsbetydelse

Öppna en översikt

Analysera funktionsbetydelse ger en indikation på hur varje funktion påverkar prognoser i förhållande till andra funktioner.

Delavsnittet Påverkan genom funktion i arket Modellöversikt ger en sammanställd översikt över genomsnittliga absoluta SHAP-värden. Det här diagrammet ser likadant ut som diagrammet över SHAP-betydelse på fliken Modeller. Diagrammet uppdateras baserat på de urval du gör. När du väljer en enskild funktion kan du fördjupa dig i dess specifika värden och intervall för ytterligare information.

Analysera SHAP-distribution

Du kan även öppna arket Påverkan via funktion och få en mer fullständig vy över SHAP-värden för varje funktionsvärde eller -intervall. SHAP-värden presentera med riktning istället för som absoluta värden.

Den här analysen hjälper till att identifiera mönster i specifika grupper samt för att hitta avvikelser i data. Gör urval av värden eller intervall i diagrammet för att filtrera data för med granulär analys.

Diagrammens utseende och typ beror på vilken typ av funktioner du väljer.

Kategoriska funktioner

Kategoriska funktioner visualiseras som lådagram. Lådagram hjälper till att visa distribution av SHAP-värden för varje kategoriskt värde. Lådagram har följande konfiguration:

• Visar genomsnittliga SHAP-värden.

• Standard (Tukey)-konfiguration används:

  • Lådan för ett värde definieras av första kvartilen (lägre änden) och tredje kvartilen (övre änden).

  • Medianen är den horisontella linjen i lådan.

• Övre och nedre whiskers motsvarar övre och nedre gränsen av 1,5 gånger kvartilintervallet.

• Outlier-värden visas inte.

Numeriska funktioner

För numeriska funktioner visualiseras SHAP-värden som ett spridningsdiagram. Spridningsdiagram har följande konfiguration:

• SHAP-värden för valt exempelvärde visas.

• Utseende och känsla för spridningsdiagram beror på antal datapunkter som ska visas. I diagram med lägre antal datapunkter visas separata bubblor. I diagram med stort antal datapunkter är bubblor samlade i block med färger som indikerar hur många datapunkter som finns i varje block.

I spridningsdiagram gör du urval av specifika värden eller intervall för närmare undersökning.