Granska och förfina modeller

När den första versionen av modellträningen är klar analyserar du de modellmätetal som blev resultatet och konfigurerar nya versioner av experimentet tills du har fått de resultat du behöver.

När du kör experimentversionen förs du till fliken Modeller där du kan analysera resulterande modellmetrik. Du kommer åt Schemavy och Datavy när du går tillbaka till fliken Data. Du kan göra mer granulära analyser på flikarna Jämför och Analysera.

Du kan se att den första versionen av träningen är klar när alla mätvärden fylls i tabellen Mätvärden för modell och en -troféikon visas bredvid toppmodellen.

Analysera modeller från v1

Växla tillbaka till fliken Modeller. I tabellen Mätvärden för modeller har toppmodellen fått en trofé, -ikon. Detta innebär att det är den modell som presterar bäst baserat på F1-poängen.

Växla tillbaka till fliken Modeller. I tabellen Mätvärden för modeller har toppmodellen fått en trofé, -ikon. Detta innebär att det är den modell som presterar bäst baserat på F1-poängen.

Sortera modellerna efter prestanda, från högsta till lägsta, genom att klicka på kolumnrubriken F1. Du kan välja att utesluta de algoritmer som presterar dåligt eller fokusera på den bästa algoritmen för att få snabbare resultat i nästa upprepning av träningen. Vi kommer att hantera detta när du konfigurerar v3 i ett senare avsnitt.

Identifiering av dataläckage

Titta på diagrammen Modellinsikter till höger på sidan. Diagrammen ger en indikation på den relativa betydelsen av varje funktion samt modellens prestanda.

I diagrammet Experimentkonfiguration, liksom i listan Funktioner i fönstret Experimentkonfiguration, ser du att den här första iterationen av modellen bygger mycket på funktionen DaysSinceLastService, och att alla andra funktioner nästan inte har någon betydelse jämfört med den.

Denna skillnad, och modellernas extremt höga F1 resultatpoäng, bör ses som ett tecken på att något är fel. I det här fallet definierades ingen logik under datainsamlingen för att stoppa räkningen av antalet dagar sedan kundens senaste tjänstärende för kunder som sade upp sin prenumeration. Som ett resultat av detta lärde sig modellen att associera ett stort antal dagar sedan senaste tjänstärende (finns för kunder som annullerade för flera år sedan) med värdet yes i fältet Churned.

Detta är ett exempel på dataläckage, eftersom modellen i ett verkligt scenario endast skulle ha tillgång till information fram till dess att prognosen görs, och det antal dagar som finns i detta fält samlades in efter denna mätpunkt. Problemet kallas målläckage vilket är en form av dataläckage. Mer information om dataläckage finns i Dataläckage.

Vi måste ta bort den "läckande" funktionen DaysSinceLastService från experimentkonfigurationen eftersom den snedvrider de resulterande modellerna. Observera att i ett verkligt användningsfall måste datakvaliteten och logiken undersökas grundligt innan modellen skapas för att säkerställa att den resulterande modellen tränas korrekt.

Vi kommer att hantera det här problemet när du konfigurerar v2.

Konfigurera och köra version 2

Nu konfigurerar vi en ny version för att åtgärda dataläckaget.

Gör följande:

1. Klicka på Visa konfiguration för att expandera panelen för experimentkonfiguration.

2. Klicka på Ny version.

3. I panelen under Funktioner rensar du markeringsrutan DaysSinceLastService.

4. Klicka på Kör v2.

Analysera modeller från v2

När den andra versionen av experimentet har körts klart klickar du på kryssrutan bredvid v2-modellen med bäst prestanda i tabellen Mätvärden för modeller (markerad med en troféikon ). Detta uppdaterar sidan med mätetalen för denna modell.

Jämföra träningsmetrik och undantagen metrik

Du kan nu se flera mätvärden och jämföra mätvärdena från korsvalideringsträningen och jämföra dem med undantagna mätvärden.

Gör följande:

1. Växla till fliken Jämför i experimentet.

   En inbäddad analys öppnas. Du kan använda det interaktiva gränssnittet för att fördjupa dig i din jämförande modellanalys och få fram nya insikter.

2. I panelen Ark till höger om analysen växlar du till arket Details.

3. Titta i tabellen Model Metrics. Där visas modellpoängmätvärden, som F1, samt annan information.

4. Version 1 av träningen påverkades av målläckage så nu fokuserar vi på enbart v2. I filterrutan Version på höger sida i arket väljer du värdet 1.

5. I delavsnittet Columns to show använder du filterrutan för att lägga till och ta bort kolumner i tabellen.

6. I listrutan lägger du till ytterligare mätvärden. Träningspoäng för varje mätvärde visas som värden med avslutande Train. Lägg till några träningsmätvärden i tabellen.

Nu kan du se mätvärden från korsvalideringsträningen och jämföra dem med mätvärden för undantagna mätvärden.

Identifiera funktioner med liten betydelse

Härnäst ska vi kontrollera om det finns några funktioner som har liten permutationsbetydelse. Funktioner med liten eller ingen betydelse för modellen bör tas bort för bättre prognosnoggrannhet.

Gör följande:

1. Växla tillbaka till fliken Modeller i experimentet.

2. Titta på diagrammet Permutationsbetydelse. De fyra lägsta funktionerna –StartMonth, DeviceType, CustomerTenure och Territory – har mycket mindre påverkan på vår modell än de övriga funktionerna. De har litet värde för detta användningsfall och kan anses vara statistiskt brus.

I v3 kan vi ta bort dessa funktioner och se om det förbättrar modellens poäng.

Identifiera algoritmer med låg prestanda

Vi kan även se i tabellen Mätvärden för modeller om vi kan ta bort några algoritmer från v3-träningen. Du kan ta bort algoritmer med låg prestanda när modellerna förfinas så att träningen går fortare i efterföljande iterationer.

1. Växla tillbaka till fliken Modeller i experimentet.

2. I tabellen Mätvärden för modeller anvnder du versionsfilter för att enbart visa modellerna från v2.

3. Titta på F1-poäng för varje Algoritm. Om vissa algoritmer skapar modeller vars resultat är sigifikant sämre än de övriga kan vi ta bort dem från nästa version.

Konfigurera och köra version 3

Gör följande:

1. Klicka på Visa konfiguration för att expandera panelen för experimentkonfiguration.

2. Klicka på Ny version.

3. I panelen under Funktioner avmarkerar du markeringsrutorna StartMonth, DeviceType, CustomerTenure och Territory.

4. Alternativt kan du expandera Algoritmer och avmarkera markeringsrutorna för Gaussian Naive Bayes och Logistisk regression.

5. Klicka på Kör v3.

Analysera modeller från v3

När v3 har körts kan du avmarkera filtret Version i tabellen Mätvärden för modeller. Välj modellen med bäst resultat från v3.

Nu ska vi göra en snabbjämförelse av modellerna för alla versioner.

Den första versionen av träningen gav de högsta poängen, men dessa mätvärden var starkt överdrivna och orealistiska förutsägelser av prestanda, och detta orsakades av problemet med dataläckage. I v3 ökade F1-resultatet för den bästa modellen gentemot den bästa v2-modellen.

Som tidigare kan du växla till fliken Jämför och jämföra modellpoäng.

Fokusera på en specifik modell

När som helst under modellanalys kan du göra en granulär analys av en enskild modell. Titta närmare på prognosnoggrannhet, funktionsbetydelse och funktionsdistribution i en interactiv Qlik Sense-upplevelse.

Gör följande:

1. När bästa v3-modellen valts klickar du på fliken Analysera.

   En inbäddad analys öppnas.

2. Från Model Overview-arket kan du analysera prognosnoggrannheten för modellen. Analys förbättras med möjligheterna med urval. Klicka på en funktion eller ett förutsagt värde för att göra ett urval. Data i den inbäddade analysen justeras för att filtrera data. Du kan fördjupa dig i specifika funktionsvärden och -intervall för att visa funktionens påverkan och förändring av prognosnoggrannhet.

3. Växla till de andra arken för visualiseringar av prognosnoggrannhet, funktionsdistribution och effektdistribution (SHAP). Analysinnehållet kan hjälpa till att:

   • Få fram de viktigaste drivkrafterna för trender i data.

   • Identifiera hur specifika funktioner och grupper påverkar förutsagda värden och prognosnoggrannhet.

   • Identifiera outliers i data.

Nästa steg

I ett verkligt scenario är det viktigt att upprepa dessa förfinande steg så många gånger det behövs innan du distribuerar modellen, för att säkerställa att du har bästa möjliga modell för ditt specifika användningsfall.

I den här handledningen går du till nästa delavsnitt om att distribuera din modell.