Tolka modellpoäng

Modellpoäng är tekniska mätvärden för hur väl din modell kan förutsäga träningsdata. Utöver funktionsbetydelse är modellpoäng en viktig aspekt i modellanalys.

Metrik för modellpoäng

Viktiga mätvärden att använda för att poängsätta modeller varierar beroende på problemtyp. Problemtypen kan vara binär klassificering, multiklassklassificering eller regression. Mer information finns i följande hjälpämnen:

• Binära klassificeringsproblem: Poängsättning av binära klassificeringsmodeller

• Multiklassklassificeringsproblem: Poängsättning av flerklassiga klassificeringsmodeller

• Regressionsproblem: Poängsättning av regressionsmodeller

Varför det är viktigt med poängsättning av modeller

Syftet med de olika modellpoängen är att förstå modellens styrkor. Detta ökar ditt förtroende för modellens användbarhet och visar vilka förbättringar som kan göras. Om poängsättningen är mycket hög eller mycket låg kan det tyda på att det finns ett problem med de data som matas in i modellen.

Att poängsätta en modell är en svår uppgift eftersom det finns flera mätvärden som beskriver olika saker om modellen. För att veta om det är en bra modell måste du kombinera kunskap om affärsområdet med en förståelse för de olika poängsättningsmåtten och data som modellen tränades med. Det som kan se ut som ett dåligt resultat i ett användningsfall kan vara ett bra resultat och ge hög avkastning på investeringen i ett annat användningsfall.

Det viktigaste måttet: en analogi med en bil

Vilket mått är viktigast? Det beror på hur du planerar att använda modellen. Det finns inte ett enda mått som kan ge dig allt du vill veta.

Som jämförelse kan du tänka på att köpa en bil. Det finns många olika mått att ta hänsyn till, till exempel bränsleeffektivitet, hästkrafter, vridmoment, vikt och acceleration. Vi kanske vill att alla ska vara bra, men vi måste göra avvägningar beroende på hur vi planerar att använda bilen. En pendlare kanske vill ha en bil med hög bränsleeffektivitet även om det innebär ett lågt vridmoment, medan en båtägare kanske väljer ett högt vridmoment även om det innebär lägre bränsleeffektivitet.

En modell kan ses på samma sätt. Vi vill att alla mått ska vara höga – och vi kanske kan förbättra dem med mer data och bättre funktioner – men det finns alltid begränsningar och avvägningar att göra. Vissa poäng är viktigare beroende på vad du tänker göra med modellen.

Passar modellen bra?

Att avgöra om en modell passar för användningsfallet och är bra att sätta i produktion handlar i slutändan om frågan: ”Är modellen tillräckligt exakt för att ge en positiv avkastning på investeringen utan oacceptabla konsekvenser?” Följande fyra frågor kan hjälpa dig att analysera den.

Ger modellen information för ett mänskligt beslut eller automatiserar den det?

Vilken noggrannhet som krävs beror på om du ska använda modellen för att automatisera beslut eller ge information för dem. En modell kan till exempel tränas för att avgöra hur mycket pengar de anställda ska tjäna. I det här fallet måste noggrannheten förmodligen vara högre om modellen automatiserar beslutet jämfört med om den bara ger information för ett beslut. Om chefer använder modellen för att ta reda på om en anställd är under- eller överbetald kan de sedan använda sitt eget omdöme för att avgöra om modellen är felaktig eller inte.

Finns det en kvantifierbar kostnad för ett falskt positivt eller falskt negativt resultat?

Kan du kvantifiera kostnaden för ett felaktigt resultat? Ta hänsyn till denna kostnad när du fastställer den noggrannhetsnivå som krävs för att modellen ska anses passa bra.

Anta med samma exempel som ovan att modellen bara ger information. Chefen litar dock på modellen och ger inte en anställd en löneförhöjning eftersom modellen visar att den anställde skulle bli överbetald om han eller hon fick en löneförhöjning. Den anställde säger sedan upp sig för att arbeta någon annanstans. Vad kostade det att förlora den anställde? Om det motsatta hade inträffat, vad skulle kostnaden ha varit för att felaktigt ge en löneförhöjning?

Hur mycket bättre är modellen än slumpen?

För regressionsproblem ska du bestämma vad felet skulle vara om du alltid antog medelvärdet för målkolumnen. Hur mycket bättre är modellen jämfört med det?

För klassificeringsproblem tar du andelen av den positiva klassen i kvadrat och adderar den till andelen av den negativa klassen i kvadrat för att få en slumpmässig noggrannhet. Hur mycket bättre än så är modellens noggrannhet?

Är modellen bättre än att ställa ett ultimatum?

Beroende på om det finns en kostnad förknippad med fel kan du överväga om modellen är bättre än ett ultimatum. Säg till exempel att ett företag erbjuder kostnadsfria konsultationer som är dyra och tidskrävande (6 000 dollar), men tjänar bra med pengar när affären genomförs (60 000 dollar). Företaget utgår för närvarande från att 100 procent av konsultationerna kommer att genomföras. De skulle dock göra bättre vinst om de kunde avgöra vilka konsultationer de ska göra och vilka de inte ska göra. Hur stor måste modellens noggrannhet vara för att företaget ska kunna använda modellens resultat i stället för ultimatumet att 100 procent av affärerna kommer att genomföras?

Funktionens betydelse

Även om värden för funktionsbetydelse tekniskt sett inte anses vara modellpoäng är det viktiga mätvärden för att utvärdera prognosprestanda för dina modeller. Att utvärdera funktionsbetydelse kan även hjälpa till att identifiera problem med konfiguration av dina experiment och träningsdata, exempelvis dataläckage.

Se Förstå funktionsbetydelse för mer information.