Granskning av modeller

För att kunna utvärdera dina modeller för maskininlärning måste du kunna förstå modellens poäng och mätvärden. I vissa fall kan det vara viktigare att förstå hur varje fält och värde påverkar det förutsedda resultatet – varför något händer – än att göra prognoser.

Varför det är viktigt med poängsättning av modeller

Syftet med de olika modellpoängen är att förstå modellens styrkor. Detta ökar ditt förtroende för modellens användbarhet och visar vilka förbättringar som kan göras. Om poängsättningen är mycket hög eller mycket låg kan det tyda på att det finns ett problem med de data som matas in i modellen.

Att poängsätta en modell är en svår uppgift eftersom det finns flera mätvärden som beskriver olika saker om modellen. För att veta om det är en bra modell måste du kombinera kunskap om affärsområdet med en förståelse för de olika poängsättningsmåtten och data som modellen tränades med. Det som kan se ut som ett dåligt resultat i ett användningsfall kan vara ett bra resultat och ge hög avkastning på investeringen i ett annat användningsfall.

Det viktigaste måttet: En bil som jämförelse

Vilket mått är viktigast? Det beror på hur du planerar att använda modellen. Det finns inte ett enda mått som kan ge dig allt du vill veta.

Som jämförelse kan du tänka på att köpa en bil. Det finns många olika mått att ta hänsyn till, till exempel bränsleeffektivitet, hästkrafter, vridmoment, vikt och acceleration. Vi kanske vill att alla ska vara bra, men vi måste göra avvägningar beroende på hur vi planerar att använda bilen. En pendlare kanske vill ha en bil med hög bränsleeffektivitet även om det innebär ett lågt vridmoment, medan en båtägare kanske väljer ett högt vridmoment även om det innebär lägre bränsleeffektivitet.

En modell kan ses på samma sätt. Vi vill att alla mått ska vara höga – och vi kanske kan förbättra dem med mer data och bättre funktioner – men det finns alltid begränsningar och avvägningar att göra. Vissa poäng är viktigare beroende på vad du tänker göra med modellen.

Passar modellen bra?

Att avgöra om en modell passar bra för användningsfallet och om den är lämplig att ta i produktion handlar i slutändan om en fråga: "Är modellen tillräckligt exakt för att ge en positiv avkastning på investeringen utan oacceptabla konsekvenser?" Följande fyra frågor kan hjälpa dig att analysera den.

Ger modellen information för ett mänskligt beslut eller automatiserar den det?

Vilken noggrannhet som krävs beror på om du ska använda modellen för att automatisera beslut eller ge information för dem. En modell kan till exempel tränas för att avgöra hur mycket pengar de anställda ska tjäna. I det här fallet måste noggrannheten förmodligen vara högre om modellen automatiserar beslutet jämfört med om den bara ger information för ett beslut. Om chefer använder modellen för att ta reda på om en anställd är under- eller överbetald kan de sedan använda sitt eget omdöme för att avgöra om modellen är felaktig eller inte.

Finns det en kvantifierbar kostnad för ett falskt positivt eller falskt negativt resultat?

Kan du kvantifiera kostnaden för ett felaktigt resultat? Ta hänsyn till denna kostnad när du fastställer den noggrannhetsnivå som krävs för att modellen ska anses passa bra.

Anta med samma exempel som ovan att modellen bara ger information. Chefen litar dock på modellen och ger inte en anställd en löneförhöjning eftersom modellen visar att den anställde skulle bli överbetald om han eller hon fick en löneförhöjning. Den anställde säger sedan upp sig för att arbeta någon annanstans. Vad kostade det att förlora den anställde? Om det motsatta hade inträffat, vad skulle kostnaden ha varit för att felaktigt ge en löneförhöjning?

Hur mycket bättre är modellen än slumpen?

För regressionsproblem ska du bestämma vad felet skulle vara om du alltid antog medelvärdet för målkolumnen. Hur mycket bättre är modellen jämfört med det?

För klassificeringsproblem tar du andelen av den positiva klassen i kvadrat och adderar den till andelen av den negativa klassen i kvadrat för att få en slumpmässig noggrannhet. Hur mycket bättre än så är modellens noggrannhet?

Är modellen bättre än att ställa ett ultimatum?

Beroende på om det finns en kostnad förknippad med fel kan du överväga om modellen är bättre än ett ultimatum. Säg till exempel att ett företag erbjuder kostnadsfria konsultationer som är dyra och tidskrävande (6 000 dollar), men tjänar bra med pengar när affären genomförs (60 000 dollar). Företaget utgår för närvarande från att 100 procent av konsultationerna kommer att genomföras. De skulle dock göra bättre vinst om de kunde avgöra vilka konsultationer de ska göra och vilka de inte ska göra. Hur stor måste modellens noggrannhet vara för att företaget ska kunna använda modellens resultat i stället för ultimatumet att 100 procent av affärerna kommer att genomföras?