Identifiera snedvridning i maskininlärningsmodeller

Mått för databias

I Qlik Predict, mäts databias genom att analysera:

• Representationsgrad: Jämför fördelningen av data som tillhör varje grupp i funktionen, i jämförelse med all data i funktionen. Den beräknade mätningen är paritetskvot för representationsgrad.

• Paritetskvot för villkorad fördelning: Jämför balansen mellan data för varje grupp i funktionen, med avseende på värdena i målkolumnen. Den beräknade mätningen är paritetskvot för villkorad fördelning.

Mer information om godtagbara värden för dessa mätningar finns i Godtagbara värden för biassmått.

Mätvärden för modellbias

I Qlik Predict förstås mätvärden för modellbias bäst i samband med modelltypen för experimentet. Generellt sett finns det följande kategorier för biasmetrik:

• Mätvärden för klassificeringsmodeller

• Mätvärden för regressions- och tidsseriemodeller

För att lära dig mer om de godtagbara värdena för dessa mätvärden, se Godtagbara värden för biassmått.

Klassificeringsmodeller

I binära och flerkategoriklassificeringsmodeller mäts snedvridning genom att analysera förutsagda målvärden (resultat). I synnerhet jämförs skillnader i positiva och negativa resultatfrekvenser för grupper ("positiva" och "negativa" avser här resultat som är gynnsamma respektive ogynnsamma – till exempel ett värde på ja eller nej för en Anställd målkolumn). Dessa modeller har följande snedvrindningsmätvärden:

• Olikartad påverkan

• Skillnad i statistisk paritet

• Skillnad i lika möjligheter

Olikartad påverkan

Disparate impact ratio (DI) bedömer om grupper i en känslig funktion gynnas eller skadas i modellens förutsagda resultat. Det mäts genom att beräkna hur ofta varje grupp väljs som det förutsagda värdet, och jämföra det med urvalsfrekvensen för den mest gynnade gruppen i funktionen.

Skillnad i statistisk paritet

I likhet med oproportionerlig påverkan bedömer statistisk paritetsskillnad (SPD) modellförutsägelser för att avgöra om de gynnar eller skadar några enskilda grupper. Måttet beräknas genom att jämföra frekvensen av positiva utfall mellan den största och minsta gruppen.

Skillnad i lika möjligheter

Skillnad i lika möjligheter (EOD) liknar de andra två måtten för klassificeringsmodellens bias. EOD jämför de högsta och lägsta sanningspositiva frekvenserna mellan grupper i en funktion.

Regressions- och tidsseriemodeller

I regressions- och tidsseriemodeller mäts bias genom att jämföra hur ofta modeller gör fel i sina förutsägelser, med hjälp av paritetskvoter för att fastställa rättvisan i förutsagda resultat.

Följande bias-mått beräknas, med hjälp av felmått som ofta används för att utvärdera modellens noggrannhet:

• Paritetskvot för MAE

  MAE

• Paritetskvot för MSE

  MSE

• Paritetskvot för RMSE

  RMSE

• Skillnad i R2-värden

  R2

• Paritetskvot för MASE

  MASE

• Paritetskvot för MAPE

  MAPE

• Paritetskvot för SMAPE

  SMAPE

Godtagbara värden för biassmått

Gör följande:

1. I ett ML-experiment, expandera Bias i konfigurationspanelen för träning.

2. Välj funktionerna som du vill köra biasdetektering på.

Alternativt, aktivera biasdetektering för de önskade funktionerna i Schema view.

Gör följande:

1. I ett ML-experiment väljer du en modell och går till fliken Analysera.

2. Öppna Bias-arket.

3. Välj mellan Data bias och Model bias beroende på önskad analys.

4. I tabellen Features with potential bias väljer du en enskild funktion.

Diagram och mätvärden som indikerar möjlig bias visas med röd bakgrund. Du kan välja funktioner genom att klicka och dra i visualiseringar.

Mått i tabellen är statiska för skevhetsmått som motsvarar standardfunktioner. För framtida funktioner ändras skevhetsmått dynamiskt beroende på val av tidsseriergrupp.

Se Utföra detaljerad modellanalys för mer information om att navigera i detaljerade modellanalyser.

Terminologi på den här sidan

På denna sida, och i Qlik Predict, är ”grupper” en term som har olika betydelser beroende på sammanhang:

• ”Grupper” avser värdena eller intervallen i funktioner som analyseras för partiskhet. Till exempel kan en Marital Status-funktion ha fyra möjliga grupper i träningsdata: Gift, Skild, Separerad eller Änka/Änkling.

• I tidsserieexperiment avser "grupper" funktionalitet som gör det möjligt att spåra målutfall för specifika värden av kompatibla funktioner. På den här sidan kallas dessa grupper för "tidsseriegrupper". För mer information om dessa grupper, se Grupper.

Begränsningar

• Du kan inte aktivera fördomsdetektering för:

  • Målfunktionen.

  • Fritextfunktioner (även om funktionstypen ändras till kategorisk).

  • Datumfunktioner som används som datumindex i tidsserieförsök.

  • Autogenererade datumfunktioner. Du kan köra snedvridningsdetektering på dessa funktioner, men du aktiverar dem inte oberoende. Istället, aktivera den överordnade datumfunktionen för avvikelsedetektering och se till att de automatiskt framtagna datumfunktionerna inkluderas för träning.