Välja bäst modell för dig

Bäst modell

Baserat på dina filter väljs automatiskt den bästa modellen för analys. Den bästa modellen markeras med en -ikon.

I Qlik Predict bestäms den bästa modellen utifrån en balanserad beräkning som tar hänsyn till både noggrannhet och prognoshastighet.

För att fastställa den bästa modellen utförs följande process automatiskt:

1. Välj den modell som har högst poäng för det prognosprestandamått som bestäms av modelltypen. De mätvärden som används är:

   • Binär klassificering: F1

   • Multiklassklassificering: F1 Makro.

   • Regression: R2

   • Tidsserie: MASE (eller MAE om MASE inte är tillgängligt)

2. Använd prestandapoängen från steg 1 och välj alla modeller som ligger inom fem procent av poängen för den modell som har högst poäng.

3. Av alla valda modeller väljer du den modell som har den snabbaste prognoshastigheten (se Förutsägelsehastighet). Det här är den bästa modellen.

Mest noggrann

Det är viktigt att din modell konsekventkan generera prognoser med hög noggrannhet. Även om F1, F1 Macro och R2 ger balanserad poängsättning som heltäckande återspeglar modellens noggrannhet, kan du också ha ett intresse av de råa noggrannhets- och precisionsmätvärdena för dina modeller.

Den mest noggranna modellen markeras med en -ikon. För att fastställa den mest noggranna modellen utförs följande process automatiskt:

1. Välj den modell som har högst poäng för det prognosprestandamått som bestäms av modelltypen. De mätvärden som används är:

   • Binär klassificering: F1

   • Multiklassklassificering: F1 Makro

   • Regression: R2

   • Tidsserie:MASE (om MASE inte är tillgängligt, välj modell med lägst MAE)

2. Använd prestandapoängen från steg 1 och välj alla modeller som ligger inom tio procent av poängen för den modell som har högst poäng.

3. En av följande två vägar används beroende på modelltyp:

   1. Binär klassificering:

      • Om träningsdatauppsättningen är balanserad väljer du den modell som har högst noggrannhet. Det här är den mest noggranna modellen. För information om det specifika mätvärde som används, se Noggrannhet.

      • Om träningsdatauppsättningen är obalanserad väljer du den modell som har högst precisionsvärde. För information om det specifika mätvärde som används, se Precision.

   2. Multiklassklassificering eller regression:

      • Välj den modell som har högst noggrannhet. Följande mätvärden för noggrannhet används:

        • Multiklassklassificering: Noggrannhet

        • Regression: MAE

   3. Tidsserie: Välj modellen med det bästa (lägsta) MAE poäng.

Snabbaste modell

När du väljer en modell kanske du vill lägga vikt vid hur snabbt modellen kan leverera prognoser. Den snabbaste modellen markeras med en -ikon.

Prognoshastigheten avgör vilken modell som är snabbast. Modellernas noggrannhet när det gäller prognoser är dock fortfarande föremål för överväganden. Detta beror på att en modell kanske kan generera prognoser snabbt, men prognoserna också ha en rimlig noggrannhet.

För att fastställa den snabbaste modellen utförs följande process automatiskt:

1. Välj den modell som har högst poäng för det prognosprestandamått som bestäms av modelltypen. De mätvärden som används är:

   • Binär klassificering: F1

   • Multiklassklassificering: F1 Makro

   • Regression: R2

   • Tidsserie: MASE (om MASE inte är tillgängligt, välj modell med lägst MAE)

2. En av följande vägar används beroende på modelltyp:

   1. Binär klassificering:

      • Om träningsdatauppsättningen är balanserad väljer du alla modeller som har en noggrannhet som ligger inom tio procent av noggrannheten för den modell som valdes i steg 1. För information om det specifika mått som används, se Noggrannhet.

      • Om träningsdatauppsättningen är obalanserad väljer du alla modeller som ligger inom tio procent av poängen för den modell som fick högst poäng i steg 1. Mätvärdena från steg 1 används.

   2. Multiklassklassificering eller regression:

      • Välj alla modeller som har en noggrannhet som ligger inom tio procent av noggrannheten för modellen från steg 1. Följande mått på noggrannhet används:

        • Multiklassklassificering: Noggrannhet

        • Regression: MAE

   3. Tidsserier: Välj alla modeller inom tio procent av MAE poängen för modellen från steg 1.

3. Av alla valda modeller väljer du den modell som har den snabbaste prognoshastigheten (se Förutsägelsehastighet). Det här är den snabbaste modellen.

Överväganden

Den uppmätta prognoshastigheten baseras på storleken på träningsdatauppsättningen snarare än på de data som prognoserna görs på. När du har distribuerat en modell kan du märka skillnader mellan hur snabbt prognoser skapas om tränings- och prognosdata skiljer sig mycket åt i storlek, eller när du skapar prognoser i realtid på en eller en handfull datarader.

Överanpassning inträffar när en modells prognosbeteende är för nära mappat till träningsdatauppsättningen. När en modell är överanpassad har den sannolikt bara memorerat mönster i träningsdatauppsättningen och kommer inte att kunna prognostisera framtida värden exakt.

Överanpassning kan ha flera orsaker, bland annat problem relaterade till träningsalgoritmer och alltför korta eller komplexa träningsdatauppsättningar.

I Qlik Predict identifieras överanpassning automatiskt genom en analys av test- och träningsresultat för alla mätvärden som används i processen för val av toppmodell, utom prediktionshastighet:

• Binära klassificeringsmodeller: F1, Noggrannhet (balanserade data), Precision (obalanserade data)

• Multiklassklassificeringsmodeller: F1 Makro, Noggrannhet

• Regressionsmodeller: R2, MAE

Om det finns en skillnad på mer än tio procent mellan något av dessa mått när man jämför test- och träningsresultaten misstänks modellen vara överanpassad.

Om en modell misstänks vara överanpassad presenteras den aldrig som en rekommenderad modell, även om den får bra resultat. Modellen är markerad med en varning i tabellen Modellmätvärden.

Om alla modeller som visas i dina filter misstänks vara överanpassade, ges inga rekommendationer om modeller.