Jämförelse av modeller
På fliken Jämför i experimentet kan du visa alla modellpoäng och hyperparametrar för de modeller du tränar. Jämföra modeller med inbäddad analys.
När utbildningen är slutförd kan du utföra jämförande analyser av modeller under fliken Jämför. När du har jämfört dina modeller kan du växla till fliken Analysera för detaljerad analys av enskilda modeller. Mer information finns i Utföra detaljerad modellanalys.
Arbetsflöde för analys
För att helt förstå resultat av modellträning rekommenderar vi att du genomför en snabbanalys och sedan fortsätter med de ytterligare alternativen på flikarna Jämför och Analysera. Snabbanalys ger en Sammanfattning av modellträning som visar vilka funktioner som har släppts under den intelligenta modelloptimeringen och också visar ett antal autogenererade visualiseringar för snabb användning. Flikarna Jämför och Analysera visar inte Sammanfattning av modellträning men du kan fördjupa dig i modellernas mätvärden och bättre förstå dina modellers kvalitet. Se Utföra snabb modellanalys för mer information om snabbanalys.
Förstå koncepten
Det kan vara bra att ha en grundförståelse för koncepten bakom modellanalys innan du börjar jämföra dina modeller. Mer information finns i Förstå koncept för modellgranskning.
Påverkan av optimeringsinställningarna på analys
För klassificerings- och regressionsexperiment kan din analysupplevelse skifta något beroende på om du har använt intelligent modelloptimering eller inte. Intelligent modelloptimering är som standard aktiverat för nya klassificerings- och regressionsexperiment.
Analysera modeller som har tränats med intelligent optimering
Nya klassificerings- och regressionsexperiment körs som standard med intelligent modelloptimering.
Intelligent modelloptimering ger en mer robust träningsprocess som i idealfall är klara att distribuera med lite eller ingen ytterligare förfining. Prestanda för dessa modeller när de distribuerats för användning i produktion beror fortfarande på om de tränats med datauppsättning i hög kvalitet som innehåller relevanta funktioner och data.
Om din version har tränats med intelligent modelloptimering ska du överväga följande:
-
Varje modell i versionen kan ha olika funktionsval beroende på hur algoritmen analyserade data.
-
Från fliken Modeller kan du läsa Sammanfattning av modellträning för modellen innan du fördjupar dig i vidare analys. Sammanfattning av modellträning visar en sammanfattning av hur Qlik Predict automatiskt optimerade modellen genom att upprepa valet av funktioner och tillämpa avancerade transformeringar.
Se Intelligent modelloptimering för mer information om intelligent modelloptimering.
Analysera modeller som tränats utan intelligent optimering
Du kan även ha stängt av intelligent modelloptimering för träningens version. Manuell optimering av modeller kan vara användbar om du vill ha mer kontroll över utbildningsprocessen.
Om du använde manuell optimering har alal modeller i versionen samma funktionsval så det behövs ingen Sammanfattning av modellträning.
Granska konfigurationen
Under förbearbetningen kan funktioner ha uteslutits från att användas i träningen. Detta beror vanligtvis på att mer information är känd om data allt eftersom träningen fortskrider än innan du kör versionen.
Efter att ha granskat Sammanfattning av modellträning (visas endast med intelligent optimering) kan du ta en närmare titt på experimentkonfigurationen om du behöver kontrollera dessa andra ändringar.
Gör följande:
-
I experimentet växlar du till fliken Träningsdata.
-
Se till att du är i
Schemavy.
-
Använd rullgardinsmenyn i verktygsfältet för att välja en modell från versionen.
-
Analysera modellschemat. Du kanske vill fokusera på kolumnerna Insikter och Funktionstyp för att se om vissa funktioner har tagits bort eller har omvandlats till en annan funktionstyp.
Det är till exempel möjligt att en funktion som ursprungligen markerats som Möjlig fritext har uteslutits efter att du körde versionen.
Mer information om vad varje insikt betyder finns i Tolka insikter om datamängder.
Observera att om du körde versionen med det förvalda alternativet för intelligent optimering kan varje modell i versionen ha olika funktionsval på grund av automatisk förfining. Om versionen kördes utan intelligent optimering kommer funktionsvalet att vara detsamma för alla modeller i versionen. Mer information om intelligent modelloptimering finns i Intelligent modelloptimering.
Baserat på vad du hittar i denna konfiguration kan du behöva återgå till steget för förberedelse av datauppsättningen för att förbättra dina funktionsdata.
Starta en jämförelse av modeller
Gör följande:
-
Öppna fliken Jämföra när träningen är klar.
Innehåll i analysen beror på modelltypen som definieras av experimentets mål. Det finns olika mätvärden för olika modelltyper.
Navigera inbäddade analyser
Med hjälp av gränssnittet kan du jämföra modeller med inbäddad analys.
Växla mellan ark
I panelen Ark kan du växla mellan arken i analysen. Varje ark har ett specifikt fokus. Panelen kan expanderas och komprimeras efter behov.
Göra urval
Använd urval för att förfina data. Du kan välja modeller, funktioner och andra parametrar. Detta gör att du kan titta närmare på träningsinformationen. I vissa fall kan du behöva göra ett eller flera val för att visualiseringar ska visas. Klicka på datavärden i visualiseringar och filterrutor för att göra urval.
Du kan göra följande med avseende på urval:
-
Välja värden genom att klicka på innehåll, definiera intervall och rita.
-
Söka i diagram för att välja värden.
-
Klicka på ett markerat fält i verktygsfältet högst upp i den inbäddade analysen. Det gör att du kan söka i befintliga urval, låsa och låsa upp dem samt modifiera dem ytterligare.
-
I verktygsfältet högst upp i den inbäddade analysen klickar du på
för att ta bort ett urval. Radera alla urval genom att klicka på ikonen
.
-
Gå framåt eller bakåt i urvalen genom att klicka på
och
.
Analyserna innehåller filterrutor som gör det enklare att förfina data. I en filterruta klickar du i markeringsrutan för ett värde för att göra ett urval. Om filterrutan har flera markeringsrutor kan du klicka på en listruta för att expandera den och sedan göra önskade urval.
Anpassa tabeller
Du kan anpassa utseende och känsla för tabellvisualiseringarna óch även välja vilka kolumner som ska visas i dem. Tabellerna kan anpassas med följande alternativ:
Justera kolumnbredd genom att klicka på och dra den yttre kanten på kolumnen
Klicka på en kolumnrubrik för att:
Justera sortering i kolumnen
Söka efter värden i kolumnen
Tillämpa urval
Ladda data
Klicka på Läsa in data på nytt för att uppdatera analysen med senaste träningsdata. Om du eller andra användare kör ytterligare versioner av träningen efter att du har öppnat analysen måste du läsa in data på nytt för att visualisera dessa nyare versioner.
Exportera data till katalogen
Du kan exportera de data som används i analysen av modelljämförelsen till katalogen. Data exporteras till ett utrymme i Qlik Cloud Analytics. Du kan använda de exporterade uppgifterna för att skapa dina egna Qlik Sense applikationer för anpassad analys.
Mer information finns i Exportera data för modellutbildning.
Rangordna modeller efter specifika mätvärden
Arket för modelljämförelsen innehåller interaktiva diagram som visualiserar modellerna jämförda med varandra för specifika mätvärden. Med filterrutorna nedan kan du visualiera olika mätvärden för varje diagram. Med denna anpassning kan du visa de mätvärden som är mest intressanta för din användningsfallsprognos.
Ark för modelljämförelse på fliken Jämför
Jämföra modellers poäng och värden för hyperparametrar
I arket Detaljer visas modellernas poäng och hyperparametrar i tabellformat. Med filterrutorna till vänster i arket kan du lägga till och ta bort modeller och mätvärden efter behov.
Jämförelse av poäng för undantagna data och poäng för träningen
I arket Detaljer visas de mätvärden som baseras på automatiskt undantagna data (data som används för att validera modellprestanda efter träning). Du kan även lägga till mätvärden för träningsdata i tabellen Mätvärden för modell för jämförelse med poäng för undantagna data. Dessa poäng är ofta likartade, men om de varierar kraftigt finns det troligen ett problem med dataläckage eller överanpassning.
Gör följande:
På fliken Jämför öppnar du arket Detaljer.
I delavsnittet Kolumner att visa till vänster i arket expanderar du filterrutan Mätvärden.
Markera och avmarkera rutor för att ändra kolumner efter behov. Mätvärden för träningsdata finns tillgängliga att lägga till som kolumner.
Kolumnerna läggs till i tabellen Modellmätvärden.
Du kan jämföra alla poängmätvärden för dina modeller. Lägg till ytterligare mätvärden i tabeller, inklusive värden för träningsdata.
Jämför prediktionsfel för prognosfönstret
Arket Tidsserieprognos är endast tillgängligt för tidsserieexperiment. I det här arket kan du analysera det genomsnittliga absoluta relativa prediktionsfelet över varje tidssteg i prognosfönstret. Denna information visas individuellt för varje modell. Detta ark kan hjälpa dig att förstå var varje modell påverkas mest i sin prediktionskvalitet.
Arket Tidsserieprognos i modelljämförelseanalys, som visar information relevant för ett tidsserieexperiment.
