Granska och förfina modeller

När den första versionen av modellträningen är klar analyserar du de resulterande modellmåtten och rekommenderade modellerna. Om ytterligare ändringar krävs för att förfina modellerna kan du köra fler versioner med manuell modelloptimering.

När du kör experimentversionen kommer du till fliken Modeller, där du kan börja analysera de resulterande modellmåtten. Du kan komma åt Schemavy och Datavy genom att gå tillbaka till fliken Data. Mer detaljerad analys kan utföras på flikarna Jämför och Analysera.

Qlik Predict förbättrar ständigt sina processer för modellträning. Därför kan du märka att de modellmått och andra detaljer som visas i bilderna på denna sida inte är identiska med dina när du slutför dessa övningar.

Analysera tabellen Modellmått

Växla tillbaka till fliken Modeller. I avsnittet Modellmått är rekommenderade modeller markerade baserat på vanliga kvalitetskrav. Den bästa modellen Trofé har valts automatiskt för analys.

Tre rekommendationer ges från de modeller som tränats i experiment. En enskild modell kan representeras i mer än en rekommendation. Rekommendationerna är:

Bästa modell: Modellen som bäst balanserar högpresterande noggrannhetsmått och prediktionshastighet.
Mest noggrann: Modellen som får högst poäng i balanserade och råa noggrannhetsmått.
Snabbaste modell: Modellen som har den snabbaste prediktionshastigheten, utöver starka noggrannhetsrelaterade mått.

Det är viktigt och välja den modell som är bäst lämpad för ditt användningsfall. I de flesta fall är Bästa modell det mest fördelaktiga alternativet. Ditt prediktiva användningsfall kan dock kräva specifika specifikationer för prediktionshastighet eller noggrannhetsmått.

För en djupgående översikt över hur de bästa modelltyperna bestäms, se Välja bäst modell för dig.

Tabellen Modellmått som visar rekommenderade modeller och viktiga modellmått. — Tabellen Modellmått som visar rekommenderade modeller och modellmått

Du kan begränsa ditt fokus med hjälp av rullgardinsfiltren ovanför rekommendationerna. De bästa modelltyperna beräknas automatiskt om varje gång du ändrar filtreringen.

Växla mellan kärnmåtten med väljaren Visa mått ovanför tabellen. Du kan sortera modeller baserat på namn och det valda måttet som analyseras.

Överanpassade modeller är markerade med en varning Varning i tabellen. Dessa modeller är inte lämpliga för distribution. Orsaker till överanpassning kan inkludera modellkomplexitet som introduceras av träningsalgoritmer samt problem med träningsdatasetet. För mer information, se Överanpassning.

Analysera Sammanfattning av modellträning

Vi kan nu fokusera på Sammanfattning av modellträning på höger sida av gränssnittet. Denna sammanfattning låter dig utforska hur modellen och indata för träning har optimerats för bästa prestanda. Sammanfattningen av modellträningen är en översikt över de förbättringar som tillhandahålls av intelligent modelloptimering.

Från sammanfattningen i bilden nedan kan vi se:

Funktioner från träningsdata togs bort under träningen och inkluderades inte i modellen.
Modellen har ett samplingsförhållande på 100 %.

Funktion borttagen på grund av målläckage

Funktionen DaysSinceLastService togs bort under träningen på grund av målläckage.

I denna funktionskolumn fanns det ingen logik definierad under datainsamlingen för att stoppa räkningen av antalet dagar sedan en kunds senaste supportärende för kunder som sa upp sitt abonnemang. Som ett resultat kan modellen ha lärt sig att associera ett stort antal dagar sedan det senaste supportärendet (vilket finns för kunder som sa upp abonnemanget för flera år sedan) med värdet yes i fältet Churned.

Denna funktion behövde tas bort från träningen eftersom den annars skulle ha resulterat i en modell med mycket dåliga prestanda på nya data.

Det underliggande problemet kallas målläckage, vilket är en form av dataläckage. För mer information om dataläckage, se Dataläckage.

Funktioner borttagna på grund av hög korrelation

Vi kan se att PriorPeriodUsage-Rounded och AdditionalFeatureSpend togs bort under träningen.

I det här fallet fanns det minst en funktionskolumn – PriorPeriodUsage-Rounded – som härleddes direkt från en annan kolumn i datasetet. Andra korrelationsproblem upptäcktes med AdditionalFeatureSpend.

Att ta bort funktioner som orsakar korrelationsproblem är viktigt för att träna en kvalitetsmodell.

För mer information om korrelation, se Korrelation.

Funktioner borttagna på grund av låg betydelse

Flera funktioner togs också bort på grund av låg permutationsbetydelse. Efter en preliminär analys har dessa funktioner identifierats ha mycket låg inverkan på målets utfall. Dessa funktioner kan ses som statistiskt brus och har tagits bort för att förbättra modellkvaliteten.

För more information om permutationsbetydelse, se Förstå permutationsbetydelse.

Sammanfattning av modellträning i ett ML-experiment som visar hur modellen optimerades för bästa prestanda. — Sammanfattning av modellträning

Analysera andra visualiseringar på fliken Modeller

Andra visualiseringar finns tillgängliga på fliken Modeller för ytterligare analys på hög nivå. Välj olika modeller i tabellen Modellmått för att utforska prestanda på funktionsnivå och andra diagram som kan ge insikt i modellkvaliteten.

Fliken 'Modeller' i ett ML-experiment som visar andra visualiseringar tillgängliga för modellanalys — Fliken Modeller i ML-experiment som visar andra visualiseringar tillgängliga för analys

Jämföra tränings- och holdout-mått

Du kan visa ytterligare mått och jämföra måtten från korsvalideringsträningen med holdout-måtten.

Gör följande:

I experimentet växlar du till fliken Jämför.

En inbäddad analys öppnas. Du kan använda det interaktiva gränssnittet för att göra en djupdykning i din jämförande modellanalys och upptäcka nya insikter.
I panelen Ark på vänster sida av analysen växlar du till arket Detaljer.
Titta på visualiseringen Modellmått. Den visar modellens poängmått, till exempel F1, samt annan information.
I avsnittet Kolumner som ska visas använder du filterrutan för att lägga till och ta bort kolumner i tabellen.
I rullgardinsmenyn lägger du till ytterligare mått. Träningspoäng är tillgängliga för att läggas till i tabellen. Du kan lägga till dem efter behov för din analys.

Du kan nu se F1-måtten från korsvalideringsträningen och jämföra dem med holdout-måtten.

Använda fliken 'Jämför' i experimentet för att visa träningspoäng tillsammans med holdout-poäng — Lägga till och visa träningspoäng för jämförelse med holdout-poäng

Fokusera på en specifik modell

När som helst under modellanalysen kan du utföra en detaljerad analys av en enskild modell. Utforska prediktionsnoggrannhet, funktionsbetydelse och funktionsdistribution med en interaktiv upplevelse.

Gör följande:

Välj valfri modell och klicka sedan på fliken Analysera.

En inbäddad analys öppnas.
Med arket Modellöversikt kan du analysera modellens prediktionsnoggrannhet. Analysen förstärks av kraften i urval. Klicka på en funktion eller ett predikterat värde för att göra ett urval. Data i den inbäddade analysen anpassas för att filtrera data. Du kan borra dig ned i specifika funktionsvärden och intervall för att se hur funktionspåverkan och prediktionsnoggrannheten ändras.
Genom att växla till de andra arken kan du visa visualiseringar för prediktionsnoggrannhet, funktionsdistribution och påverkansdistribution (SHAP). Detta analysinnehåll kan hjälpa dig att:
- Upptäcka de viktigaste drivkrafterna som påverkar trender i data.
- Identifiera hur specifika funktioner och kohorter påverkar predikterade värden och prediktionsnoggrannhet.
- Identifiera outliers i data.

Använda fliken 'Analysera' för att förbättra analysen med kraften i urval — Fliken Analysera i ett ML-experiment

Nästa steg

Efter att ha kört en version av experimentet med intelligent modelloptimering kan du köra manuella versioner efter behov för att förfina dina modeller. För att snabbt skapa en ny manuell version kan du växla tillbaka till fliken Modeller och klicka på Ny manuell version i Sammanfattning av modellträning.

I ett verkligt scenario är det viktigt att upprepa alla förfiningssteg så många gånger som behövs innan du distribuerar din modell, för att säkerställa att du har bästa möjliga modell för ditt specifika användningsfall.

För mer information om att förfina modeller, se Förfina modeller.

I den här självstudiekursen går du vidare till nästa delavsnitt om att distribuera din modell.

Var den här sidan till hjälp för dig?

Om du stöter på några problem med den här sidan eller innehållet på den, t.ex. ett stavfel, ett saknat steg eller ett tekniskt fel – meddela oss!

Lämna din feedback här