Intelligent modelloptimering
Intelligent modelloptimering innebär automatisk förfining av de modeller du tränar i ett experiment. Intelligent modelloptimering innebär att processen för att upprepa valet av funktioner och tillämpa avancerade transformeringar hanteras åt dig. Med en väl förberedd träningsdatauppsättning som innehåller alla relevanta funktioner kan du förvänta dig att intelligent modelloptimering tränar modeller som är klara att användas inom en enda version.
Vad är intelligent modelloptimering?
Intelligent modelloptimering automatiserar många aspekter av modellförfiningsprocessen. Med intelligent modelloptimering kan du snabbt träna högkvalitativa modeller utan att manuellt förfina urvalet av funktioner eller justera dina indata.
Använda intelligent modelloptimering
Intelligent modelloptimering är som standard aktiverat i nya ML-experiment. Du kan slå på eller av det för varje version av experimentet du kör.
När du har kört en experimentversion med intelligent optimering på kan du visa resultaten av optimiseringen i Sammanfattning av modellträning. Sammanfattningen visas på fliken Modeller under Modellinsikter. Hovra över understrukna termer för detaljerad beskrivning.
Sammanfattning av modellträning skiljer sig för varje modell som tränats i en experimentversion.
Diagram för Sammanfattning av modellträning för en modell, visas på fliken Modeller
Så här fungerar intelligent modelloptimering
Med intelligent modelloptimering:
Fler modeller tränas än med manuell optimering. Funktionsurval hanteras på modellnivå. Det innebär, till skillnad från manuell optimering, att alla modeller i en version kan ha olika funktionsurval.
Utöver den automatiska förbehandling som tillämpas på alla modeller som standard, behandlas träningsdata med flera avancerade omvandlingar. Dessa transformeringar hjälper till att säkerställa att dina data är i ett optimalt format för maskininlärningsalgoritmer.
För kvalitetssäkring finns en baslinjemodell – en modell som tränats med hela funktionsuppsättningen som du har konfigurerat för versionen – som också tränas. Detta är en hjälp för att kontrollera om intelligent optimering verkligen har förbättrat modellpoängen.
För större träningsdatauppsättningar tränas modellerna med skiftande samplingskvot. Det hjälper till att snabba upp träningsprocessen. Se Sampling av träningsdata för mer information.
Sampling av träningsdata
När du tränar modeller med stora mängder data använder AutoML sampling för att träna modeller på olika delmängder (samplingskvoter) av den ursprungliga datauppsättningen. Sampling används för att snabba upp träningsprocessen. När träningen startas, tränas modellerna på låg samplingskvot. Allteftersom träningen fortskrider tränas modellerna på större och större delar av alla data. Avslutningsvis tränas modellerna på hela datauppsättningen (samplingskvot 100 %).
Vid analys av modellträningsdata döljs modeller som tränas med under 100 % av träningsdatauppsättningen från vissa vyer.
Bearbetning som tillämpas vid intelligent modelloptimering
Modellträningssammanfattningen visar hur träningsdata bearbetades med intelligent modelloptimering. Följande delavsnitt innehåller mer information om varje objekt som visas i loggen.
Funktionsurval
Intelligent modelloptimering hjälper till att förfina dina modeller genom att ta bort funktioner som kan reducera prognosprestandan. Under intelligent modelloptimering kan en funktion släppas på grund av någon av följande anledningar:
Målläckage: Funktionen misstänks vara påverkad av målläckage. Funktioner som påverkar målläckage inkluderar information om målkolumnen som du försöker prognostisera. Exempelvis kan en funktion härledas direkt från målet eller innehålla information som inte är känd vid tidpunkten för prognosen. Funktioner som orsakar målläckage kan ge en falsk känsla av säkerhet gällande modellens prestanda. I verkliga prognoser kan detta göra att modellen presterar mycket dåligt.
Liten permutationsbetydelse: Funktionen har liten, eller ingen, påverkan på modellens prognoser. Tas dessa funktioner bort förbättras modellens prestanda då statistiskt brus minskas.
Stark korrelation: Funktionen har stark korrelation med en eller flera andra funktioner i experimentet. Funktioner med alltför stark korrelation är inte lämpade att användas för att träna modeller.
På fliken Data i experimentet kan du visa insikter om släppta funktioner för varje modell. Insikter refererar också till funktioner som släppts från den intelligenta modelloptimeringsprocessen. Se Tolka datauppsättningsinsikter för mer information om varje insikt.
Funktionstransformeringar
Intelligent modelloptimering använder ett antal tekniska transformeringar på funktionsnivå. Dessa omvandlingar bearbetar dina träningsdata så att de kan användas mer effektivt för att skapa en tillförlitlig maskininlärningsmodell. Funktionstransformeringar tillämpas automatiskt vid behov. I modellträningssammanfattningen får du information om när funktionstransformering tillämpas och vilka funktioner som påverkas.
Krafttransformering
Funktionsdata innehåller ofta naturligt fördelningar med en viss grad av asymmetri och avvikelse från en normalfördelning. Innan du tränar en modell kan det vara bra att tillämpa viss bearbetning av datan för att normalisera värdefördelningar om de verkar vara alltför skeva. Denna bearbetning hjälper till att reducera bias och identifiera outliers.
Med intelligent modelloptimering transformeras numeriska funktioner som överskrider ett specifikt tröskelvärde för skevhet till att ha en mer normal (eller normalliknande) fördelning med hjälp av krafttransformeringar. Det är Yeo-Johnson Power Transformation som används.
Samla numeriska funktioner
Vissa numeriska funktioner kan innehålla mönster och fördelningar som inte är lätta att hantera med algoritmer för maskininlärning. Med intelligent modelloptimering hanteras detta delvis genom att organisera data för specifika numeriska funktioner i olika samlingar beroende på deras värdeintervall. Samlingar görs så att funktionerna kan transformeras till kategoriska funktioner.
Efter att samlingen är slutförd är de nya kategoriska funktionerna one-hot-kodade och används i träning. Se Kategorisk kodning för mer information om one-hot-kodning.
Identifiering och hantering av avvikelser
Avvikelser är datavärden som befinner sig utanför det intervall som man rimligen kan förvänta sig att de ska ligga inom. Det är inte ovanligt att det finns några outliers i dina träningsdata. Vissa avvikelser kan till och med vara önskvärda som ett sätt att återspegla möjliga förhållanden i verkligheten. I andra fall kan avvikelser störa möjligheten att träna en tillförlitlig modell.
Med intelligent modelloptimering identifierar AutoML potentiella avvikelser. De rader där outliervärden förekommer hanteras då med ett viktningssystem som drivs av en algoritm. Om det finns en stark misstanke om att ett värde är en avvikelse, minskar viktningssystemet det inflytande som motsvarande rad i träningsdatan har på modellen.
När din modell har tränats meddelas du om procentandelen rader från den ursprungliga träningsdatauppsättningen som hanterades som avvikande data.
Mer information finns i Identifiering och hantering av avvikelser.
Stänga av intelligent optimering
Om intelligent optimering är avstängd optimerar du träningen manuellt. Manuell optimering kan vara användbar om du vill ha mer kontroll över träningsprocessen. Mer specifikt kanske du vill köra en version med intelligent modelloptimering, då ska du stänga av inställningen om du behöver göra ett mindre antal manuella justeringar.
Gör följande:
I ett experiment klickar du på
Visa konfiguration.Experimentets konfigurationspanel öppnas.
Om du redan kört minst en version av experimentet klickar du på Ny version.
Expandera Modelloptimering i panelen.
Växla från Intelligent till Manuell.
Överväganden
När du arbetar med intelligent modelloptimering ska du överväga följande:
Att använda intelligent modelloptimering är ingen garanti för att din träning kommer att producera modeller av hög kvalitet. Skedena förberedelse av datauppsättningen och konfiguration av experimentet är också mycket viktiga för att producera pålitliga modeller. Om du inte har en väl förberedd datauppsättning eller om din konfiguration saknar några funktioner är det inte säkert att dina modeller presterar bra under vid användning i produktion. För mer information om dessa skeden, se:
När intelligent modelloptimering är påslagen för en version har varje modell från denna version en separat uppsättning funktioner. Å andra sidan har alla modeller från en version som tränats med manuell optimering samma uppsättning funktioner.
Intelligent modelloptimering använder enbart de funktioner och algoritmer som du har inkluderat i versionens konfiguration.
Optimering av hyperparameter
Hyperparameteroptimering är inte tillgängligt när intelligent modelloptimering är påslagen. Om du vill aktivera hyperparameteroptimering måste du ställa in modelloptimeringen på Manuell.
Se Optimering av hyperparameter för mer information.
Exempel
Se Exempel – Träningsmodeller med automatiserad maskininlärning för ett exempel på fördelarna med intelligent modelloptimering.