Intelligente modeloptimalisatie
Intelligente modeloptimalisatie biedt een automatische verfijning van de modellen die u traint in een experiment. Met intelligente modeloptimalisatie wordt het proces voor het herhalen van de kenmerkselectie en het toepassen van geavanceerde transformaties voor u uitgevoerd. Met een goed voorbereide trainings-gegegevensverzameling met alle relevante eigenschappen, kunt u verwachten dat intelligente modeloptimalisatie binnen een versie modellen traint die gereed zijn voor implementatie.
Wat is intelligente modeloptimalisatie?
Intelligente modeloptimalisatie automatiseert vele aspecten van het verfijningsproces van modellen. Met intelligente modeloptimalisatie kunt u snel modellen van hoge kwaliteit trainen zonder de functieselectie handmatig te verfijnen of uw invoergegevens aan te passen.
Intelligente modeloptimalisatie gebruiken
Intelligente modeloptimalisatie is standaard ingeschakeld voor nieuwe experimenten. U kunt deze functie in- of uitschakelen voor elke versie van het experiment dat u uitvoert.
Nadat u een experimentversie uitvoert met intelligente optimalisatie ingeschakeld, kunt u de resultaten van de optimalisatie bekijken in Overzicht modeltraining. Dit overzicht wordt getoond op het tabblad Modellen onder Modelinzichten. Ga met de muiscursor op de onderstreepte termen staan om knopinfo met een gedetailleerde beschrijving weer te geven.
Het Overzicht modeltraining is anders voor elk model dat in een experimentversie is getraind.
Diagram Overzicht modeltraining voor een model op het tabblad Modellen
Hoe intelligente modeloptimalisatie werkt
Met intelligente modeloptimalisatie:
Worden meer modellen getraind dan met handmatige optimalisatie. Wordt functieselectie op het modelniveau afgehandeld. Dit betekent dat elk model in een versie een andere functieselectie kan hebben, in tegenstelling tot handmatige optimalisatie.
Naast de automatische voorbewerking die standaard op alle modellen wordt toegepast, worden trainingsgegevens verwerkt met verschillende geavanceerde transformaties. Deze transformaties helpen ervoor te zorgen dat uw gegevens een optimale indeling hebben voor algoritmen voor machine learning.
Vanwege kwaliteitsborging wordt er nog steeds een baselinemodel getraind. Dit is een model dat is getraind op basis van de gehele functiesset die u hebt geconfigureerd voor de versie. Dit helpt om te controleren of de intelligente optimalisatie de modelscores wel degelijk verbetert.
Bij grotere trainings-gegevensverzamelingen worden modellen getraind door middel van verschillende steekproefverhoudingen. Dit helpt om het proces te versnellen. Ga voor meer informatie naar Steekproef van trainingsgegevens.
Steekproef van trainingsgegevens
Als u modellen met een grote hoeveelheid gegevens traint, gebruikt AutoML steekproeven om modellen te trainen met verschillende subsets (steekproefverhoudingen) van de originele gegevensverzameling. Steekproeven worden gebruikt om het trainingsproces te versnellen. Aan het begin van de training worden modellen getraind met een kleine steekproefverhouding. Als de training vordert, worden modellen in de loop van de tijd getraind met grotere delen van de gegevens. Uiteindelijk worden modellen met de gehele gegevensverzameling getraind (een steekproefverhouding van 100%).
Tijdens het analyseren van de trainingsgegevens van uw model, worden modellen die zijn getraind met minder dan 100% van de trainings-gegevensverzameling verborgen in sommige weergaven.
Processen die worden toegepast tijdens intelligente modeloptimalisatie
Het Overzicht modeltraining laat zien hoe de trainingsgegevens zijn verwerkt door intelligente modeloptimalisatie. De volgende secties bevatten meer details over elk van de items die u ziet in het logboek.
Kenmerkselectie
Intelligente modeloptimalisatie helpt uw modellen te verfijnen door functies te laten vervallen die de voorspellende prestaties kunnen verminderen. Tijdens de intelligente modeloptimalisatie wordt een functie mogelijk verwijderd vanwege een van de volgende redenen:
Doellek: het vermoeden bestaat dat de functie wordt beïnvloed door een doellek. Functies met een doellek bevatten informatie over de doelkolom die u probeert te voorspellen. De functie is bijvoorbeeld direct afgeleid van het doel of bevat informatie die niet bekend is op het moment van de voorspelling. Functies die een doellek veroorzaken, kunnen u een vals gevoel van zekerheid geven over de prestaties van het model. In werkelijke voorspellingen zorgen ze ervoor dat model slecht presteert.
Lage permutatie-urgentie: de functie heeft weinig, of geen, invloed op de modelprestaties. Door het verwijderen van deze functies worden de modelprestaties verbetert omdat ruis wordt verminderd.
Hoge correlatie: de functie heeft een hoge correlatie met een of meer functies in het experiment. Functies met een hoge correlatie zijn niet geschikt om in trainingsmodellen te gebruiken.
Op het tabblad Gegevens binnen het experiment kunt u voor elk model inzichten bekijken over verwijderde functies. Inzichten verwijzen ook naar functies die zijn verwijderd buiten het proces van intelligente modeloptimalisatie. Raadpleeg Inzichten over gegevensverzamelingen interpreteren voor meer informatie over elk inzicht.
Functietransformaties
Intelligente modeloptimalisatie past een aantal technische transformaties toe op het functieniveau. Deze transformaties verwerken uw trainingsgegevens zodat ze effectiever gebruikt kunnen worden om een betrouwbaar machine learning-model te maken. Functietransformaties worden automatisch toegepast indien nodig. In het Overzicht modeltraining wordt aangegeven wanneer functietransformaties worden toegepast en welke functies worden beïnvloed.
Power-transformaties
Functies bevatten van nature vaak verdelingen met een zekere mate van asymmetrie en afwijking van een normale verdeling. Voordat een model wordt getraind, kan het nuttig zijn om enige bewerking toe te passen op de gegevens om waardeverdelingen te normaliseren als ze te scheef lijken. Deze verwerking helpt bias te verminderen en uitschieters te identificeren.
Met intelligente modeloptimalisatie worden numerieke functies die een specifieke scheefheidsdrempel overschrijden getransformeerd zodat ze een normalere (of normaler lijkende) verdeling hebben met behulp van power-transformaties. Specifiek wordt de Yeo-Johnson Power Transformation gebruikt.
Binning van numerieke functies
Bepaalde numerieke functies kunnen patronen en verdelingen bevatten die niet gemakkelijk door machine learning-algoritmen worden verwerkt. Met intelligente modeloptimalisatie wordt dit gedeeltelijk aangepakt door de gegevens van specifieke numerieke waarden te organiseren in verschillende bins, afhankelijk van hun waardebereik. Binning wordt uitgevoerd zodat de functies kunnen worden getransformeerd in categorische functies.
Nadat de binning is voltooid, worden de nieuwe categorische functies one-hot encoded en gebruikt in de training. Zie Categorische encoding voor meer informatie over one-hot encoding.
Detectie en afhandeling van afwijkingen
Afwijkingen zijn gegevenswaarden die buiten het bereik vallen waarin u ze redelijkerwijs zou verwachten. Het is niet ongewoon dat er uitschieters in uw trainingsgegevens zitten. Sommige afwijkingen kunnen zelfs gewenst zijn om realistische mogelijkheden weer te geven. In andere gevallen kunnen afwijkingen het vermogen om een betrouwbaar model te trainen in de weg staan.
Door intelligente modeloptimalisatie identificeert AutoML potentiële afwijkingen. De rijen waarin de uitschieters verschijnen, worden dan afgehandeld door een wegingssysteem op basis van algoritmen. Als er een sterk vermoeden bestaat dat een waarde een afwijking is, vermindert het wegingssysteem de invloed van de corresponderende rij in de trainingsgegevens op het model.
Nadat uw model is getraind, wordt u op de hoogte gesteld van het percentage rijen uit de oorspronkelijke trainingsgegevensverzameling die zijn behandeld als afwijkende gegevens.
Ga voor meer informatie naar Detectie en afhandeling van afwijkingen.
Intelligente optimalisatie uitschakelen
Wanneer intelligente optimalisatie is uitgeschakeld, dient u de training handmatig te optimaliseren. Handmatige optimalisatie is nuttig als u meer controle over het trainingsproces wilt hebben. U kunt bijvoorbeeld een versie uitvoeren met intelligente modeloptimalisatie en vervolgens de instelling uitschakelen als u kleine handmatige wijzigingen wilt doorvoeren.
Doe het volgende:
Klik in een experiment op
Configuratie weergeven.Het venster voor experimentconfiguratie wordt geopend.
Klik op Nieuwe versie als u al ten minste één versie van het experiment hebt uitgevoerd.
In het venster vouwt u Modeloptimalisatie uit.
Schakel over van Intelligent naar Handmatig.
Overwegingen
Overweeg het volgende als u werkt met intelligente modeloptimalisatie:
Het gebruik van intelligente modeloptimalisatie garandeert niet dat uw training modellen van hoge kwaliteit produceert. De voorbereiding van de gegevensverzameling en de experimentconfiguratie zijn ook van belang om betrouwbare modellen te produceren. Wanneer u geen goed voorbereide gegevensverzameling hebt of als uw configuratie belangrijke functies mist, kan er niet gegarandeerd worden dat uw modellen goed presteren in productie. Voor meer informatie over deze fasen raadpleegt u:
Wanneer intelligente modeloptimalisatie is ingeschakeld voor een versie, heeft elk model van deze versie een afzonderlijke set met opgenomen functies. Aan de andere kant hebben alle modellen van een versie die is getraind met handmatige optimalisatie dezelfde set met opgenomen functies.
Intelligente modeloptimalisatie gebruikt alleen de functies en algoritmen die u hebt opgenomen in de configuratie voor de versie.
Optimalisatie van hyperparameter
Hyperparameter-optimalisatie is niet beschikbaar als intelligente modeloptimalisatie is ingeschakeld. Stel de modeloptimalisatie in op Handmatig om hyperparameter-optimalisatie te activeren.
Ga voor meer informatie naar Optimalisatie van hyperparameter.
Voorbeeld
Zie Voorbeeld – Trainingsmodellen met geautomatiseerde machine learning voor een voorbeeld waarin de voordelen van intelligente modeloptimalisatie worden getoond.