Optimalisatie van hyperparameter

Machine learning-modellen vereisen verschillende beperkingen, gewichten of leergraden om verschillende gegevenspatronen te kunnen generaliseren. Deze metingen worden hyperparameters genoemd en worden gebruikt om het leerproces te beheren. De hyperparameters moeten worden afgestemd zodat het model een optimale oplossing vindt voor het machine learning-probleem.

AutoML gebruikt standaard een voorgedefinieerde set hyperparameterwaarden voor ieder algoritme dat voor de training van het model wordt gebruikt. Dit zijn de geoptimaliseerde standaardwaarden die algemeen worden geaccepteerd door de gegevenswetenschapcommunity. De best presterende combinatie van hyperparameterwaarden worden automatisch geselecteerd.

Maar in sommige gevallen kan het zijn dat u het model wilt verfijnen voor optimale voorspellende resultaten. Dit kan worden gedaan met hyperparameteroptimalisatie (HPO).

AutoML voert hyperparameteroptimisatie alleen uit voor het beste algoritme van de verzameling die u in de experimentconfiguratie hebt geselecteerd. Eerst wordt een willekeurige zoekopdracht uitgevoerd. Daarna wordt een rasterzoekopdracht uitgevoerd om de beste hyperparameters voor het algoritme te vinden.

Er zijn een paar belangrijke dingen om over na te denken voordat u hyperparameteroptimalisatie gebruikt:

• Gebruik geen hyperparameteroptimalisatie als u een model voor het eerst traint. Het is gemaakt voor gebruik nadat u uw model hebt getraind en tevreden bent over de resultaten. Dat proces vereist vaak herhaalde verfijning en nieuw training.

• Hyperparameteroptimalisatie voegt een aanzienlijke hoeveelheid verwerkingstijd toe. Als het trainingsproces voor uw model vijf minuten kost met de standaard, voorgedefinieerde hyperparameterwaarden, dan zou training van datzelfde model met hyperparameteroptimalisatie uren kunnen nemen.

Algoritmes die worden gebruikt in hyperparameteroptimalisatie

Hyperparameteroptimalisatie wordt beperkt tot specifieke algoritmen en modeltypen. Het wordt specifiek opgezet voor de volgende modeltypen en algoritmen:

• Binaire classificatie-modellen

  • Catboost-classificatie

  • Elastic Net-regressie

  • Lasso-regressie

  • LightGBM-classificatie

  • Logistische regressie

  • Random Forest-classificatie

  • XGBoost-classificatie

• Regressiemodellen

  • Catboost-regressie

  • LightGBM-regressie

  • Random Forest-regressie

  • XGBoost-regressie

Hyperparameteroptimalisatie inschakelen

U schakelt hyperparameteroptimalisatie in op het deelvenster Experimentconfiguratie onder Modeloptimalisatie.

Hyperparameterwaarden bekijken

Als u de hyperparameterwaarden die voor een model worden gebruikt wilt bekijken, klikt u op in de kolom Hyperparameters in de tabel Modelstatistieken.