Optymalizacja hiperparametrów

Modele uczenia maszynowego wymagają różnych ograniczeń, wag lub szybkości uczenia, aby uogólnić różne wzorce danych. Miary te nazywane są hiperparametrami i służą do kontrolowania procesu uczenia. Hiperparametry muszą być dostrojone, aby model mógł optymalnie rozwiązać problem uczenia maszynowego.

AutoML używa domyślnie wstępnie zdefiniowanego zestawu wartości hiperparametrów dla każdego algorytmu używanego do uczenia modelu. Są to standardowe, zoptymalizowane wartości, ogólnie akceptowane przez społeczność analityków danych. Automatycznie wybierana jest kombinacja wartości hiperparametrów o najwyższej efektywności.

Jednak w niektórych przypadkach w celu uzyskania optymalnych wyników predykcyjnych trzeba dostroić model. Można to zrobić za pomocą optymalizacji hiperparametrów (HPO).

AutoML przeprowadza optymalizację hiperparametrów tylko dla najlepszego algorytmu zestawu wybranego w konfiguracji eksperymentu. Najpierw uruchamiane jest wyszukiwanie losowe, a następnie wyszukiwanie w siatce w celu znalezienia dla algorytmu najlepszych hiperparametrów.

Przed użyciem optymalizacji hiperparametrów należy wziąć pod uwagę kilka ważnych kwestii:

• Nie używaj optymalizacji hiperparametrów przy pierwszym szkoleniu modelu. Stosuje się ją po nauczeniu modelu, kiedy wyniki są zadowalające. Proces ten często wymaga wielokrotnego ulepszania i ponownego uczenia.

• Optymalizacja hiperparametrów znacznie wydłuża czas. Jeśli proces uczenia modelu przy użyciu standardowych, predefiniowanych wartości hiperparametrów trwa pięć minut, uczenie tego samego modelu z włączoną optymalizacją hiperparametrów może zająć wiele godzin.

Algorytmy używane w optymalizacji hiperparametrów

Optymalizacja hiperparametrów jest ograniczona do określonych algorytmów i typów modeli. Jest przeznaczona specjalnie do działania z następującymi typami modeli i algorytmami:

• Modele klasyfikacji binarnej

  • Klasyfikacja CatBoost

  • Regresja metodą sieci elastycznej

  • Regresja lasso

  • Klasyfikacja LightGBM

  • Regresja logistyczna

  • Klasyfikacja las losowy

  • Klasyfikacja XGBoost

• Modele regresji

  • Regresja CatBoost

  • Regresja LightGBM

  • Regresja las losowy

  • Regresja XGBoost

Włączanie optymalizacji hiperparametrów

Optymalizację hiperparametrów można włączyć w panelu Konfiguracja eksperymentu w obszarze Optymalizacja modelu.

Wyświetlanie wartości hiperparametrów

Aby wyświetlić wartości hiperparametrów używane w modelu, kliknij w kolumnie Hiperparametry w tabeli Wskaźniki modelu.