Ocena wydajności modelu w czasie

Po nauczeniu wielu modeli uczenia maszynowego i wdrożeniu najlepszego z nich, rozpoczniesz tworzenie prognoz na danych produkcyjnych. Należy stale oceniać wydajność modelu, aby się upewnić, że nadal generuje on wiarygodne prognozy, a dane, na których został nauczony, są nadal aktualne.

Czynniki, które należy monitorować

Potrzeby operacyjne

Używanie do celów predykcji prawdopodobnie zmieni się z czasem. Zmiany mogą być niewielkie lub znaczące. Trzeba będzie ocenić, czy Twój model nadal oferuje wartościowe wyniki w obecnej konfiguracji. Jeśli pytanie dotyczące uczenia maszynowego znacznie się zmieniło od czasu pierwszego uczenia modeli, zaleca się ponowne rozpoczęcie procesu definiowania pytania i zestawu danych.

Dane wejściowe i dokładność predykcji

Rozkłady i trendy danych wejściowych często zmieniają się w czasie. To, co kiedyś stanowiło o jakości danych do uczenia, może nie być już istotne lub może mieć jeszcze większy wpływ. Może się okazać, że istnieją nowe zmienne wpływające na przewidywane wyniki, które należy wprowadzić do modelu jako nowe cechy. Podobnie niektóre cechy mogą nie mieć już na tyle istotnego wpływu na wyniki, aby mogły zostać uwzględnione w modelu.

Ważne jest, aby monitorować dane pod kątem dryfu między początkowymi danymi do uczenia a najnowszymi dostępnymi danymi. Jeśli dryf dla niektórych cech zaczyna osiągać próg, który nie jest już akceptowalny, nadszedł czas, aby zebrać nowe dane i ponownie nauczyć model lub rozpocząć od nowej definicji problemu uczenia maszynowego. Dodatkowe informacje o dryfie danych zawiera temat Dryf danych.

Ponadto, jeśli zauważysz, że model nie przewiduje już z początkową dokładnością, musisz ponownie ocenić, co należy zmienić, aby przywrócić mu akceptowalną wydajność. Na przykład może się okazać, że na dokładność modelu wpływają błędy występujące podczas procesu gromadzenia danych.

Ponowne uczenie modeli

W miarę przyrastania ilości dostępnych danych historycznych i niezależnie od tego, czy wyniki spadły, nieuniknione jest ponowne uczenie modeli w celu odzwierciedlenia najbardziej aktualnych informacji.

Monitorowanie dryfu danych

AutoML ma wbudowaną funkcjonalność, która pomaga wykryć dryf cech wdrożonych modeli. Więcej informacji zawiera temat Monitorowanie dryfu danych we wdrożonych modelach.

Następne kroki

W zależności od tego, jak znacząco zmieniło się zastosowanie i dane wejściowe, warto rozważyć jedną lub więcej z poniższych opcji:

• Naucz ponownie modele w ramach tego samego eksperymentu przy użyciu nowych danych. Jeśli problem związany z uczeniem maszynowym nie zmienił się znacząco, ta opcja oferuje kilka korzyści. W szczególności można szczegółowo porównywać modele ze wszystkich wersji eksperymentu w ramach tego samego eksperymentu. Więcej informacji zawiera temat Zmiana i odświeżenie zestawu danych.

• Jeśli pierwotnie zdefiniowany problem uczenia maszynowego nie jest już istotny, warto utworzyć zupełnie nowy eksperyment. Zależy to w dużej mierze od zastosowania.