Monitorowanie dryfu danych we wdrożonych modelach

W panelu Monitorowanie dryfu danych we wdrożeniu ML można analizować dryf danych dla źródłowego wdrożonego modelu. Monitorowanie dryfu danych pozwala zidentyfikować zmiany w rozkładach jednej lub większej liczby cech używanych do uczenia modelu.

Gdy obliczony dryf dla cechy przekroczy wartość 0,25, zaleca się ponowne nauczenie modelu przy użyciu najnowszych danych lub skonfigurowanie nowego modelu, jeśli pierwotne pytanie uczenia maszynowego uległo znacznej zmianie.

Obliczenia dryfu danych w Qlik Predict

W Qlik Predict dryf danych jest obliczany za pomocą wzoru wskaźnika stabilności populacji (PSI).

Znaczący dryf danych cechy można zidentyfikować, patrząc na jej wartość PSI. Jeśli wartość PSI jest większa lub równa 0,25, rozważ ponowne nauczenie modelu lub utworzenie nowego eksperymentu.

Uruchamianie analizy dryfu danych

Wykonaj następujące czynności:

1. Otwórz wdrożenie uczenia maszynowego.

2. W lewym panelu wybierz opcję Monitorowanie dryfu danych.

Generowana jest wbudowana analiza.

Dostępność analizy

Nowe obliczenia dryfu danych nie są generowane natychmiast po otwarciu analizy. Obliczenia dryfu danych są generowane raz dziennie o godzinie 16:30 UTC.

Nawigacja po wbudowanej analityce

Użyj interaktywnego interfejsu, aby przeanalizować wdrożony model za pomocą wbudowanej analityki.

Dokonywanie selekcji

Użyj wyborów, aby zawęzić dane. Można wybierać cechy i ich określone wartości lub zakresy, a także filtrować pod kątem określonych dat i zakresów ważności. W niektórych przypadkach może być wymagane dokonanie jednego lub większej liczby wyborów w celu wyświetlenia wizualizacji. Aby dokonać wyboru, kliknij wartości danych w wizualizacjach i panelach filtrów.

Z wyborami możesz pracować następująco:

• Wybierać wartości, klikając zawartość, definiując zakresy i rysując.

• Wyszukiwać na wykresach, aby wybierać wartości.

• Klikać wybrane pole na pasku narzędzi u góry osadzonej analizy. Umożliwia to przeszukiwanie istniejących wyborów, a także ich blokowanie, odblokowywanie oraz dalszą modyfikację.

• Na pasku narzędzi u góry osadzonej analizy kliknij , aby usunąć wybór. Wyczyść wszystkie zaznaczenia, klikając ikonę .

• Przechodź do przodu i do tyłu w wyborach, klikając i .

Analizowanie dryfu cechy wraz z ważnością

Użyj wykresu Dryf cech a ważność, aby przeanalizować łącznie dryf cech i ważność permutacji. Możesz zidentyfikować, kiedy zmiany w dryfie zachodzą równolegle ze zmieniającymi się wzorcami ważności. Przeglądając te dwa wskaźniki razem, można odkryć nowo pojawiające się wzorce i lepiej zrozumieć trendy wpływające na dane.

Aby zrozumieć, co wyniki dryfu oznaczają dla wydajności modelu, zobacz Obliczenia dryfu danych w Qlik Predict.

Monitorowanie dryfu cech w czasie

Na wykresie Dryf cech w czasie można wyświetlić oś czasu każdego obliczenia dryfu i przeanalizować zmiany zachodzące w czasie w miarę generowania nowych predykcji.

Linia odniesienia została dodana przy wartości PSI równej 0,25, aby wskazać, kiedy cecha wykazuje znaczny dryf. Aby dowiedzieć się więcej o tym, co wyniki dryfu oznaczają dla wydajności modelu, zobacz temat Obliczenia dryfu danych w Qlik Predict.

Wyświetlanie rozkładu cech

Wykres Rozkład cech jest pomocny w porównywaniu rozkładu wartości dla danej cechy między zestawem danych do uczenia danych a zestawem danych wykorzystywanym do najnowszych prognoz generowanych za pomocą modelu. Można ustalić, na które zakresy w danej cesze dryf ma największy, a na które najmniejszy wpływ.

Niebieskie słupki wskazują procent wartości w najnowszym zestawie danych do zastosowania, które mieszczą się w każdym zakresie. Fioletowe znaczniki w kształcie koła pokazują procent wartości w zestawie danych do uczenia, które mieszczą się w każdym zakresie. Jeśli zauważysz dużą różnicę między wysokością słupków a położeniem znaczników, prawdopodobnie na zasięg wpływa dryf.