Monitorowanie dryfu danych we wdrożonych modelach
W panelu Monitorowanie dryfu danych we wdrożeniu ML można analizować dryf danych dla źródłowego wdrożonego modelu. Monitorowanie dryfu danych pozwala zidentyfikować zmiany w rozkładach jednej lub większej liczby cech używanych do uczenia modelu.
Gdy obliczony dryf dla cechy przekroczy wartość 0,25, zaleca się ponowne nauczenie modelu przy użyciu najnowszych danych lub skonfigurowanie nowego modelu, jeśli pierwotne pytanie uczenia maszynowego uległo znacznej zmianie.
Analiza dryfu danych w AutoML
Obliczenia dryfu danych w AutoML
W Qlik AutoML dryf danych jest obliczany za pomocą wzoru wskaźnika stabilności populacji.
Znaczący dryf danych cechy można zidentyfikować, patrząc na jej wartość PSI. Jeśli wartość PSI jest większa lub równa 0,25, rozważ ponowne nauczenie modelu lub utworzenie nowego eksperymentu.
| Wartość PSI | Opis |
|---|---|
| Poniżej 0,1 | Niski dryf |
| Większa niż 0,1, ale mniejsza niż 0,25 | Niewielki dryf |
| Większa lub równa 0,25 | Znaczący dryf |
Uruchamianie analizy dryfu danych
Wykonaj następujące czynności:
-
Otwórz wdrożenie uczenia maszynowego.
-
W lewym panelu wybierz opcję Monitorowanie dryfu danych.
-
Generowana jest wbudowana analiza. Pozostań na arkuszu Feature Drift, aby przeprowadzić analizę dryfu danych.
Dostępność analizy
Nowe obliczenia dryfu danych nie są generowane natychmiast po otwarciu analizy. Obliczenia dryfu danych są generowane raz dziennie o godzinie 16:30 UTC.
Nawigacja po wbudowanej analityce
Użyj interaktywnego interfejsu, aby przeanalizować wdrożony model za pomocą wbudowanej analityki.
Przełączanie arkuszy
Panel Arkusze umożliwia przełączanie arkuszy analizy. Każdy arkusz koncentruje się na określonym aspekcie. Panel można w razie potrzeby rozwijać i zwijać.
Arkusz Feature Drift zawiera wszystkie informacje dotyczące dryfu danych. Przejście do arkusza Operations pozwala monitorować wykorzystanie wdrożenia ML. Więcej informacji zawiera temat Monitorowanie operacji wdrożonego modelu.
Dokonywanie selekcji
Użyj wyborów, aby zawęzić dane. Można wybierać cechy i ich określone wartości lub zakresy, a także filtrować pod kątem określonych dat i zakresów ważności. W niektórych przypadkach może być wymagane dokonanie jednego lub większej liczby wyborów w celu wyświetlenia wizualizacji. Aby dokonać wyboru, kliknij wartości danych w wizualizacjach i panelach filtrów.
Z wyborami możesz pracować następująco:
-
Wybierać wartości, klikając zawartość, definiując zakresy i rysując.
-
Wyszukiwać na wykresach, aby wybierać wartości.
-
Klikać wybrane pole na pasku narzędzi u góry osadzonej analizy. Umożliwia to przeszukiwanie istniejących wyborów, a także ich blokowanie, odblokowywanie oraz dalszą modyfikację.
-
Na pasku narzędzi u góry osadzonej analizy kliknij
, aby usunąć wybór. Wyczyść wszystkie zaznaczenia, klikając ikonę 
. -
Przechodź do przodu i do tyłu w wyborach, klikając
i 
.
Analizowanie dryfu cechy wraz z ważnością
Użyj wykresu Feature drift vs importance, aby wspólnie przeanalizować dryf cech i ważność permutacji. Możesz zidentyfikować, kiedy zmiany w dryfie zachodzą równolegle ze zmieniającymi się wzorcami ważności. Przeglądając te dwa wskaźniki razem, można odkryć nowo pojawiające się wzorce i lepiej zrozumieć trendy wpływające na dane.
Aby zrozumieć, co wyniki dryfu oznaczają dla wydajności modelu, zobacz Obliczenia dryfu danych w AutoML.
Monitorowanie dryfu cech w czasie
Na wykresie Feature drift over time można wyświetlić oś czasu każdego obliczenia dryfu i przeanalizować zmiany zachodzące w czasie w miarę generowania nowych predykcji.
Linia odniesienia została dodana przy wartości PSI równej 0,25, aby wskazać, kiedy cecha wykazuje znaczny dryf. Aby dowiedzieć się więcej o tym, co wyniki dryfu oznaczają dla wydajności modelu, zobacz temat Obliczenia dryfu danych w AutoML.
Wyświetlanie rozkładu cech
Wykres Value distribution jest pomocny w porównywaniu rozkładu wartości dla danej cechy między zestawem danych do uczenia danych a zestawem danych wykorzystywanym do najnowszych prognoz generowanych za pomocą modelu. Można ustalić, na które zakresy w danej cesze dryf ma największy, a na które najmniejszy wpływ.
Niebieskie słupki wskazują procent wartości w najnowszym zestawie danych do zastosowania, które mieszczą się w każdym zakresie. Fioletowe znaczniki w kształcie koła pokazują procent wartości w zestawie danych do uczenia, które mieszczą się w każdym zakresie. Jeśli zauważysz dużą różnicę między wysokością słupków a położeniem znaczników, prawdopodobnie na zasięg wpływa dryf.