Przeprowadzanie szybkiej analizy modelu
Gdy modele zakończą szkolenie dla wersji eksperymentu, przeprowadź analizę najważniejszych metryk modelu i uzyskaj dostęp do podsumowania sposobu przetwarzania danych szkoleniowych. Szybka analiza jest przeprowadzana na kartach Konfiguracja/Dane szkoleniowe i Modele.
Użyj karty Modele, aby uzyskać przegląd wyników szkolenia. Po uruchomieniu wersji eksperymentu następuje automatyczne przełączenie na kartę Modele. Zaleca się również ponowne odwiedzenie karty Dane szkoleniowe w celu sprawdzenia, jak dane zostały wstępnie przetworzone i obsłużone.
Karta Modele dla eksperymentu klasyfikacji binarnej
Dostępne są dodatkowe opcje umożliwiające dalszą ocenę modeli. Możesz porównać dodatkowe metryki i hiperparametry między modelami lub skupić się na konkretnym modelu w celu przeprowadzenia szczegółowej analizy. Opcje te są dostępne na kartach Porównaj i Analizuj. Więcej informacji zawierają sekcje:
Zrozumienie pojęć
Przed rozpoczęciem oceny modeli pomocne może być podstawowe zrozumienie pojęć związanych z analizą modeli. Więcej informacji zawiera sekcja Omówienie pojęć związanych z przeglądem modelu.
Wpływ ustawień optymalizacyjnych na analizę
W przypadku eksperymentów klasyfikacji i regresji, doświadczenia związane z analizą mogą się nieznacznie różnić w zależności od tego, czy zastosowano inteligentną optymalizację modelu. W przypadku nowych eksperymentów klasyfikacji i regresji inteligentna optymalizacja modelu jest domyślnie włączona.
Analizowanie modeli uczonych przy użyciu inteligentnej optymalizacji
Domyślnie, nowe eksperymenty klasyfikacji i regresji są uruchamiane z inteligentną optymalizacją modelu.
Inteligentna optymalizacja modelu zapewnia bardziej skuteczny proces uczenia, który w idealnym przypadku tworzy model gotowy do wdrożenia, który prawie lub wcale nie wymaga udoskonalenia. Wydajność tych modeli po wdrożeniu produkcyjnym nadal zależy od uczenia ich przy użyciu zestawu danych wysokiej jakości, który zawiera odpowiednie funkcje i dane.
Jeśli Twoja wersja została nauczona przy użyciu inteligentnej optymalizacji modelu, uwzględnij następujące kwestie:
-
Każdy model w danej wersji może mieć inny wybór cech w zależności od sposobu analizy danych przez algorytm.
-
Na karcie Modele przeczytaj Podsumowanie uczenia modelu, zanim przejdziesz do szczegółowej analizy. Podsumowanie uczenia modelu pokazuje, jak Qlik Predict automatycznie zoptymalizował model przez iterację wyboru cech i stosowanie zaawansowanych transformacji.
Więcej informacji o inteligentnej optymalizacji modelu zawiera temat Inteligentna optymalizacja modelu.
Analizowanie modeli uczonych bez inteligentnej optymalizacji
Zamiast tego można było wyłączyć inteligentną optymalizację modelu dla wersji do uczenia. Ręczna optymalizacja modelu może być pomocna, jeśli potrzebujesz większej kontroli nad procesem uczenia.
Jeśli użyto optymalizacji ręcznej, wszystkie modele w danej wersji będą miały ten sam wybór cech, dlatego Podsumowanie uczenia modelu nie jest potrzebne.
Sprawdzanie konfiguracji
Podczas przetwarzania wstępnego cechy mogły zostać wykluczone z użycia w treningu. Zazwyczaj dzieje się tak dlatego, że w miarę postępu treningu o danych wiadomo więcej niż przed uruchomieniem wersji.
Po przejrzeniu sekcji Podsumowanie treningu modelu (wyświetlanej tylko przy inteligentnej optymalizacji) można przyjrzeć się bliżej konfiguracji eksperymentu, jeśli zajdzie potrzeba sprawdzenia tych innych zmian.
Wykonaj następujące czynności:
-
W eksperymencie przejdź na kartę Dane treningowe.
-
Upewnij się, że znajdujesz się w widoku
Widok schematu. -
Użyj menu rozwijanego na pasku narzędzi, aby wybrać model z wersji.
-
Przeanalizuj schemat modelu. Warto skupić się na kolumnach Spostrzeżenia i Typ cechy, aby sprawdzić, czy niektóre cechy zostały odrzucone lub przekształcone w inny typ cechy.
Na przykład możliwe jest, że cecha początkowo oznaczona jako Możliwy wolny tekst została wykluczona po uruchomieniu wersji.
Więcej informacji o znaczeniu poszczególnych spostrzeżeń zawiera sekcja Interpretowanie wglądów w zestaw danych.
Pamiętaj, że jeśli wersja została uruchomiona z domyślną opcją inteligentnej optymalizacji, każdy model w wersji może mieć inny wybór cech ze względu na automatyczne udoskonalanie. Jeśli wersja została uruchomiona bez inteligentnej optymalizacji, wybór cech będzie taki sam dla wszystkich modeli w wersji. Więcej informacji na temat inteligentnej optymalizacji modeli zawiera sekcja Inteligentna optymalizacja modelu.
Na podstawie tego, co znajdziesz w tej konfiguracji, może być konieczny powrót do etapu przygotowania zestawu danych w celu ulepszenia danych cech.
Gdy inteligentna optymalizacja modelu jest wyłączona, Podsumowanie szkolenia modelu nie będzie wyświetlane w ramach szybkiej analizy. Ponadto wszystkie modele z danej wersji eksperymentu będą używać tych samych kombinacji cech, podczas gdy modele przeszkolone z użyciem inteligentnej optymalizacji mogą mieć różne kombinacje cech.
Wybór modelu
Po zakończeniu szkolenia zalecany model jest automatycznie wybierany do analizy i wyświetlane są jego metryki.
Przełączaj się między modelami, aby porównać różnice w metrykach i konfiguracji. Jeśli jesteś na karcie Dane szkoleniowe, użyj menu rozwijanego na pasku narzędzi, aby wybrać model. Jeśli jesteś na karcie Modele, kliknij model w tabeli Metryki modelu, aby go wybrać.
Analiza podsumowania szkolenia
Inteligentna optymalizacja modelu
W przypadku modeli przeszkolonych z użyciem inteligentnej optymalizacji modelu sekcja Podsumowanie szkolenia modelu przedstawia kluczowe informacje o tym, co wydarzyło się podczas szkolenia. Podsumowanie to obejmuje:
-
Współczynnik próbkowania dla modelu.
-
Listę cech, które zostały automatycznie odrzucone w wyniku inteligentnej optymalizacji. Lista ta różni się w zależności od wybranego modelu.
-
Podsumowanie wszelkich zaawansowanych przekształceń, które zostały zastosowane podczas szkolenia modelu.
-
Link do szkoleniowego zbioru danych.
Sekcja Podsumowanie szkolenia modelu nie jest wyświetlana, jeśli optymalizujesz modele ręcznie.
Więcej informacji na temat inteligentnej optymalizacji modelu zawiera sekcja Inteligentna optymalizacja modelu.
Wykres Podsumowanie szkolenia modelu dla modelu, wyświetlany na karcie Modele
Podsumowanie szkolenia modelu nie zawiera listy cech, które zostały odrzucone na etapie wstępnego przetwarzania. Aby sprawdzić te informacje, wróć do karty Dane eksperymentu. Patrz: Sprawdzanie konfiguracji
Wykonaj następujące czynności:
-
W eksperymencie przejdź do karty Modele.
-
Upewnij się, że wybrano model, który chcesz przeanalizować.
-
W sekcji Wgląd w model po prawej stronie strony zapoznaj się z sekcją Podsumowanie szkolenia modelu.
Eksperymenty szeregów czasowych
W eksperymentach szeregów czasowych sekcja Podsumowanie szkolenia modelu pokazuje ustawienia konfiguracji dla problemu prognozowania szeregów czasowych, zgodnie z definicją w zbiorze danych i ustawieniach szkolenia. Niektóre z tych szczegółów zostały oszacowane przed rozpoczęciem szkolenia, ale teraz są potwierdzone z całą pewnością po przeanalizowaniu całego zbioru danych. Możesz wyświetlić:
-
Zakres dat danych użytych do szkolenia modelu
-
Krok czasowy
-
Rozmiar okna stosowania
-
Maksymalną prognozę
-
Rozmiary okna prognozy i luki
Wykres Podsumowanie szkolenia modelu dla modelu w eksperymencie szeregów czasowych
Analiza tabeli metryk modelu
Tabela Metryki modelu zawiera ogólne informacje o wydajności każdego modelu w eksperymencie. Zalecane modele z tej listy są prezentowane nad tabelą.
Tabela Metryki modelu z zalecanymi modelami i filtrami
Tabela pokazuje:
-
Czy model jest najlepszym modelem w odniesieniu do typów najlepszych modeli. Patrz: Wyszukiwanie najlepszych modeli
-
Nazwę każdego modelu (można ją edytować dla wygody. Patrz: Edytowanie szczegółów modelu)
-
Algorytm użyty do szkolenia modelu
-
Kluczowe metryki związane z wydajnością modelu. Możesz przełączać się między:
-
Typowymi metrykami do oceny potencjału predykcyjnego, zgodnie z typem modelu. W przypadku modeli klasyfikacji binarnej jest to F1. W przypadku modeli klasyfikacji wieloklasowej jest to F1 Macro. W przypadku modeli regresji jest to R2.
-
Szybkością prognozowania.
-
Dokładnością. W przypadku modeli klasyfikacji jest to metryka o nazwie dokładność. W przypadku modeli regresji jest to MAE (średni błąd bezwzględny).
-
Wyszukiwanie najlepszych modeli
Najlepsze i najbardziej wydajne modele są określane na podstawie zastosowanych filtrów. Są one prezentowane jako rekomendacje nad tabelą metryk modelu, a także wyróżnione w samej tabeli.
Model Najlepszy model jest wybierany domyślnie. Model ten jest oznaczony ikoną 
podsumowania. Najlepszy model jest określany na podstawie zrównoważonych obliczeń uwzględniających zarówno dokładność, jak i szybkość prognozowania.
W zależności od przypadku użycia może Cię również zainteresować indywidualna analiza określonych wskaźników wydajności. Inne modele o najwyższej wydajności są wyróżnione następującymi znacznikami:
-
Najdokładniejszy: Model wykazuje najwyższą dokładność na podstawie odpowiednich metryk oceny dla danego typu problemu. -
Najszybszy model: Model zapewnia najszybsze prędkości prognozowania. Dokładność jest również brana pod uwagę.
Możesz także wybrać najbardziej wydajne modele bezpośrednio z rekomendacji nad tabelą Metryki modelu.
Pełny przegląd sposobu określania każdego typu zalecanego modelu zawiera sekcja Wybór najlepszego modelu dla siebie.
Filtrowanie modeli w tabeli
Tabelę metryk modelu można filtrować, aby wyświetlić tylko te modele, które chcesz porównać.
Dostępne są następujące filtry, które można łączyć w zależności od potrzeb:
-
Wersja: Wybierz jedną lub więcej wersji eksperymentu.
-
Algorytm: Wybierz jeden lub więcej algorytmów.
-
Próbkowanie 100%: Ten filtr jest stosowany domyślnie. W razie potrzeby można go usunąć. Filtr pokazuje modele, które wykorzystały cały szkoleniowy zbiór danych do ukończenia procesu szkolenia i walidacji krzyżowej. Znajduje się w sekcji Więcej filtrów modeli.
-
Wdrożone: Pokaż modele, które zostały wdrożone we wdrożeniach ML. Znajduje się w sekcji Więcej filtrów modeli.
Po zastosowaniu żądanych filtrów najbardziej wydajne modele są automatycznie ponownie obliczane na podstawie przefiltrowanych elementów. Twoje zalecane modele zostaną wówczas zaktualizowane.
Interpretacja wizualizacji ważności cech
Na karcie Modele przewiń w dół, aby wyświetlić wizualizacje ważności cech. Będą to Ważność permutacji oraz Ważność SHAP.
Wizualizacja ważności cech na karcie Modele
Wykres Ważność permutacji
Wykres Ważność permutacji pokazuje znaczenie każdej cechy dla ogólnej prognozy modelu. To, co widzisz na wykresie Ważność permutacji, może pomóc Ci zrozumieć, jak ulepszyć modele.
Typowe wnioski, jakie można wyciągnąć z analizy tego wykresu, obejmują:
-
Jeśli jedna cecha skupia na sobie prawie całe znaczenie, jest to prawdopodobnie oznaka wycieku celu. Tę cechę należy usunąć. Jeśli jest to spowodowane problemami z jakością danych, nimi również należy się zająć.
-
Niektóre cechy mogą mieć bardzo mały wpływ na prognozy modelu lub nie mieć go wcale. Cechy o skrajnie niskiej ważności permutacji można uznać za szum statystyczny i należy je usunąć.
Jeśli do przeszkolenia wersji użyto inteligentnej optymalizacji modelu, niektóre z typowych problemów wymienionych powyżej mogły zostać automatycznie rozwiązane poprzez odrzucenie tych cech.
Więcej informacji na temat ważności permutacji zawiera sekcja Omówienie ważności permutacji.
Wykres Ważność SHAP
Wykres Ważność SHAP zapewnia inny sposób analizy wpływu, jaki każda cecha w eksperymencie wywiera na prognozy z każdego modelu. Może to dać wczesny wgląd w to, które cechy są istotne lub czy konieczna jest ponowna konfiguracja szkolenia. Więcej informacji zawiera sekcja Omówienie ważności SHAP w uczeniu eksperymentów.
Interpretacja wizualizacji oceny modeli
W przypadku niektórych typów modeli dostępne są dodatkowe wizualizacje przedstawiające przegląd tego, jak dobrze model działa.
Klasyfikacja binarna
Jeśli eksperyment dotyczy problemu klasyfikacji binarnej, automatycznie generowanych jest szereg dodatkowych wizualizacji do szybkiego zapoznania się. Wizualizacje te dają lepszy wgląd w to, jak dobrze model prognozuje klasy dodatnie i ujemne.
Więcej informacji na temat tych wizualizacji zawiera sekcja Ocena modeli klasyfikacji binarnej.
Macierz pomyłek
Wykres Macierz pomyłek pokazuje dokładność prognoz utworzonych przez model. Prognozy są wykonywane na automatycznych danych wstrzymanych.
Krzywa ROC
Wykres Krzywa ROC opisuje, jak dobry jest model w prognozowaniu klasy dodatniej, gdy rzeczywisty wynik jest dodatni.
Wskazówki dotyczące tego, jak wygląda idealna krzywa ROC, zawiera sekcja AUC i krzywa ROC.
Szeregi czasowe
Dla modeli szeregów czasowych automatycznie generowany jest wykres Błąd prognozy w oknie prognozy, aby zapewnić wgląd w dokładność prognoz. Możesz wyświetlić wskaźnik błędu prognozy dla każdego kroku czasowego w oknie prognozy. Wskaźniki błędów są podzielone na pięćdziesiąty, dziesiąty i dziewięćdziesiąty percentyl.
Analiza wyników wykrywania stronniczości
Jeśli jakiekolwiek cechy w wersji zostały aktywowane do wykrywania stronniczości, możesz szybko dowiedzieć się, które cechy zostały zidentyfikowane jako wykazujące stronniczość danych i modelu.
Ze względu na ograniczoną przestrzeń w tym skróconym widoku nie są wyświetlane wszystkie metryki i grupy. Na przykład mogą być wyświetlane tylko wartości minimalne i maksymalne, jeśli metryka wykrywania stronniczości jest obliczana na podstawie tych statystyk. Możesz przełączyć się na kartę Analizuj, aby wyświetlić wyczerpujące szczegóły dotyczące wyników stronniczości dla każdej wybranej cechy.
Więcej informacji zawiera sekcja Szybka analiza wyników stronniczości.