Szczegółowa analiza modelu

Na karcie eksperymentu Analizuj można skoncentrować się na pojedynczym modelu, aby dogłębnie przeanalizować jego wydajność predykcyjną. Szczegółowej analizy dokonuje się przy użyciu wbudowanej analityki.

Po zakończeniu uczenia wybierz model. Następnie otwórz kartę Analizuj, aby wyświetlić więcej informacji na temat dokładności przewidywań modelu, czynników wpływających na trendy w danych itp. Dane wyświetlane na karcie Analizuj opierają się na przewidywaniach generowanych przez model na podstawie danych wstrzymania.

Główne zalety szczegółowej analizy modelu obejmują między innymi:

• Interaktywny interfejs, w którym możesz udoskonalić i dostosować dane wizualizacji według potrzeb.

• Dokładny przegląd predykcji dokonanych na podstawie danych wstrzymania wraz ze statystykami ważności cech.

Przebieg analizy

Aby w pełni zrozumieć wyniki uczenia modelu, zaleca się przeprowadzenie szybkiej analizy, a następnie skorzystanie z dodatkowych opcji na kartach Porównaj i Analizuj. Szybka analiza oferuje Podsumowanie szkolenia modelu pokazujące, które cechy zostały pominięte podczas inteligentnej optymalizacji, a także zapewnia szereg automatycznie generowanych wizualizacji do szybkiego wykorzystania. Karty Porównaj i Analizuj nie pokazują Podsumowania uczenia modelu, ale umożliwiają dokładniejsze zgłębienie wskaźników modeli, aby można było lepiej zorientować się w jakości modeli.

Więcej informacji na temat innych opcji analizy zawiera temat:

• Przeprowadzanie szybkiej analizy modelu

• Porównanie modeli

Omówienie pojęć

Przed rozpoczęciem porównywania modeli przydaje się podstawowa orientacja w pojęciach związanych z oceną modeli. Więcej informacji zawiera temat Omówienie pojęć związanych z przeglądem modelu.

Wpływ ustawień optymalizacyjnych na analizę

Doświadczenia związane z analizą mogą się nieznacznie różnić w zależności od tego, czy zastosowano inteligentną optymalizację modelu. W przypadku nowych eksperymentów inteligentna optymalizacja modelu jest domyślnie włączona.

Analizowanie modeli uczonych przy użyciu inteligentnej optymalizacji

Nowe eksperymenty są domyślnie uruchamiane z inteligentną optymalizacją modelu.

Inteligentna optymalizacja modelu zapewnia bardziej skuteczny proces uczenia, który w idealnym przypadku tworzy model gotowy do wdrożenia, który prawie lub wcale nie wymaga udoskonalenia. Wydajność tych modeli po wdrożeniu produkcyjnym nadal zależy od uczenia ich przy użyciu zestawu danych wysokiej jakości, który zawiera odpowiednie funkcje i dane.

Jeśli Twoja wersja została nauczona przy użyciu inteligentnej optymalizacji modelu, uwzględnij następujące kwestie:

• Każdy model w danej wersji może mieć inny wybór cech w zależności od sposobu analizy danych przez algorytm.

• Na karcie Modele przeczytaj Podsumowanie uczenia modelu, zanim przejdziesz do szczegółowej analizy.Podsumowanie uczenia modelu pokazuje, jak AutoML automatycznie zoptymalizował model przez iterację wyboru cech i stosowanie zaawansowanych transformacji.

Więcej informacji o inteligentnej optymalizacji modelu zawiera temat Inteligentna optymalizacja modeli.

Analizowanie modeli uczonych bez inteligentnej optymalizacji

Zamiast tego można było wyłączyć inteligentną optymalizację modelu dla wersji do uczenia. Ręczna optymalizacja modelu może być pomocna, jeśli potrzebujesz większej kontroli nad procesem uczenia.

Jeśli użyto optymalizacji ręcznej, wszystkie modele w danej wersji będą miały ten sam wybór cech, dlatego Podsumowanie uczenia modelu nie jest potrzebne.

Sprawdzanie konfiguracji

Podczas przetwarzania wstępnego cechy mogły zostać wyłączone z użycia w uczeniu. Zwykle dzieje się tak, ponieważ w miarę postępu uczenia jest dostępnych więcej informacji o danych niż przed uruchomieniem wersji.

Po przejrzeniu Podsumowania uczenia modelu (pokazywanego tylko w przypadku inteligentnej optymalizacji) możesz przyjrzeć się dokładniej konfiguracji eksperymentu, jeśli chcesz sprawdzić inne zmiany.

Wykonaj następujące czynności:

1. W eksperymencie przejdź do karty Dane.

2. Sprawdź, czy jesteś w widoku schematu .

3. Aby wybrać model z wersji, użyj rozwijanego menu na pasku narzędzi.

4. Przeanalizuj schemat modelu. Możesz skoncentrować się na kolumnach Wnioski i Typ cechy, aby sprawdzić, czy określone cechy zostały usunięte lub przekształcone w inny typ cechy.

   Na przykład cecha początkowo oznaczona jako Ewentualny dowolny tekst mogła zostać wykluczona po uruchomieniu wersji.

   Więcej informacji na temat znaczenia poszczególnych wniosków zawiera temat Interpretowanie wniosków z zestawu danych.

Należy pamiętać, że jeśli uruchomiono wersję z domyślną opcją inteligentnej optymalizacji, każdy model w tej wersji mógł mieć inny wybór cech ze względu na automatyczne udoskonalanie. Jeżeli wersja została uruchomiona bez inteligentnej optymalizacji, wybór cech będzie taki sam dla wszystkich modeli w danej wersji. Więcej informacji o inteligentnej optymalizacji modelu zawiera temat Inteligentna optymalizacja modeli.

W zależności od tego, co znajdziesz w tej konfiguracji, może być wymagany powrót do etapu przygotowania zestawu danych, aby poprawić dane cech.

Uruchomienie szczegółowej analizy

Szczegółową analizę konkretnego modelu można uruchomić na kilka sposobów:

• Wybierz model na karcie Dane lub Modele, kliknij obok modelu, a następnie kliknij Analizuj.

• Po wybraniu modelu kliknij kartę Analizuj.

• Jeśli przeglądasz już analizę szczegółów modelu, użyj menu rozwijanego na pasku narzędzi, aby wybrać inny model.

Zawartość analityczna zależy od typu modelu zdefiniowanego w celu eksperymentu. Dla różnych typów modeli będą dostępne różne wskaźniki.

Nawigacja po wbudowanej analityce

Użyj interaktywnego interfejsu, aby przeanalizować model za pomocą wbudowanej analityki.

Przełączanie arkuszy

Panel Arkusze umożliwia przełączanie arkuszy analizy. Każdy arkusz koncentruje się na określonym aspekcie. Panel można w razie potrzeby rozwijać i zwijać.

Dokonywanie selekcji

Użyj wyborów, aby zawęzić dane. Możesz wybrać cechy i przejść do konkretnych wartości oraz zakresów. Dzięki temu w razie potrzeby możesz przyjrzeć im się dokładniej. W niektórych przypadkach może być wymagane dokonanie jednego lub większej liczby wyborów w celu wyświetlenia wizualizacji. Aby dokonać wyboru, kliknij wartości danych w wizualizacjach i panelach filtrów.

Z wyborami możesz pracować następująco:

• Wybierać wartości, klikając zawartość, definiując zakresy i rysując.

• Wyszukiwać na wykresach, aby wybierać wartości.

• Klikać wybrane pole na pasku narzędzi u góry osadzonej analizy. Umożliwia to przeszukiwanie istniejących wyborów, a także ich blokowanie, odblokowywanie oraz dalszą modyfikację.

• Na pasku narzędzi u góry osadzonej analizy kliknij , aby usunąć wybór. Wyczyść wszystkie zaznaczenia, klikając ikonę .

• Przechodź do przodu i do tyłu w wyborach, klikając i .

Analiza zawiera panele filtrowania ułatwiające zawężenie danych. W panelu filtrowania kliknij pole wyboru obok wartości, aby dokonać wyboru.Jeśli panel filtrowania zawiera wiele pól listy, kliknij pole listy, aby je rozwinąć, a następnie dokonaj odpowiednich wyborów.

Eksportowanie danych do katalogu

Możesz wyeksportować dane używane w szczegółowej analizie do katalogu. Dane są eksportowane do przestrzeni w Analityka Qlik Cloud. Wyeksportowane dane można wykorzystać do tworzenia własnych aplikacji Qlik Sense do analizy niestandardowej.

Więcej informacji zawiera temat Eksportowanie danych do uczenia modelu.

Analiza dokładności predykcji

Sposób interpretacji dokładności predykcji będzie zależeć od struktury zestawu danych do uczenia i zastosowania uczenia maszynowego. Dodatkowo interpretacja tych wizualizacji zależy od typu modelu. Więcej informacji na temat każdego typu modelu znajduje się w poniższych sekcjach.

Sekcja Predykcje arkusza Przegląd modelu zawiera zbiorczy przegląd liczby predykcji, które model wykonuje poprawnie i niepoprawnie.

Korzystając z arkusza Predykcje i dystrybucja cech, skoncentruj się na konkretnej cesze, aby przeanalizować charakter niedokładności predykcji. Wybierz pojedynczą cechę w panelu filtrowania po lewej stronie arkusza. W przypadku wszystkich typów modeli ten arkusz przedstawia obok siebie niedokładności predykcji i rozkład rzeczywistych wartości, aby umożliwić spojrzenie na dane z odpowiedniej perspektywy.

Modele klasyfikacji binarnej

Analiza całego modelu

W sekcji Predykcje arkusza Przegląd modelu pokazane są nieprzetworzone dane zdefiniowane w tablicy pomyłek. Obejmuje to wyniki prawdziwie i fałszywie pozytywne oraz prawdziwie i fałszywie negatywne. Wartości te są prezentowane jako sumy statyczne, więc nie reagują one na wybory. Więcej informacji o znaczeniu tych wartości zawiera temat Tablica pomyłek.

Analizowanie podzestawów danych

W arkuszu Predykcje i dystrybucja cech wykres Nieprawidłowo przewidziane przedstawia słupek dla każdej możliwej wartości cechy lub zakresu cechy, przy czym wysokość słupka odpowiada liczbie błędnych predykcji dokonanych przez model. Każdy kolor na pasku odpowiada każdej rzeczywistej wartości celu. Wybierz pojedynczą cechę i wartości z innych żądanych pól, aby zobaczyć, jak zmienia się dokładność przewidywania dla różnych podzestawów danych.

Modele klasyfikacji wieloklasowej

Analiza całego modelu

W części Predykcje arkusza Przegląd modelu jest pokazany wykres słupkowy ze słupkiem dla każdej z rzeczywistych wartości celu. Wysokość każdego koloru słupka odpowiada liczbie predykcji danej klasy przez model. Oprócz tego wykresu w sekcji Predykcje przedstawiono także zestawienie prawidłowych i błędnych predykcji.

Analizowanie podzestawów danych

W arkuszu Predykcje i dystrybucja cech wykres Nieprawidłowo przewidziane przedstawia słupek dla każdej możliwej wartości lub zakresu cechy, przy czym wysokość słupka odpowiada liczbie błędnych predykcji dokonanych przez model. Każdy kolor na pasku odpowiada każdej rzeczywistej wartości celu.

Modele regresji

W przypadku modeli regresji można wyświetlić następujące informacje na poziomie zarówno modelu, jak i cech:

• Średnia przewidywana wartość celu

• Rzeczywista wartość celu

• Dziewięćdziesiąty i dziesiąty percentyl zakresów predykcji. Linie te pokazują zakresy, w których można oczekiwać, że model przewidzi wartość. Linia dziewięćdziesiątego percentyla będzie zawsze linią z większymi wartościami.

• Średni błąd bezwzględny (MAE)

W przypadku wizualizacji zarówno obejmujących cały model, jak i specyficznych dla danej cechy przeanalizuj wskaźniki wraz z rzeczywistym rozkładem wartości tej cechy.

Analizowanie ważności cechy

Uzyskiwanie dostępu do przeglądu

Analiza ważności cech pozwala określić, jak każda cecha wpływa na predykcje w porównaniu z innymi cechami.

Sekcja Wpływ cechy arkusza Omówienie modelu zawiera zbiorczy przegląd średnich wartości bezwzględnych SHAP. Ten wykres wygląda tak samo jak wykres Ważność SHAP na karcie Modele. Wykres jest aktualizowany na podstawie dokonywanych wyborów. Po wybraniu pojedynczej cechy możesz przejść do jej konkretnych wartości i zakresów, aby uzyskać więcej szczegółów.

Analiza dystrybucji SHAP

Możesz także otworzyć arkusz Wpływ według cech, aby uzyskać pełniejszy widok wartości SHAP dla każdej wartości cechy lub zakresu. Wartości SHAP są prezentowane z kierunkem, a nie jako wartości bezwzględne.

Analiza ta może pomóc w identyfikacji wzorców w określonych kohortach, a także wartości odstających w danych. Wybierz wartości lub zakresy na wykresie, aby przefiltrować dane w celu uzyskania bardziej szczegółowej analizy.

Wygląd i typ wykresu zależy od wybranego typu cechy.

Cechy kategorialne

Cechy kategorialne są wizualizowane w postaci wykresu pudełkowego. Wykres pudełkowy pomaga zobaczyć rozkład wartości SHAP dla każdej wartości kategorialnej. Wykres pudełkowy ma następującą konfigurację:

• Pokazuje średnie wartości SHAP.

• Używana jest konfiguracja Standardowa (Tukeya):

  • Pudełko wartości wyznacza pierwszy kwartyl (dolny koniec) i trzeci kwartyl (górny koniec).

  • Mediana to pozioma linia wewnątrz pudełka.

• Górne i dolne wąsy odpowiadają górnej i dolnej granicy zakresu międzykwartylowego 1,5.

• Wartości odstające nie są wyświetlane.

Cechy liczbowe

W przypadku cech liczbowych wartości SHAP są wizualizowane w postaci wykresu punktowego. Wykres punktowy ma następującą konfigurację:

• Zostaną wyświetlone wartości SHAP dla wybranej próbki.

• Wygląd wykresu punktowego zależy od liczby wyświetlanych punktów danych. W przypadku wykresów z mniejszą liczbą punktów danych wyświetlane są pojedyncze bąbelki.W przypadku wykresów z dużą liczbą punktów danych bąbelki są zbierane w bloki, których kolor wskazuje, ile punktów danych znajduje się w każdym bloku.

Na wykresie punktowym wybierz określone wartości lub zakresy w celu dokładniejszego zbadania.