Przeprowadzanie szybkiej analizy modelu

Gdy modele ukończą szkolenie do wersji eksperymentalnej, przeprowadź analizę najważniejszych wskaźników modeli i przejdź do podsumowania sposobu przetwarzania danych szkoleniowych. Szybkiej analizy dokonuje się na kartach Dane i Modele.

Użyj karty Modele, aby zobaczyć przegląd wyników uczenia. Po uruchomieniu wersji eksperymentalnej następuje automatyczne przełączenie na kartę Modele. Zaleca się również sprawdzenie na karcie Dane, jak dane zostały wstępnie przetworzone i jak z nimi postąpiono.

Dostępne są dodatkowe opcje umożliwiające dalszą ocenę modeli. Można porównywać dodatkowe wskaźniki i hiperparametry między modelami lub skupić się na konkretnym modelu w celu przeprowadzenia szczegółowej analizy. Opcje te są dostępne na kartach Porównaj i Analizuj. Więcej informacji zawiera temat:

• Porównanie modeli

• Szczegółowa analiza modelu

Omówienie pojęć

Przed rozpoczęciem porównywania modeli przydaje się podstawowa orientacja w pojęciach związanych z oceną modeli. Więcej informacji zawiera temat Omówienie pojęć związanych z przeglądem modelu.

Wpływ ustawień optymalizacyjnych na analizę

Doświadczenia związane z analizą mogą się nieznacznie różnić w zależności od tego, czy zastosowano inteligentną optymalizację modelu. W przypadku nowych eksperymentów inteligentna optymalizacja modelu jest domyślnie włączona.

Analizowanie modeli uczonych przy użyciu inteligentnej optymalizacji

Nowe eksperymenty są domyślnie uruchamiane z inteligentną optymalizacją modelu.

Inteligentna optymalizacja modelu zapewnia bardziej skuteczny proces uczenia, który w idealnym przypadku tworzy model gotowy do wdrożenia, który prawie lub wcale nie wymaga udoskonalenia. Wydajność tych modeli po wdrożeniu produkcyjnym nadal zależy od uczenia ich przy użyciu zestawu danych wysokiej jakości, który zawiera odpowiednie funkcje i dane.

Jeśli Twoja wersja została nauczona przy użyciu inteligentnej optymalizacji modelu, uwzględnij następujące kwestie:

• Każdy model w danej wersji może mieć inny wybór cech w zależności od sposobu analizy danych przez algorytm.

• Na karcie Modele przeczytaj Podsumowanie uczenia modelu, zanim przejdziesz do szczegółowej analizy.Podsumowanie uczenia modelu pokazuje, jak AutoML automatycznie zoptymalizował model przez iterację wyboru cech i stosowanie zaawansowanych transformacji.

Więcej informacji o inteligentnej optymalizacji modelu zawiera temat Inteligentna optymalizacja modeli.

Analizowanie modeli uczonych bez inteligentnej optymalizacji

Zamiast tego można było wyłączyć inteligentną optymalizację modelu dla wersji do uczenia. Ręczna optymalizacja modelu może być pomocna, jeśli potrzebujesz większej kontroli nad procesem uczenia.

Jeśli użyto optymalizacji ręcznej, wszystkie modele w danej wersji będą miały ten sam wybór cech, dlatego Podsumowanie uczenia modelu nie jest potrzebne.

Sprawdzanie konfiguracji

Podczas przetwarzania wstępnego cechy mogły zostać wyłączone z użycia w uczeniu. Zwykle dzieje się tak, ponieważ w miarę postępu uczenia jest dostępnych więcej informacji o danych niż przed uruchomieniem wersji.

Po przejrzeniu Podsumowania uczenia modelu (pokazywanego tylko w przypadku inteligentnej optymalizacji) możesz przyjrzeć się dokładniej konfiguracji eksperymentu, jeśli chcesz sprawdzić inne zmiany.

Wykonaj następujące czynności:

1. W eksperymencie przejdź do karty Dane.

2. Sprawdź, czy jesteś w widoku schematu .

3. Aby wybrać model z wersji, użyj rozwijanego menu na pasku narzędzi.

4. Przeanalizuj schemat modelu. Możesz skoncentrować się na kolumnach Wnioski i Typ cechy, aby sprawdzić, czy określone cechy zostały usunięte lub przekształcone w inny typ cechy.

   Na przykład cecha początkowo oznaczona jako Ewentualny dowolny tekst mogła zostać wykluczona po uruchomieniu wersji.

   Więcej informacji na temat znaczenia poszczególnych wniosków zawiera temat Interpretowanie wniosków z zestawu danych.

Należy pamiętać, że jeśli uruchomiono wersję z domyślną opcją inteligentnej optymalizacji, każdy model w tej wersji mógł mieć inny wybór cech ze względu na automatyczne udoskonalanie. Jeżeli wersja została uruchomiona bez inteligentnej optymalizacji, wybór cech będzie taki sam dla wszystkich modeli w danej wersji. Więcej informacji o inteligentnej optymalizacji modelu zawiera temat Inteligentna optymalizacja modeli.

W zależności od tego, co znajdziesz w tej konfiguracji, może być wymagany powrót do etapu przygotowania zestawu danych, aby poprawić dane cech.

Po wyłączeniu inteligentnej optymalizacji modelu nie będzie widoczne Podsumowanie uczenia modelu w ramach szybkiej analizy. Ponadto wszystkie modele z wersji eksperymentalnej będą korzystać z tych samych kombinacji cech, podczas gdy modele uczone przy użyciu inteligentnej optymalizacji mogą mieć różne kombinacje cech.

Wybór modelu

Po zakończeniu uczenia model o najlepszych wynikach jest automatycznie wybierany do analizy i wyświetlane są wskaźniki tego modelu. Model o najwyższej skuteczności w każdej wersji eksperymentu jest oznaczony ikoną .

Przełączaj modele, aby porównać różnice we wskaźnikach i konfiguracji. Jeśli jesteś na karcie Dane, użyj menu rozwijanego na pasku narzędzi, aby wybrać model. Jeśli jesteś na karcie Modele, kliknij model w tabeli Wskaźniki modelu, aby wybrać model.

Analiza podsumowania szkolenia

W przypadku modeli uczonych przy użyciu inteligentnej optymalizacji modelu Podsumowanie uczenia modelu zawiera najważniejsze informacje o tym, co się wydarzyło podczas uczenia. To podsumowanie obejmuje następujące elementy:

• Współczynnik próbkowania dla modelu.

• Lista cech, które zostały automatycznie usunięte w wyniku inteligentnej optymalizacji.Ta lista różni się w zależności od wybranego modelu.

• Łącze do zestawu danych do uczenia.

Podsumowanie uczenia modelu nie jest wyświetlane, jeśli optymalizujesz modele ręcznie.

Więcej informacji o inteligentnej optymalizacji modelu zawiera temat Inteligentna optymalizacja modeli.

Podsumowanie uczenia modelu nie zawiera listy cech, które zostały usunięte na etapie wstępnego przetwarzania. Aby sprawdzić te informacje, wróć do karty Dane eksperymentu. Zobacz: Sprawdzanie konfiguracji

Wykonaj następujące czynności:

1. W eksperymencie przejdź na kartę Modele.

2. Potwierdź wybór modelu, który chcesz przeanalizować.

3. W sekcji Informacje o modelu po prawej stronie strony przejrzyj Podsumowanie uczenia modelu.

Analiza tabeli wskaźników modelu

Tabela Wskaźniki modelu zawiera ogólne informacje na temat wydajności każdego modelu w eksperymencie. Ta tabela jest pokazana na karcie Modele.

Gdy jesteś na karcie Modele, w tabeli Wskaźniki modeli możesz także wybrać model do analizy.

Tabela wskaźników modelu pokazuje następujące informacje:

• Czy model jest najskuteczniejszy w swojej wersji

• Nazwa każdego modelu. (Można ją edytować dla wygody. Zobacz: Edytowanie szczegółów modelu)

• Algorytm używany do uczenia modelu

• Wartości najważniejszego wyniku wydajności modelu, biorąc pod uwagę typ modelu zdefiniowany przez cel eksperymentu:

  • Modele klasyfikacji binarnej: F1.

    F1

  • Modele klasyfikacji wieloklasowej: F1 Macro.

    Makro F1

  • Modele regresji: R2.

    R2

  Więcej informacji o typach modeli uczonych w ramach eksperymentu zawiera temat Określanie typu tworzonego modelu.

Filtrowanie modeli w tabeli

Tabelę wskaźników modelu można filtrować, aby wyświetlić tylko modele, które chcesz porównać.

Dostępne są następujące filtry i można je łączyć w zależności od potrzeb:

• Wersja: wybierz jedną lub więcej wersji eksperymentu.

• Algorytm: wybierz jeden lub więcej algorytmów.

• Z najlepszymi wskaźnikami: pokazuje najskuteczniejsze modele we wszystkich wersjach (oznaczone ikonami ). Można go znaleźć w obszarze Więcej filtrów modeli.

• Próbkowanie 100%: ten filtr jest stosowany domyślnie. W razie potrzeby można go usunąć. Filtr pokazuje modele, które wykorzystały cały zestaw danych do uczenia, aby ukończyć proces uczenia i weryfikacji krzyżowej. Można go znaleźć w obszarze Więcej filtrów modeli.

• Wdrożono: pokazuje modele, które zostały wdrożone we wdrożeniach uczenia maszynowego. Można go znaleźć w obszarze Więcej filtrów modeli.

Interpretowanie wizualizacji ważności cech

Na karcie Modele przewiń w dół, aby wyświetlić wizualizacje ważności cech. Są to Ważność permutacji i Ważność SHAP.

Wykres Ważności permutacji

Wykres Ważność permutacji pokazuje, jak ważna jest każda cecha dla ogólnej predykcji modelu. Zawartość wykresu Ważność permutacji może pomóc w zrozumieniu, jak udoskonalić modele.

Typowe wnioski, jakie można wyciągnąć z analizy tego wykresu:

• Jeśli jedna cecha pochłania prawie całą ważność, jest to prawdopodobnie oznaka wycieku danych celu. Należy usunąć tę cechę. Jeżeli jest to spowodowane problemami z jakością danych, należy się nimi również zająć.

  Wyciek danych

• Niektóre cechy mogą mieć bardzo niewielki lub żaden wpływ na przewidywania modelu. Cechy o wyjątkowo niskiej ważności permutacji można uznać za szum statystyczny i należy je usunąć.

 Jeśli do uczenia wersji użyto inteligentnej optymalizacji modelu, niektóre z typowych problemów wymienionych powyżej mogły zostać automatycznie rozwiązane przez usunięcie tych cech.

Więcej informacji na temat ważności permutacji zawiera temat Omówienie ważności permutacji.

Wykres Ważności SHAP

Wykres Ważność SHAP oferuje inny sposób analizy wpływu, jaki każda z cech w eksperymencie wywiera na predykcje z każdego modelu. Może to zapewnić wczesny wgląd w to, które cechy są istotne lub czy trzeba ponownie skonfigurować uczenie. Więcej informacji zawiera temat Omówienie ważności SHAP w uczeniu eksperymentów.

Interpretacja wizualizacji ocen modelu

Jeśli eksperyment dotyczy klasyfikacji binarnej, automatycznie generowanych jest kilka dodatkowych wizualizacji do szybkiego wykorzystania. Te wizualizacje dają lepszy wgląd w skuteczność predykcji klas dodatnich i ujemnych przez model.

Aby uzyskać więcej informacji na temat tych wizualizacji, zobacz temat Ocena modeli klasyfikacji binarnej.

Tablica pomyłek

Wykres Tablicy pomyłek pokazuje dokładność predykcji utworzonych przez model. Predykcji dokonuje się na podstawie danych z automatycznego wstrzymania.

Tablica pomyłek

Krzywa ROC

Wykres Krzywa ROC pokazuje, jak dobry jest model w przewidywaniu klasy pozytywnej, kiedy rzeczywisty wynik jest pozytywny.

Wygląd idealnej krzywej ROC można zobaczyć w temacie AUC i krzywa ROC.