Przeskocz do zawartości głównej Przejdź do treści uzupełniającej

Przeglądanie i ulepszanie wersji modeli

Po zakończeniu pierwszej wersji uczenia modelu przeanalizuj wynikowe wskaźniki modelu i skonfiguruj kolejne wersje eksperymentu, aż uzyskasz potrzebne wyniki.

Po uruchomieniu wersji eksperymentu nastąpi przejście do widoku modelu, w którym możesz przeanalizować wynikowe wskaźniki modelu. W dowolnym momencie możesz przejść do widoku schematu lub danych. Jeśli chcesz wrócić do widoku modelu, kliknij ikonę widoku modelu Obiekt.

Ukończenie pierwszej wersji uczenia poznasz po tym, że wszystkie wskaźniki zostaną wypełnione w tabeli Wskaźniki modelu, a obok najskuteczniejszego modelu pojawi się ikona trofeum Trofeum.

InformacjaAutoML nieustannie doskonali swoje procesy uczenia modeli. Dlatego po wykonaniu tych ćwiczeń możesz zauważyć, że wskaźniki modelu i inne szczegóły pokazane na tej stronie nie są identyczne z Twoimi.

Analiza modelu

W widoku modelu widzimy, że najefektywniejszy algorytm ma ikonę trofeum Trofeum. Oznacza to, że jest to najskuteczniejszy model na podstawie wyniku F1.

Widok modelu przedstawiający najskuteczniejszy model w wersji 1.

Widok modelu pokazujący wskaźniki modelu.
  1. W prawym górnym rogu tabeli kliknij przycisk wyboru kolumny Kolumny. Tutaj możesz wyświetlić wszystkie dostępne wskaźniki dotyczące naszego problemu i w razie potrzeby je dodać lub usunąć. Wybierz dowolne wskaźniki, które chcesz wyświetlić w tabeli, lub pozostaw wskaźniki domyślne.

    Użyj selektora kolumn, aby dodać lub usunąć metryki w tabeli Wskaźniki modelu

    Selektor kolumn w tabeli Wskaźniki modelu
  2. W tabeli Wskaźniki modelu kliknij listę rozwijaną filtru Algorytm i wybierz algorytm odpowiadający modelowi o najwyższej skuteczności.

  3. Włącz Pokaż wskaźniki danych do uczenia.

    Możesz teraz zobaczyć wskaźniki z uczenia z walidacją krzyżową i porównać je ze wskaźnikami danych wstrzymania. W przypadku każdej kolumny wskaźników danych wstrzymania istnieje odpowiednia kolumna „train” dla równoważnego wskaźnika z danych do uczenia.

    Tabela Wskaźniki modelu ze wskaźnikami danych do uczenia

    Wskaźniki uczenia pokazane pod wskaźnikami danych wstrzymania.
  4. Kliknij Wyczyść filtry i ustaw przełącznik Pokaż wskaźniki danych do uczenia ponownie w pozycji wyłączonej.

  5. Posortuj modele od najwyższej do najniższej wydajności, klikając nagłówek kolumny F1 . Możesz zdecydować się na wykluczenie algorytmów o niskiej wydajności lub skupić się tylko na najlepszym, aby uzyskać szybsze wyniki w następnej iteracji uczenia. Zajmiemy się tym podczas konfigurowania wersji 3 w dalszej części.

  6. Przewiń w dół poniżej tabeli wskaźników, aby zobaczyć wizualizacje dla wybranego modelu.

    Tabela Wskaźniki modelu i wizualizacje

    Tabela wskaźników modelu i wizualizacje.
  7. Kliknij Panel Konfiguracja eksperymentu lub Wyświetl konfigurację, aby rozwinąć panel Konfiguracja eksperymentu.

  8. Kliknij Nowa wersja, aby utworzyć wersję roboczą nowej wersji eksperymentu.

  9. Z wykresu Ważność permutacji oraz listy Cechy w panelu Konfiguracja eksperymentu widać, że ta pierwsza iteracja modelu w bardzo dużym stopniu polega na cesze DaysSinceLastService, a wszystkie pozostałe cechy nie mają w porównaniu z nią prawie żadnego znaczenia.

    Wskaźniki permutacji w panelu konfiguracji eksperymentu — zauważ wpływ cechy DaysSinceLastService

    Lista Cechy w panelu konfiguracji eksperymentu, pokazująca, że cecha „DaysSinceLastService” ma nieproporcjonalnie duży wpływ na eksperyment.

    Ta rozbieżność oraz ekstremalnie wysoka wydajność modeli świadczy o tym, że coś jest nie tak. W tym przypadku nie zdefiniowano żadnej logiki podczas gromadzenia danych, aby zatrzymać zliczanie dni od ostatniego zgłoszenia serwisowego w przypadku klientów, którzy anulowali subskrypcję. W rezultacie model nauczył się kojarzyć dużą liczbę dni od ostatniego zgłoszenia serwisowego z wynikiem yes (zrezygnował) w polu Churned.

    Jest to przykład wycieku danych, ponieważ w rzeczywistości model miałby dostęp do informacji tylko do czasu sporządzania predykcji, a liczba dni zawarta w tym polu została zebrana po tym punkcie pomiaru. Aby uzyskać więcej informacji na temat wycieku danych, zobacz Wyciek danych.

    Musimy usunąć „nieszczelną” cechę DaysSinceLastService z konfiguracji eksperymentu, ponieważ wypacza ona wynikowe modele. Należy zauważyć, że w rzeczywistym przypadku przed utworzeniem modelu należy dokładnie zbadać jakość danych i logikę, aby upewnić się, że wynikowy model będzie prawidłowo uczony.

    Zajmiemy się tym podczas konfigurowania wersji 2 w dalszej części.

Konfigurowanie i uruchamianie wersji 2

Ponieważ większość uczenia modelu ulegnie zmianie po rozwiązaniu problemu z wyciekiem danych, przed wprowadzeniem dalszych ulepszeń skonfigurujmy nową wersję.

  1. Z poprzedniego kroku masz już otwarty panel Konfiguracja eksperymentu do konfigurowania wersji 2.

  2. W obszarze Cechy w okienku Konfiguracja eksperymentu wyczyść pole wyboru DaysSinceLastService.

  3. Kliknij Uruchom v2.

Konfigurowanie i uruchamianie wersji 3

Po zakończeniu działania drugiej wersji eksperymentu kliknij pole wyboru obok najskuteczniejszego modelu wersji 2 w tabeli wskaźników (oznaczonego ikoną trofeum Trofeum). Spowoduje to odświeżenie strony ze wskaźnikami dla tego modelu.

Nad tabelą Wskaźniki modelu kliknij listę rozwijaną filtru Wersja i wybierz 2. Dzięki temu można skoncentrować się wyłącznie na wskaźnikach modelu w wersji 2.

Zobaczysz, że lista ważnych cech znacznie się zmieniła od czasu rozwiązania problemu wycieku danych. Model o najwyższej wydajności może również używać innego algorytmu niż model o najwyższej wydajności w wersji 1.

Tabela Wskaźniki modelu przedstawiająca najskuteczniejsze modele dla wersji 2, posortowane według wyniku F1

Tabela wskaźników modelu z filtrem wersji „v2” zastosowanym po uczeniu wersji 2.
  1. Spójrz na wykres Ważność permutacji. Mogą występować cechy, które wpływają na model znacznie mniej niż pozostałe cechy. Nie mają one istotnej wartości w tym przypadku i mogą być postrzegane jako szum statystyczny. Możesz spróbować usunąć część z tych cech, aby zobaczyć, czy poprawi to wyniki modelu.

    Wykres Ważność permutacji dla najwydajniejszego modelu wersji 2

    Wykres ważności permutacji po usunięciu nieszczelnej cechy DaysSinceLastService.
  2. Kliknij Panel Konfiguracja eksperymentu lub Wyświetl konfigurację, aby rozwinąć panel Konfiguracja eksperymentu.

  3. Kliknij Nowa wersja, aby utworzyć wersję roboczą nowej wersji eksperymentu.

  4. W panelu Konfiguracja eksperymentu w obszarze Cechy wyczyść pola wyboru jednej lub większej liczby cech, które mają niewielki lub żaden wpływ na model.

  5. Spójrz na tabelę Wskaźniki modelu. Możesz zdecydować się na wykluczenie niektórych algorytmów o niskiej wydajności lub skupić się tylko na najlepszych, aby uzyskać szybsze wyniki w następnej iteracji uczenia.

  6. W panelu Konfiguracja eksperymentu w obszarze Algorytmy opcjonalnie wyczyść pola wyboru kilku algorytmów o niskiej wydajności.

  7. Kliknij Uruchom v3.

Porównywanie wersji eksperymentu

W tabeli Wskaźniki modelu kliknij opcję Wyczyść filtry.

Po uruchomieniu wersji 3 kliknij pole wyboru obok najskuteczniejszego modelu wersji 3, aby wyświetlić jego wskaźniki.

Kliknij Więcej filtrów modeli, a następnie wybierz filtr Z najlepszymi wskaźnikami. Widoczne są wskaźniki dotyczące najlepszych modeli z każdej iteracji eksperymentu.

Pierwsza wersja uczenia dała najwyższe wyniki, ale wskutek wycieku danych były one znacznie przesadzone i nierealistycznie sugerowały efektywność. W wersji 3 wynik F1 modelu o najwyższej wydajności wzrósł w porównaniu z modelem o najwyższej wydajności w wersji 2.

Najlepsze modele

Tabela wskaźników modelu z zastosowanym filtrem „Z najlepszymi wskaźnikami”, aby pokazać najskuteczniejszy model w wersji 3.

W warunkach rzeczywistych ważne jest, aby przed wdrożeniem modelu powtórzyć kroki ulepszania tyle razy, ile potrzeba, by mieć pewność, że ma się najlepszy możliwy model dla konkretnego przypadku.

W tym kursie przejdź do następnej sekcji dotyczącej wdrażania modelu.

Czy ta strona była pomocna?

Jeżeli natkniesz się na problemy z tą stroną lub jej zawartością — literówkę, brakujący krok lub błąd techniczny — daj nam znać, co możemy poprawić!