Ważność permutacji

Ważność permutacji jest miarą tego, jak ważna jest cecha dla ogólnej predykcji modelu. Innymi słowy, jaki wpływ na model miałoby uniemożliwienie uczenia się na podstawie tej cechy. Wskaźnik ten może pomóc w doskonaleniu modelu przez zmianę uwzględnianych cech i algorytmów.

Ważność permutacji jest obliczana przy użyciu ważności permutacji biblioteki scikit-learn. Mierzy spadek wyniku modelu po permutacji cechy.

• Cecha jest „ważna”, jeśli przestawienie jej wartości zmniejsza wynik modelu, ponieważ w tym przypadku predykcja modelu opierała się na tej cesze.

• Cecha jest „nieważna”, jeśli przestawienie jej wartości nie zmienia efektywności modelu, ponieważ w tym przypadku model zignorował tę cechę w predykcji.

Na wykresie ważności permutacji cechy są wyświetlane w kolejności od największego wywieranego przez nie wpływu na wydajność modelu do najmniejszego. Rozmiar słupka reprezentuje ważność każdej cechy.

Wykres ważności permutacji jest generowany automatycznie dla każdego modelu z klasyfikacją binarną, klasyfikacją wieloklasową lub regresją, który jest uczony podczas eksperymentu. Wykres jest wyświetlany pod tabelą Wskaźniki modelu.

.

Używanie ważności permutacji do wybierania kolumn cech

Podczas iteracji uczenia modelu można przyjrzeć się ważności permutacji, aby określić, które kolumny zachować, a które wykluczyć. Zwróć uwagę na to, które cechy są najważniejsze dla większej liczby modeli. Są to prawdopodobnie cechy o największej wartości predykcyjnej i dobrze będzie je zachować podczas doskonalenia modelu. Analogicznie cechy, które konsekwentnie znajdują się na dole listy, prawdopodobnie nie mają dużej wartości predykcyjnej i są dobrymi kandydatami do wykluczenia.

Jeśli jeden algorytm uzyskuje znacznie lepsze wyniki niż inne, skup się na wykresie ważności permutacji tego algorytmu. Jeśli wiele algorytmów ma podobne wyniki, można porównać wykresy ważności permutacji tych algorytmów.

Wykorzystanie ważności permutacji do wyboru algorytmów

Każdy algorytm ma unikatowe podejście do uczenia się wzorców z danych do uczenia. Eksperymenty są uczone przy użyciu wielu algorytmów, aby zobaczyć, które podejście najlepiej sprawdza się w przypadku określonego zestawu danych. Różne podejścia odzwierciedlają różnice w ważności permutacji dla różnych algorytmów. Na przykład cecha A może być najważniejsza w modelu regresji logistycznej, podczas gdy w klasyfikacji XGBoost tych samych danych najważniejsza jest cecha B. Ogólnie rzecz biorąc, oczekuje się, że cechy o dużym potencjale predykcyjnym będą najważniejszymi cechami w algorytmach, ale często obserwuje się zróżnicowanie.

Tej zmienności ważności permutacji można użyć podczas wybierania między algorytmami o podobnych wynikach. Wybierz algorytm z najważniejszymi cechami, które są bardziej intuicyjne w świetle Twojej specjalistycznej wiedzy biznesowej.

Dostępność ważności permutacji

Uwzględnienie w eksperymencie cech typu dowolny tekst zwiększa złożoność eksperymentu i procesów wymaganych do jego przeprowadzenia. Wykresy Ważność permutacji mogą być niedostępne dla wynikowych modeli, jeśli dane typu dowolny tekst będą wystarczająco złożone.