Ważność cechy

Ważność cechy mierzy, jak duży wpływ ma każda cecha na cel. Może to pomóc w identyfikacji problemów z zestawem danych i udoskonaleniu modelu. Ważność cechy składa się z dwóch różnych wizualizacji: ważności permutacji i ważności SHAP.

Uproszczona interpretacja ważności cechy polega na tym, że modyfikacja najważniejszej zmiennej dla cechy wpłynie na zmienną celu bardziej niż modyfikacja jakiejkolwiek innej zmiennej. Modyfikacja dwóch spośród najważniejszych zmiennych cechy prawdopodobnie będzie miała większy wpływ niż zmiana tylko jednej, ale zasada jest taka, że cecha o bardzo małej ważności prawdopodobnie nie ma dużego potencjału predykcyjnego. Jej kontrolowanie lub zmiana może nie mieć znaczenia.

Korzystanie z ważności cechy

Ważność cechy może być pomocna w identyfikacji problemów z danymi używanymi do uczenia modelu. Załóżmy na przykład, że próbujemy przewidzieć, czy szansa sprzedaży zostanie wykorzystana, ale zapomnieliśmy wykluczyć kolumnę zawierającą datę transakcji. Byłaby to prawdopodobnie najbardziej predykcyjna kolumna i dlatego miałaby największą ważność cechy. Uwzględnienie tej kolumny spowodowałoby, że model działałby lepiej niż w rzeczywistości, ponieważ gdy spróbujemy przewidzieć binarny wynik powodzenia lub niepowodzenia transakcji, nie będziemy mieli dostępu do daty transakcji.

Ważność cechy może również pomóc w znalezieniu sposobów na iteracyjne ulepszanie modelu. Najważniejsze wartości cech mogą czasem stanowić dobrą podstawę do segmentacji. Jako przykład, być może flaga płatności automatycznych jest bardzo ważną cechą. Moglibyśmy użyć tej cechy do segmentacji danych i uczenia jednego modelu na klientach ze skonfigurowanymi płatnościami automatycznymi, a drugiego modelu — na klientach bez płatności automatycznych. Te dwa modele mogą dawać lepsze wyniki niż nasz pierwszy model.

W innych przypadkach może się udać uchwycenie lub inżynieria takich cech, które lepiej reprezentują to, co opisuje zmienna ważniejsza dla cechy, bez dodawania redundancji. Na przykład zmienną bardzo ważną dla cechy może być rodzina produktów wytwarzanych przez firmę. Bardziej znaczący może być podział rodziny produktów na kilka bardziej opisowych cech produktów.

Porównanie ważności permutacji i ważności SHAP

Ważność permutacji i ważność SHAP to alternatywne sposoby pomiaru ważności cech. Główna różnica polega na tym, że ważność permutacji opiera się na spadku wydajności modelu, podczas gdy ważność SHAP opiera się na wielkości atrybucji cech.

Jak korzystać z wartości

Na podstawie ważności permutacji można:

• Zorientować się, które cechy zachować, a które wykluczyć.

• Sprawdzić, czy nie występuje wyciek danych.

• Zorientować się, które cechy są najważniejsze dla dokładności modelu.

• Przeprowadzić dodatkową inżynierię cech.

Na podstawie ważności SHAP można:

• Zorientować się, które cechy mają największy wpływ na przewidywany wynik.

• Zbadać dogłębnie cechę i zorientować się, jak jej różne wartości wpływają na predykcję.

• Dowiedzieć się, co ma największy wpływ na poszczególne wiersze lub podzestawy danych.

Poziom danych

Ważność permutacji jest obliczana na podstawie całego zestawu danych. W szczególności — jak zmienia się dokładność całego zestawu danych wskutek eliminacji cechy. Nie można na jej podstawie zrozumieć wpływu na poszczególne wiersze.

Ważność SHAP jest obliczana na poziomie wiersza i można na jej podstawie zorientować się, co jest ważne dla określonego wiersza. Wartości reprezentują sposób, w jaki cecha wpływa na predykcję pojedynczego wiersza względem średniego wyniku w zestawie danych.

Wpływ wartości cech

Ważności permutacji nie można użyć do zorientowania się, które wartości w ramach cech są najważniejsze.

Wartości ważności SHAP można wykorzystać do zorientowania się, w jaki sposób wartości w obrębie określonej cechy wpływają na wynik.

Kierunek

Ważność permutacji nie obejmuje kierunku.

Wartości ważności SHAP są kierunkowe. Mogą być dodatnie lub ujemne w zależności od tego, w jakim kierunku wpłynęły na przewidywany wynik.

Wielkość

Wielkość ważności permutacji mierzy, jak ważna jest cecha dla ogólnej predykcji modelu.

Wielkość ważności SHAP to stopień wpływu określonej cechy na to, że predykcja wiersza różni się od średniej predykcji dla zbioru danych.