Wykrywanie stronniczości w modelach uczenia maszynowego
Możesz identyfikować stronniczość w modelach uczenia maszynowego, które trenujesz w eksperymentach ML. Zajmij się wykrytą stronniczością, usuwając skośne cechy, korygując niewłaściwe zbieranie danych lub zmieniając strukturę swojego zbioru danych treningowych.
Zrozumienie stronniczości
W uczeniu maszynowym stronniczość to niepożądane zjawisko, w którym modele faworyzują lub mogłyby faworyzować pewne grupy kosztem innych. Błąd negatywnie wpływa na sprawiedliwość i ma etyczne implikacje dla prognoz oraz decyzji, na które wpływają. Błąd może zostać wprowadzony w danych treningowych, w wynikach przewidywanych przez wytrenowane modele lub w obu przypadkach.
Przykłady błędu—i jego konsekwencje dla podejmowania decyzji—obejmują:
-
Trenowanie modeli na danych, które nieproporcjonalnie reprezentują określone poziomy dochodów lub statusy zdrowotne, co skutkuje niesprawiedliwymi decyzjami w sprawie roszczeń ubezpieczeniowych.
-
Trenowanie modeli na danych zniekształconych pod względem rasy i płci kandydatów, co wpływa na decyzje o zatrudnieniu.
-
Szkolenie modeli, które łączą kody pocztowe z wiarygodnością kredytową.
Stronniczość danych
Błąd danych występuje, gdy dane użyte do trenowania modelu są zniekształcone w sposób faworyzujący niektóre grupy kosztem innych. Błąd danych jest spowodowany nierówną reprezentacją między grupami w danych treningowych.
Na przykład, zbiór danych do przewidywania wyników rekrutacji może zawierać dane, które przedstawiają jedną płeć jako bardziej skuteczną niż inne.
Błąd danych może zostać wprowadzony do danych treningowych na kilka sposobów, w tym:
-
Nieprawidłowe gromadzenie danych, w którym pewne grupy są niedostatecznie lub nadmiernie reprezentowane.
-
Dane, które dokładnie odzwierciedlają historyczne wzorce, ale ujawniają ukryte uprzedzenia w tych trendach i praktykach.
Dane w poniższej wizualizacji wskazują na stronniczość danych.
Przykład stronniczości danych, wizualizowany za pomocą wykresu słupkowego. W danych źródłowych pewne stany cywilne są nadmiernie reprezentowane w porównaniu z innymi w odniesieniu do poziomów dochodów.
Stronniczość modelu
Stronniczość modelu, czyli stronniczość algorytmiczna, występuje, gdy przewidywania dokonane przez model uczenia maszynowego faworyzują niektóre grupy kosztem innych. W przypadku stronniczości modelu, modele tworzą powiązania między pewnymi grupami a wynikami, negatywnie wpływając na inne grupy. Stronniczość modelu może być spowodowana niewłaściwie zebranymi lub skośnymi danymi, a także zachowaniami specyficznymi dla używanego algorytmu szkoleniowego.
Na przykład model mógłby przewidywać nieproporcjonalnie negatywne wskaźniki zatrudnienia dla niektórych grup wiekowych z powodu niesprawiedliwych powiązań dokonanych przez model.
Wizualizacja z zakładki Analiza w eksperymencie ML, podkreślająca stronniczość modelu. Wizualizacja pokazuje, że model dokonuje wyższych prognoz dochodów dla niektórych stanów cywilnych niż dla innych.
Metryki stronniczości danych
W Qlik Predict, stronniczość danych jest mierzona poprzez analizę:
-
Współczynnik reprezentacji: Porównuje rozkład danych należących do każdej grupy w cesze, w porównaniu do wszystkich danych w cesze. Obliczona metryka to współczynnik parytetu współczynnika reprezentacji.
-
Parytet rozkładu warunkowego: Porównuje równowagę między danymi dla każdej grupy w cesze, w odniesieniu do wartości kolumny docelowej. Obliczona metryka to parytet rozkładu warunkowego.
Aby dowiedzieć się więcej o dopuszczalnych wartościach dla tych metryk, zobacz Dopuszczalne wartości dla metryk odchylenia.
Wskaźniki stronniczości modelu
W Qlik Predict, wskaźniki stronniczości modelu najlepiej rozumieć w kontekście typu modelu dla eksperymentu. Ogólnie rzecz biorąc, istnieją następujące kategorie wskaźników stronniczości:
-
Wskaźniki modeli klasyfikacji
-
Wskaźniki modelu regresji i szeregów czasowych
Aby dowiedzieć się więcej o dopuszczalnych wartościach dla tych metryk, zobacz Dopuszczalne wartości dla metryk odchylenia.
Modele klasyfikacji
W binarnych i wieloklasowych modelach klasyfikacji, stronniczość jest mierzona poprzez analizę przewidywanych wartości docelowych (wyników). W szczególności porównuje się różnice w wskaźnikach pozytywnych i negatywnych wyników dla grup („pozytywne” i „negatywne” odnoszą się tutaj do wyników korzystnych w porównaniu do niekorzystnych — na przykład wartość tak lub nie dla kolumny docelowej Zatrudniony). Modele te posiadają następujące metryki stronniczości:
-
Nierównomierny wpływ
-
Statystyczna różnica parytetu
-
Różnica równych szans
Nierównomierny wpływ
Współczynnik zróżnicowanego wpływu (DI) ocenia, czy grupy w wrażliwej cesze są faworyzowane lub poszkodowane w przewidywanych wynikach modelu. Mierzy się ją, obliczając, jak często każda grupa jest wybierana jako przewidywana wartość, porównując to ze wskaźnikiem wyboru dla najbardziej uprzywilejowanej grupy w cesze.
Statystyczna różnica parytetu
Podobnie jak w przypadku rozbieżnego wpływu, różnica parzystości statystycznej (SPD) ocenia przewidywania modelu, aby określić, czy faworyzują lub szkodzą jakimkolwiek poszczególnym grupom. Metryka jest obliczana poprzez porównanie wskaźników pozytywnych wyników między największą a najmniejszą grupą.
Różnica równych szans
Różnica równych szans (EOD) jest podobna do pozostałych dwóch metryk stronniczości modelu klasyfikacji. EOD porównuje najwyższe i najniższe wskaźniki prawdziwie pozytywnych wyników wśród grup w cesze.
Modele regresji i szeregów czasowych
W modelach regresji i szeregów czasowych, błąd systematyczny jest mierzony poprzez porównanie, jak często modele popełniają błędy w swoich prognozach, używając współczynników parytetu do określenia sprawiedliwości przewidywanych wyników.
Następujące metryki błędu systematycznego są obliczane, używając metryk błędów, które są powszechnie używane do oceny dokładności modelu:
Dopuszczalne wartości dla metryk odchylenia
| Metryka odchylenia | Kategoria odchylenia | Odpowiednie typy modeli | Dopuszczalne wartości |
|---|---|---|---|
| Parytet współczynnika reprezentacji | Stronniczość danych | Wszystkie |
Wartość idealna: od 0,8 do 1. Niższy współczynnik wskazuje na nieproporcjonalną reprezentację. |
| Parytet rozkładu warunkowego | Stronniczość danych | Wszystkie |
Idealna wartość: między 0,8 a 1. Niższy wskaźnik wskazuje na nieproporcjonalną reprezentację. |
| Statystyczna różnica parytetu (SPD) | Stronniczość modelu | Klasyfikacja binarna, klasyfikacja wieloklasowa |
Idealna wartość: 0. Wartość powyżej 0,2 jest silnym sygnałem niesprawiedliwości. |
| Nierównomierny wpływ (DI) | Stronniczość modelu | Klasyfikacja binarna, klasyfikacja wieloklasowa |
Wartość idealna: 1. Wartość poniżej 0,8 sygnalizuje niesprawiedliwość. |
| Różnica równych szans (EOD) | Stronniczość modelu | Klasyfikacja binarna, klasyfikacja wieloklasowa |
Wartość idealna: 0. Wartość powyżej 0,1 sygnalizuje nieuczciwość. |
| Parytet MAE | Stronniczość modelu | Regresja |
Wartość idealna: między 0,8 a 1. Wartość powyżej 1,25 sygnalizuje nieuczciwość. |
| Parytet MSE | Stronniczość modelu | Regresja |
Wartość idealna: między 0,8 a 1. Wartość powyżej 1.25 sygnalizuje nieuczciwość. |
| Parytet RMSE | Stronniczość modelu | Regresja |
Wartość idealna: między 0.8 a 1. Wartość powyżej 1.25 sygnalizuje nieuczciwość. |
| Rozbieżność R2 | Stronniczość modelu | Regresja |
Wartość idealna: 0. Wartość powyżej 0.2 sygnalizuje nieuczciwość. |
| Parytet MASE | Stronniczość modelu | Szereg czasowy | Wartość powyżej 1,25 sygnalizuje niesprawiedliwość. |
| Parytet MAPE | Stronniczość modelu | Szereg czasowy | Wartość powyżej 1,25 sygnalizuje niesprawiedliwość. |
| Parytet SMAPE | Stronniczość modelu | Szereg czasowy | Wartość powyżej 1,25 sygnalizuje niesprawiedliwość. |
Konfigurowanie wykrywania stronniczości
Wykrywanie stronniczości jest konfigurowane dla każdej cechy treningowej w wersji eksperymentu.
Wykonaj następujące czynności:
-
W eksperymencie ML rozwiń Uprzedzenie w panelu konfiguracji trenowania.
-
Wybierz cechy, dla których chcesz uruchomić wykrywanie uprzedzeń.
Alternatywnie, włącz wykrywanie uprzedzeń dla żądanych cech w 
widoku schematu.
Szybka analiza wyników stronniczości
Po zakończeniu trenowania możesz uzyskać szybki przegląd wyników wykrywania stronniczości w zakładce Modele.
Przewiń w dół przez elementy szybkiej analizy, aby znaleźć Wykrywanie stronniczości. Rozwiń sekcje za pomocą 
ikon. Możesz analizować cechy pod kątem możliwych stronniczości danych i modelu.
Analizowanie stronniczości danych za pomocą sekcji Wykrywanie stronniczości w zakładce Modele.
Notatki
-
Grupy uprzywilejowane to wartości docelowe lub zakresy, które są nadmiernie reprezentowane w danych lub przewidywanych wynikach celu, na podstawie metryk stronniczości. Grupy poszkodowane to wartości docelowe lub zakresy, które są niedostatecznie reprezentowane w danych lub przewidywanych wynikach celu, na podstawie metryk stronniczości.
Informacje na temat sposobu użycia metryk stronniczości można znaleźć na stronie Dopuszczalne wartości dla metryk odchylenia.
Liczby w nawiasach opisują kryteria użyte do obliczenia metryki. Na przykład, jeśli metryka to różnica równych szans (EOD), kobiety (10%) i mężczyźni (80%) wskazuje na wskaźniki prawdziwie pozytywnych wyników wynoszące 80% dla mężczyzn i 10% dla kobiet.
-
Wynik docelowy odnosi się do wartości kolumny docelowej przewidywanej przez model.
-
Nie wszystkie metryki i wartości stronniczości są wyświetlane w zakładce Modele z powodu ograniczonej przestrzeni. Na przykład:
-
W zależności od typu metryki i modelu, niektóre metryki i grupy mogą zawierać tylko wartości minimalne i maksymalne.
-
Jeśli wiele metryk przekracza próg stronniczości dla cechy, wyświetlana jest metryka wskazująca najwyższy stopień niesprawiedliwości.
-
W przypadku stronniczych cech w modelach klasyfikacji wieloklasowej wyświetlana jest tylko metryka wskazująca najwyższy stopień stronniczości.
-
-
Bardziej szczegółowe informacje są dostępne na karcie Analizuj oraz w raporcie z trenowania modelu. Zob. Szczegółowa analiza wyników stronniczości.
- Więcej informacji na temat terminologii w tej sekcji można znaleźć w Terminologia na tej stronie.
Szczegółowa analiza wyników stronniczości
Możesz dokładniej przeanalizować wyniki stronniczości na karcie Analizuj.
Wykonaj następujące czynności:
-
W eksperymencie ML wybierz model i przejdź do zakładki Analizuj.
-
Otwórz arkusz Tendencja.
-
Wybierz między Tendencja danych a Tendencja modelu w zależności od pożądanej analizy.
-
W tabeli Cechy z potencjalną tendencją wybierz pojedynczą cechę.
Wykresy i metryki wskazujące na możliwą tendencję są wyświetlane z czerwonym tłem. Możesz wybierać cechy, klikając i rysując w wizualizacjach.
Metryki w tabeli są statyczne dla metryk odchylenia odpowiadających standardowym cechom. Dla przyszłych cech metryki odchylenia zmieniają się dynamicznie w zależności od wyboru grupy szeregów czasowych.
Karta Analizuj pokazująca analizę odchylenia modelu dla wybranej cechy. Możliwe odchylenie jest wskazywane przez czerwone tła dla wykresów i metryk.
Więcej informacji na temat nawigowania po szczegółowych analizach modelu zawiera temat Szczegółowa analiza modelu.
Wyniki stronniczości w raportach szkoleniowych
Metryki stronniczości są również przedstawiane w raportach szkoleniowych ML.Są one uwzględnione w dedykowanej sekcji Stronniczość w raporcie.
Więcej informacji na temat raportów z uczenia zawiera temat Pobieranie raportów z uczenia maszynowego.
Eliminowanie stronniczości
Po przeanalizowaniu wyników wykrywania stronniczości dla Twoich modeli możesz chcieć wykonać jedną z następujących czynności:
-
Uruchom nowe wersje eksperymentów po usunięciu stronniczych cech.
-
Unikaj wdrażania modeli, które wykazują stronniczość, zamiast tego wdrażaj modele, które spełniają zalecane kryteria dla metryk stronniczości.
-
Zaktualizuj swój zbiór danych, aby skorygować wszelkie nieprawidłowe gromadzenie danych lub aby rozwiązać problem nierównych wskaźników reprezentacji.
-
Zdefiniuj na nowo swój problem uczenia maszynowego, używając ustrukturyzowanych ram. Na przykład, jeśli Twoje pierwotne pytanie dotyczące uczenia maszynowego jest z natury stronnicze, modele prawdopodobnie zawsze będą zawodne w tworzeniu sprawiedliwych przewidywań.
Terminologia na tej stronie
Na tej stronie, i w Qlik Predict, „grupy” to termin, który ma różne znaczenia w zależności od kontekstu:
-
„Grupy” odnoszą się do wartości lub zakresów w cechach, które są analizowane pod kątem stronniczości. Na przykład, cecha Stan cywilny może mieć cztery możliwe grupy w danych treningowych: Żonaty/Zamężna, Rozwiedziony/Rozwiedziona, W separacji lub Wdowiec/Wdowa.
-
W eksperymentach szeregów czasowych „grupy” odnoszą się do funkcji, która umożliwia śledzenie wyników docelowych dla określonych wartości zgodnych cech. Na tej stronie grupy te są nazywane „grupami szeregów czasowych”. Więcej informacji na temat tych grup można znaleźć w Grupy.
Ograniczenia
-
Nie można aktywować wykrywania stronniczości dla:
-
Cecha docelowa.
-
Cechy wolnego tekstu (nawet jeśli typ cechy zostanie zmieniony na kategoryczny).
-
Cechy daty, które są używane jako indeks daty w eksperymentach szeregów czasowych.
-
Cechy daty poddawane automatycznej inżynierii. Możesz uruchomić wykrywanie stronniczości na tych cechach, ale nie aktywujesz ich niezależnie. Zamiast tego, aktywuj nadrzędną cechę daty do wykrywania stronniczości i upewnij się, że automatycznie zaprojektowane cechy daty są uwzględnione do szkolenia.
-