Sprawdzanie modeli

Aby ocenić modele uczenia maszynowego, trzeba rozumieć ich wyniki i wskaźniki. W niektórych przypadkach zrozumienie wpływu każdego pola i wartości na przewidywany wynik — dlaczego coś się dzieje — może być ważniejsze od tworzenia predykcji.

Dlaczego ocena modelu jest istotna

Różne wyniki modelu służą zrozumieniu jego mocnych stron. Zwiększa to zaufanie do użyteczności modelu i pokazuje, jakie ulepszenia można wprowadzić. Jeśli wynik jest bardzo wysoki lub bardzo niski, może to oznaczać problem z danymi wprowadzanymi do modelu.

Ocena modelu jest trudnym zadaniem, ponieważ istnieje kilka wskaźników opisujących różne aspekty modelu. Aby się przekonać, czy jest to dobry model, należy połączyć wiedzę z domeny biznesowej z rozumieniem różnych wskaźników oceniania oraz danych, na podstawie których nauczono model. To, co może wyglądać na fatalny wynik w jednym przypadku, może być świetnym wynikiem i generować wysoki zwrot z inwestycji w innym przypadku.

Najważniejszy wskaźnik: Analogia z samochodem

Który wskaźnik jest najważniejszy? To zależy od tego, jak planujesz używać modelu. Nie ma jednego wskaźnika, który udzieli Ci wszystkich potrzebnych informacji.

Analogią może być zakup samochodu. Należy wziąć pod uwagę wiele różnych wskaźników, takich jak zużycie paliwa, moc, moment obrotowy, masa i przyspieszenie. Chcielibyśmy, aby wszystkie były świetne, ale musimy iść na kompromisy w zależności od tego, jak planujemy korzystać z samochodu. Osoba dojeżdżająca do pracy może potrzebować samochodu o niskim zużyciu paliwa, nawet jeśli konsekwencją jest niski moment obrotowy, podczas gdy właściciel łodzi może wybrać wysoki moment obrotowy, nawet jeśli oznacza to większe zużycie paliwa.

W ten sam sposób można myśleć o modelu. Chcemy, aby wszystkie wskaźniki były wysokie — i być może dałoby się je ulepszyć dzięki większej liczbie danych i lepszym cechom — ale zawsze istnieją ograniczenia i nieuniknione kompromisy. Niektóre wyniki mają większe znaczenie w zależności od tego, co zamierzasz zrobić z modelem.

Czy model dobrze pasuje?

Ustalenie, czy model dobrze pasuje do przypadku i nadaje się do zastosowań produkcyjnych, ostatecznie sprowadza się do pytania: „Czy model jest wystarczająco dokładny, aby zapewnić dodatni zwrot z inwestycji bez niedopuszczalnych konsekwencji?” W ustaleniu tego mogą pomóc następujące cztery pytania.

Czy model wpływa na decyzję człowieka, czy ją automatyzuje?

Wymagana dokładność zależy od tego, czy będziesz używać modelu do automatyzacji decyzji, czy wpływania na nie. Na przykład model można nauczyć, aby określał, ile pieniędzy powinni zarabiać pracownicy. W takim przypadku dokładność prawdopodobnie będzie musiała być wyższa, jeśli model ma automatyzować decyzję w porównaniu z modelem, który tylko na nią wpływa. Jeśli menedżerowie użyją go, aby odkryć, czy pracownik zarabia zbyt mało, czy też zbyt dużo, mogą następnie według własnego uznania ustalić, czy model popełnił błąd, czy nie.

Czy istnieje wymierny koszt fałszywie dodatniego lub fałszywie ujemnego wyniku?

Czy jesteś w stanie oszacować koszt fałszywego wyniku? Uwzględnij ten koszt podczas określania poziomu dokładności wymaganego do uznania modelu za dobrze pasujący.

Używając tego samego przykładu co powyżej, załóżmy, że model tylko wpływa na decyzje. Jednak przełożony ufa modelowi i nie daje pracownikowi podwyżki, ponieważ model pokazuje, że pracownik otrzymałby zbyt wysokie wynagrodzenie. W konsekwencji pracownik rezygnuje z pracy i przechodzi do innej firmy. Jaki był koszt utraty tego pracownika? Gdyby stało się odwrotnie, jaki byłby koszt nieuzasadnionego przyznania podwyżki?

O ile lepszy jest ten model od losowości?

W przypadku problemów związanych z regresją określ, jaki byłby błąd, gdyby zawsze zakładać średnią wartość kolumny celu. O ile lepszy jest ten model w porównaniu z tym podejściem?

W przypadku problemów związanych z klasyfikacją weź współczynnik klasy pozytywnej do kwadratu i dodaj go do współczynnika klasy negatywnej do kwadratu, aby uzyskać przypadkową dokładność. O ile większa jest dokładność modelu od tego podejścia?

Czy model jest lepszy niż stawianie ultimatum?

W zależności od tego, czy z błędami wiąże się koszt, zastanów się, czy model jest lepszy niż ultimatum. Załóżmy na przykład, że firma przeprowadza bezpłatne konsultacje, które są drogie (6000 USD) i czasochłonne, ale dobrze zarabia po zawarciu transakcji (60 000 USD). Obecnie firma działa z założeniem, że 100% konsultacji doprowadzi do zawarcia transakcji. Osiągałaby jednak większe zyski, gdyby mogła określić, których konsultacji warto udzielać, a których nie. Jaka musi być dokładność modelu, aby firma mogła polegać na danych wyjściowych modelu zamiast stawiać ultimatum, że 100% transakcji zostanie zawartych?