Interpretacja wyników modeli

Wyniki modelu to techniczne miary określające, jak dobrze modele są w stanie przewidzieć dane do uczenia. Oprócz ważności cech wyniki modelu są kluczowym aspektem analizy modelu.

Wskaźniki oceny modelu

Kluczowe wskaźniki stosowane do oceny modelu różnią się w zależności od rodzaju problemu. Typem problemu może być klasyfikacja binarna, klasyfikacja wieloklasowa lub regresja. Więcej informacji zawierają następujące tematy pomocy:

• Problemy klasyfikacji binarnej: Ocena modeli klasyfikacji binarnej

• Problemy klasyfikacji wieloklasowej: Ocenianie modeli klasyfikacji wieloklasowej

• Problemy regresji: Ocena modeli regresji

Dlaczego ocena modelu jest istotna

Różne wyniki modelu służą zrozumieniu jego mocnych stron. Zwiększa to zaufanie do użyteczności modelu i pokazuje, jakie ulepszenia można wprowadzić. Jeśli wynik jest bardzo wysoki lub bardzo niski, może to oznaczać problem z danymi wprowadzanymi do modelu.

Ocena modelu jest trudnym zadaniem, ponieważ istnieje kilka wskaźników opisujących różne aspekty modelu. Aby się przekonać, czy jest to dobry model, należy połączyć wiedzę z domeny biznesowej z rozumieniem różnych wskaźników oceniania oraz danych, na podstawie których nauczono model. To, co może wyglądać na fatalny wynik w jednym przypadku, może być świetnym wynikiem i generować wysoki zwrot z inwestycji w innym przypadku.

Najważniejszy wskaźnik: analogia z samochodem

Który wskaźnik jest najważniejszy? To zależy od tego, jak planujesz używać modelu. Nie ma jednego wskaźnika, który udzieli Ci wszystkich potrzebnych informacji.

Analogią może być zakup samochodu. Należy wziąć pod uwagę wiele różnych wskaźników, takich jak zużycie paliwa, moc, moment obrotowy, masa i przyspieszenie. Chcielibyśmy, aby wszystkie były świetne, ale musimy iść na kompromisy w zależności od tego, jak planujemy korzystać z samochodu. Osoba dojeżdżająca do pracy może potrzebować samochodu o niskim zużyciu paliwa, nawet jeśli konsekwencją jest niski moment obrotowy, podczas gdy właściciel łodzi może wybrać wysoki moment obrotowy, nawet jeśli oznacza to większe zużycie paliwa.

W ten sam sposób można myśleć o modelu. Chcemy, aby wszystkie wskaźniki były wysokie — i być może dałoby się je ulepszyć dzięki większej liczbie danych i lepszym cechom — ale zawsze istnieją ograniczenia i nieuniknione kompromisy. Niektóre wyniki mają większe znaczenie w zależności od tego, co zamierzasz zrobić z modelem.

Czy model dobrze pasuje?

Ustalenie, czy model dobrze pasuje do zastosowania i nadaje się do wdrożenia w produkcji, ostatecznie sprowadza się do pytania: „Czy model jest wystarczająco dokładny, aby zapewnić dodatni zwrot z inwestycji bez niedopuszczalnych konsekwencji?”. W ustaleniu tego mogą pomóc następujące cztery pytania.

Czy model wpływa na decyzję człowieka, czy ją automatyzuje?

Wymagana dokładność zależy od tego, czy będziesz używać modelu do automatyzacji decyzji, czy wpływania na nie. Na przykład model można nauczyć, aby określał, ile pieniędzy powinni zarabiać pracownicy. W takim przypadku dokładność prawdopodobnie będzie musiała być wyższa, jeśli model ma automatyzować decyzję w porównaniu z modelem, który tylko na nią wpływa. Jeśli menedżerowie użyją go, aby odkryć, czy pracownik zarabia zbyt mało, czy też zbyt dużo, mogą następnie według własnego uznania ustalić, czy model popełnił błąd, czy nie.

Czy istnieje wymierny koszt fałszywie dodatniego lub fałszywie ujemnego wyniku?

Czy jesteś w stanie oszacować koszt fałszywego wyniku? Uwzględnij ten koszt podczas określania poziomu dokładności wymaganego do uznania modelu za dobrze pasujący.

Używając tego samego przykładu co powyżej, załóżmy, że model tylko wpływa na decyzje. Jednak przełożony ufa modelowi i nie daje pracownikowi podwyżki, ponieważ model pokazuje, że pracownik otrzymałby zbyt wysokie wynagrodzenie. W konsekwencji pracownik rezygnuje z pracy i przechodzi do innej firmy. Jaki był koszt utraty tego pracownika? Gdyby stało się odwrotnie, jaki byłby koszt nieuzasadnionego przyznania podwyżki?

O ile lepszy jest ten model od losowości?

W przypadku problemów związanych z regresją określ, jaki byłby błąd, gdyby zawsze zakładać średnią wartość kolumny celu. O ile lepszy jest ten model w porównaniu z tym podejściem?

W przypadku problemów związanych z klasyfikacją weź współczynnik klasy pozytywnej do kwadratu i dodaj go do współczynnika klasy negatywnej do kwadratu, aby uzyskać przypadkową dokładność. O ile większa jest dokładność modelu od tego podejścia?

Czy model jest lepszy niż stawianie ultimatum?

W zależności od tego, czy z błędami wiąże się koszt, zastanów się, czy model jest lepszy niż ultimatum. Załóżmy na przykład, że firma przeprowadza bezpłatne konsultacje, które są drogie (6000 USD) i czasochłonne, ale dobrze zarabia po zawarciu transakcji (60 000 USD). Obecnie firma działa z założeniem, że 100% konsultacji doprowadzi do zawarcia transakcji. Osiągałaby jednak większe zyski, gdyby mogła określić, których konsultacji warto udzielać, a których nie. Jaka musi być dokładność modelu, aby firma mogła polegać na danych wyjściowych modelu zamiast stawiać ultimatum, że 100% transakcji zostanie zawartych?

Ważność cechy

Chociaż wartości ważności cech nie są, ściśle rzecz biorąc, wynikami modelu, są to kluczowe wskaźniki służące do oceny wydajności predykcyjnej modeli. Ocena ważności cech może również pomóc w zidentyfikowaniu problemów z konfiguracją eksperymentu i danymi do uczenia, takimi jak wyciek danych.

Więcej informacji zawiera temat Omówienie ważności cechy.