モデルのレビュー

機械学習モデルを評価するには、モデル スコアとメトリクスについて理解する必要があります。場合によっては、各フィールドや値が予測の結果にどのように影響するか (何かが起こる理由) を理解することが、予測よりも重要になることがあります。

モデル スコアリングが重要な理由

モデル スコアが異なることにより、モデルの強みを理解できます。こうすることで、モデルの使いやすさに対する信頼度が高まり、改良が可能な部分が見えてきます。スコアが非常に高いまたは低い場合は、モデルに供給されるデータに問題があることを示している可能性があります。

モデルに関するさまざまな内容について説明する複数のメトリクスがあるため、モデルのスコアリングは困難な作業です。モデルが適切かどうかを判断するには、ビジネス ドメインの知識とさまざまなスコアリング メトリクス、およびモデルのトレーニングに使用されたデータに対する理解を組み合わせる必要があります。あるユース ケースでは非常に悪いスコアに見えるものも、別のユース ケースでは優れたスコアであり高い投資利益率を生み出す可能性があります。

最も重要なメトリクス: 車の例

最も重要なメトリクスはどれですか。重要なメトリクスは、モデルの使用プランに応じて異なります。1 つのメトリクスから、知りたいことをすべて理解することはできません。

例えば、車の購入について考えてみてください。燃費、馬力、トルク、重量、加速など、考慮が必要なメトリクスはたくさんあります。すべてが優れていることを望むかもしれませんが、車の使用目的に応じて優先順位を付ける必要があります。通勤用にはトルクが小さくても燃費のよい車が適しているのに対し、船を運ぶ場合は燃費が悪くてもトルクの大きい車が適しています。

モデルに対しても同じ考え方ができます。すべてのメトリクスを高くしたいと考えており、より多くのデータとより優れた特徴量でメトリクスを改善できる可能性がありますが、常に制約や優先順位付けが発生します。モデルの用途によって、一部のスコアは重要度がより高くなります。

モデルの適合性

モデルがユースケースに適しているかどうか、および実稼働に適しているかどうかを判断することは、最終的に次の質問に帰着します。「許容できない結果を招くことなく、投資に対するプラスの利益を生み出すことができるほど、モデルの正確度は高いですか」次の 4 つの質問は、その分析に役立ちます。

モデルは人による意志決定に情報を提供していますか、それとも自動化していますか?

モデルを自動化のため、または意思決定に役立てるために使用するかに応じて、必要な正確度は異なります。例えば、従業員の適切な給与を判断するために、モデルをトレーニングするとします。このケースにおいて、モデルが意思決定を自動化する場合、意思決定に情報を与えるだけの場合と比較して、正確度を高くする必要があるでしょう。マネージャーが従業員の給与が少なすぎる、または多すぎることを発見するためにモデルを使用する場合、独自の裁量でモデルに誤りがあるかどうかを判断できます。

偽陽性または偽陰性に対する、定量化可能なコストはかかりますか?

誤った結果に対するコストは定量化できますか。そのコストを考慮した上で、モデルの適合性を考慮するために必要な正確度のレベルを決定します。

上記と同じ例を用いて、モデルは単に情報提供に使用されるとします。しかし、マネージャーはモデルを信頼し、ある従業員の昇給を見送ります。昇給した場合、その従業員の給与は過払いになるとモデルが出力したためです。その後、その従業員は転職するために退職してしまいます。その従業員を失ったことによるコストはいくらでしょうか。逆のことが起こった場合、誤って昇給した場合のコストはいくらだったでしょうか。

ランダムと比較して、モデルはどのくらい優れていますか?

回帰問題では、ターゲット列の平均値を常に仮定した場合のエラーの内容を判断します。それと比較して、モデルはどのくらい優れていますか。

分類問題では、ポジティブ クラスの二乗率を取り、それをネガティブ クラスの二乗率に加算して、ランダム正確度を取得します。モデルの正確度は、それと比較してどのくらい優れているでしょうか。

最終的な提案をするよりも、モデルのほうが優れていますか?

エラーに関連するコストがあるかどうかに応じて、最終的な提案よりもモデルが優れているかどうかを検討します。例えば、ある企業が 6,000 ドルの費用と時間を費やして、無料のコンサルテーションを行っているとします。しかし、契約が成立すると 60,000 ドルの利益を獲得できます。同社は現在、コンサルテーションで 100% の契約が成立すると仮定して運営しています。ただし、実施すべきコンサルテーションと、実施すべきでないコンサルテーションを見極めることで、さらに利益を得ることができるはずです。取引の 100% が成立するという最終的な提案の代わりに、モデルの出力を使用するためには、モデルの正確度はどの程度である必要がありますか。