モデルスコアの解釈

モデルスコアは、モデルがトレーニングデータをどの程度正確に予測できるかを示す技術的な尺度です。特徴量重要度に加えて、モデルスコアはモデル分析の重要な要素です。

モデルのスコアリングメトリクス

モデルのスコアリングに使用する主要なメトリクスは、問題の種類に応じて異なります。問題の種類は、二項分類、多項分類、または回帰になります。詳細については、次のヘルプトピックを参照してください。

モデルスコアリングが重要な理由

モデルスコアが異なることにより、モデルの強みを理解できます。こうすることで、モデルの使いやすさに対する信頼度が高まり、改良が可能な部分が見えてきます。スコアが非常に高いまたは低い場合は、モデルに供給されるデータに問題があることを示している可能性があります。

モデルに関するさまざまな内容について説明する複数のメトリクスがあるため、モデルのスコアリングは困難な作業です。モデルが適切かどうかを判断するには、ビジネスドメインの知識とさまざまなスコアリングメトリクス、およびモデルのトレーニングに使用されたデータに対する理解を組み合わせる必要があります。あるユースケースでは非常に悪いスコアに見えるものも、別のユースケースでは優れたスコアであり高い投資利益率を生み出す可能性があります。

最も重要なメトリクス: 車の例

最も重要なメトリクスはどれですか。重要なメトリクスは、モデルの使用プランに応じて異なります。1 つのメトリクスから、知りたいことをすべて理解することはできません。

例えば、車の購入について考えてみてください。燃費、馬力、トルク、重量、加速など、考慮が必要なメトリクスはたくさんあります。すべてが優れていることを望むかもしれませんが、車の使用目的に応じて優先順位を付ける必要があります。通勤用にはトルクが小さくても燃費のよい車が適しているのに対し、船を運ぶ場合は燃費が悪くてもトルクの大きい車が適しています。

モデルに対しても同じ考え方ができます。すべてのメトリクスを高くしたいと考えており、より多くのデータとより優れた特徴量でメトリクスを改善できる可能性がありますが、常に制約や優先順位付けが発生します。モデルの用途によって、一部のスコアは重要度がより高くなります。

モデルの適合性

モデルがユースケースに適しているかどうか、および実稼働に適しているかどうかを判断することは、最終的に次の質問に帰着します。「許容できない結果を招くことなく、投資に対するプラスの利益を生み出すことができるほど、モデルの正確度は高いですか」次の 4 つの質問は、その分析に役立ちます。

モデルは人による意志決定に情報を提供していますか、それとも自動化していますか?

モデルを自動化のため、または意思決定に役立てるために使用するかに応じて、必要な正確度は異なります。例えば、従業員の適切な給与を判断するために、モデルをトレーニングするとします。このケースにおいて、モデルが意思決定を自動化する場合、意思決定に情報を与えるだけの場合と比較して、正確度を高くする必要があるでしょう。マネージャーが従業員の給与が少なすぎる、または多すぎることを発見するためにモデルを使用する場合、独自の裁量でモデルに誤りがあるかどうかを判断できます。

偽陽性または偽陰性に対する、定量化可能なコストはかかりますか?

誤った結果に対するコストは定量化できますか。そのコストを考慮した上で、モデルの適合性を考慮するために必要な正確度のレベルを決定します。

上記と同じ例を用いて、モデルは単に情報提供に使用されるとします。しかし、マネージャーはモデルを信頼し、ある従業員の昇給を見送ります。昇給した場合、その従業員の給与は過払いになるとモデルが出力したためです。その後、その従業員は転職するために退職してしまいます。その従業員を失ったことによるコストはいくらでしょうか。逆のことが起こった場合、誤って昇給した場合のコストはいくらだったでしょうか。

ランダムと比較して、モデルはどのくらい優れていますか?

回帰問題では、ターゲット列の平均値を常に仮定した場合のエラーの内容を判断します。それと比較して、モデルはどのくらい優れていますか。

分類問題では、ポジティブクラスの二乗率を取り、それをネガティブクラスの二乗率に加算して、ランダム正確度を取得します。モデルの正確度は、それと比較してどのくらい優れているでしょうか。

最終的な提案をするよりも、モデルのほうが優れていますか?

エラーに関連するコストがあるかどうかに応じて、最終的な提案よりもモデルが優れているかどうかを検討します。例えば、ある企業が 6,000 ドルの費用と時間を費やして、無料のコンサルテーションを行っているとします。しかし、契約が成立すると 60,000 ドルの利益を獲得できます。同社は現在、コンサルテーションで 100% の契約が成立すると仮定して運営しています。ただし、実施すべきコンサルテーションと、実施すべきでないコンサルテーションを見極めることで、さらに利益を得ることができるはずです。取引の 100% が成立するという最終的な提案の代わりに、モデルの出力を使用するためには、モデルの正確度はどの程度である必要がありますか。

特徴量重要度

特徴量重要度の値は厳密にはモデルスコアとはみなされませんが、モデルの予測パフォーマンスを評価するための重要なメトリクスです。特徴量重要度を評価すると、データ漏洩など、実験構成やトレーニングデータに関する問題を特定するのにも役立ちます。

詳細については、「特徴量重要度を理解する」を参照してください。

このページは役に立ちましたか?

このページまたはコンテンツに、タイポ、ステップの省略、技術的エラーなどの問題が見つかった場合は、お知らせください。改善に役立たせていただきます。

こちらにフィードバックをお寄せください