ホールドアウト データとクロス検証

予測分析における最大の課題の 1 つに、トレーニング済みのモデルが、これまで見たことのないデータに対してどのように機能するかを知ることがあります。別の言い方をすると、トレーニング データを単純に記憶した場合と比較して、モデルが真のパターンをどれだけうまく学習できたかということです。ホールドアウト データとクロス検証は、モデルが単なる記憶ではなく、実際に一般化されたパターンを学習していることを確認するための効果的な手法です。

記憶と一般化のモデルのテスト

モデルが現実の世界でどの程度うまく機能するかを問うことは、モデルが記憶または一般化を実行したかどうかを問うことと同じです。記憶とは、過去に起こったことを完全に覚えている能力のことです。記憶するモデルは、最初のトレーニングでは高いスコアを示す可能性がありますが、新しいデータに適用すると予測精度は大幅に低下します。その代わりとして、一般化するモデルが必要になります。一般化とは、一般的なパターンを学習して適用する能力のことです。トレーニング データから真に幅広いパターンを学習することで、一般化されたモデルは、見たことのない新しいデータに対しても同じ品質で予測できるようになります。

自動ホールドアウトデータ

ホールドアウトとは、トレーニング中にモデルから「非表示」にされ、モデルのスコアリングに使用されるランダムに選択されたデータのことです。ホールドアウトは、トレーニングで使用されなかったデータの正確度指標を生成することにより、モデルが将来の予測でどのように機能するかをシミュレーションします。まるで、モデルを構築および展開し、これらの予測を観察するのを待つことなく、実際に起こったことに対する予測をモニタリングしているようなものです。

クロス検証

クロス検証とは、データセットを取得し、フォールドと呼ばれる偶数のセグメントにランダムに分割して検証する方法のことです。機械学習アルゴリズムは、1 つを除くすべてのフォールドでトレーニングされます。次に、クロス検証は、他のすべてのフォールドでトレーニングされたモデルに対して、各フォールドをテストします。つまり、トレーニングされた各モデルが、これまでに見たことのないデータのセグメントでテストされます。このプロセスは、トレーニング中に別のフォールドで非表示で繰り返され、すべてのフォールドがテストとして 1 回だけ使用され、1 回おきの反復でトレーニングされるまでテストされます。

クロス検証の結果は、トレーニング済みのモデルがこれまでに見たことのないデータをどれだけ正確に予測できるかを合理的に予測するテスト指標です。

自動ホールドアウトとクロス検証の仕組み

AutoML では、モデルのトレーニング中に 5 分割クロス検証を使用して、モデルのパフォーマンスをシミュレーションします。次に、トレーニング データの別のホールドアウトに対してモデルがテストされます。これにより、さまざまなアルゴリズムのパフォーマンスを評価および比較できるスコアリング 指標が生成されます。

1. 実験のトレーニングが開始される前に、null 以外のターゲットを持つデータセット内のすべてのデータがランダムにシャッフルされます。 データセットの 20% がホールドアウト データとして抽出されます。残りの 80% のデータセットは、クロス検証でモデルをトレーニングするために使用されます。

2. クロス検証の準備として、データセットはランダムに 5 つのフォールドに分割されます。次に、モデルは 5 回トレーニングされ、毎回異なる 5 分の 1 のデータを「非表示」にして、モデルのパフォーマンスをテストします。クロス検証中にトレーニング指標が生成され、計算された値の平均になります。

3. トレーニングの後、モデルはホールドアウト データに適用されます。ホールドアウト データは、クロス検証データとは異なり、トレーニング中にモデルが見ることはないため、モデルのトレーニング パフォーマンスを検証するのに適しています。ホールドアウト指標は、この最終的なモデル評価中に生成されます。

モデルのパフォーマンスを分析するために使用される指標の詳細については、「モデルのレビュー」を参照してください。