鑑效組資料和交叉驗證

預測性分析的最大挑戰之一是瞭解訓練模型對於從未見過的資料會有什麼樣的表現。換言之，亦即模型對於真正模式的學習程度，而非只是記憶訓練資料。鑑效組資料和交叉驗證是有效的技術，用來確認模型不只是記憶，而是實際學習一般化模式。

記憶化與一般化的測試模型

詢問模型在現實世界表現得如何，等同於詢問模型是在進行記憶化或是一般化。記憶化是完美記住過去發生內容的能力。記憶化的模型在初始訓練時可能有較高的分數，但預測準確度將會在套用至新資料時大幅降低。與此不同，我們希望模型能夠一般化。一般化是學習並套用一般模式的能力。一般化模型從訓練資料中學習更廣泛的真實模式，將能夠對之前從未見過的新資料提供品質相同的預測。

自動鑑效組資料

鑑效組是模型訓練時隨機選取且從模型中「隱藏」的資料，然後用來為模型評分。鑑效組可對訓練中未使用的資料產生準確度指標，以刺激模型對未來預測的執行方式。這就像我們建置並部署了模型，然後監控相對於實際發生內容的預測，而不必等到之後才能觀察這些預測。

交叉驗證

交叉驗證的做法是採用資料集並隨機分為數量平均的區段，稱為「重」。會根據除了一重以外的所有內容訓練機器學習演算法。然後交叉驗證會針對根據所有其他重訓練的模型測試每重內容。這表示，會根據之前從未見過的資料區段測試每個訓練的模型。以訓練期間隱藏的重來重複流程，然後測試，直到所有重都確切使用一次作為測試內容，並且在其他每次反覆運作期間都作為訓練內容。

交叉驗證結果是測試指標集合，針對訓練模型對從未見過的資料可達到的預測準確度提供合理的預測。

自動鑑效組和交叉驗證如何運作

AutoML 在模型訓練期間使用五重交叉驗證，以刺激模型效能。然後會針對獨立的訓練資料鑑效組測試模型。這會產生評分指標，讓您評估並比較不同演算法的效能。

1. 在實驗訓練開始之前，會隨機顯示具有非 Null 目標之資料集中的所有資料。會擷取 20% 的資料集作為鑑效組資料。其餘 80% 的資料集則用來以交叉驗證方式訓練模型。

2. 為了準備交叉驗證，資料集隨機分為五區 (重)。然後會訓練模型五次，每次「隱藏」五分之一的不同資料，以測試模型表現得如何。會在交叉驗證期間產生訓練指標，此即運算值的平均。

3. 訓練後，模型會套用至鑑效組資料。因為模型在訓練期間沒有看見鑑效組資料 (與交叉驗證資料不同)，所以很適合驗證模型訓練效能。會在此次最終模型評估期間產生鑑效組指標。

如需更多關於用來分析模型效能之指標的資訊，請參閱 檢閱模型。