審查和微調模型
在第一版模型訓練完成後,分析產生的模型計量和推薦的模型。如果需要進一步修改以微調模型,您可以使用手動模型最佳化來執行其他版本。
當您執行實驗版本時,系統會帶您前往 Models 頁籤,您可以在其中開始分析產生的模型計量。您可以透過返回 Data 頁籤來存取 Schema view 和 Data view。您可以在 Compare 和 Analyze 頁籤中進行更精細的分析。
分析 Model metrics 表
切換回 Models 頁籤。在 Model metrics 區段中,會根據常見的品質要求反白顯示推薦的模型。已自動選取最佳模型 進行分析。
從實驗中訓練的模型中提供了三個推薦。單一模型可以出現在多個推薦中。推薦如下:
-
Best model:該模型最能平衡表現最佳的準確度計量和預測速度。
-
Most accurate:該模型在平衡和原始準確度計量中得分最高。
-
Fastest model:除了強大的準確度相關計量外,該模型還具有最快的預測速度。
選擇最適合您使用案例的模型非常重要。在大多數情況下,Best model 是最有利的選擇。然而,您的預測使用案例可能需要預測速度或準確度計量的特定規格。
如需如何確定頂級模型類型的深入概述,請參閱 選取最適合您的模型。
顯示推薦模型和模型計量的 Model metrics 表
您可以使用推薦上方的下拉式篩選器來縮小焦點。每次您變更篩選時,系統都會自動重新計算頂級模型類型。
使用表格上方的 Show metric 選取器在核心計量之間進行切換。您可以根據名稱和正在分析的選定計量對模型進行排序。
過度擬合的模型在表格中會標有警告 。這些模型不適合部署。過度擬合的原因可能包括訓練演算法引入的模型複雜度,以及訓練資料集的問題。如需詳細資訊,請參閱 過適。
分析 Model training summary
我們現在可以專注於介面右側的 Model training summary。此摘要可讓您探索如何最佳化模型和輸入訓練資料以獲得最佳效能。模型訓練摘要是智慧模型最佳化所提供之增強功能的概述。
從下圖的摘要中,我們可以看到:
-
訓練資料中的特性在訓練期間被捨棄,未納入模型中。
-
該模型的抽樣比例為 100%。
因目標洩漏而捨棄特性
特性 DaysSinceLastService 在訓練期間因目標洩漏而被捨棄。
在此特性欄位中,在資料收集期間沒有定義邏輯來停止計算已取消訂閱的客戶自上次服務工單以來的天數。因此,模型可能會學會將自上次服務工單以來的大量天數(存在於數年前取消的客戶)與 Churned 欄位中的值 yes 相關聯。
此特性需要從訓練中移除,因為這會導致模型在新資料上的效能非常差。
根本問題稱為目標洩漏,這是資料洩漏的一種形式。如需有關資料洩漏的詳細資訊,請參閱 資料滲漏。
因高度關聯而捨棄特性
我們可以看到 PriorPeriodUsage-Rounded 和 AdditionalFeatureSpend 在訓練期間被捨棄。
在這種情況下,至少有一個特性欄位—PriorPeriodUsage-Rounded—是直接衍生自資料集中的另一個欄位。偵測到 AdditionalFeatureSpend 的其他關聯問題。
移除導致關聯問題的特性對於訓練優質模型非常重要。
如需有關關聯的詳細資訊,請參閱 相互關聯。
因重要性低而捨棄特性
一些特性也因排列重要性低而被捨棄。經過初步分析,這些特性已被確定為對目標結果的影響非常低。這些特性可以被視為統計雜訊,並且已被移除以提高模型品質。
如需有關排列重要性的詳細資訊,請參閱 理解置換重要性。
Model training summary
分析 Models 頁籤中的其他視覺化
Models 頁籤中提供了其他視覺化,以便進行其他高階分析。在 Model metrics 表中選取不同的模型,以探索特性層級的效能以及可提供模型品質深入解析的其他圖。
ML 實驗中的 Models 頁籤,顯示可用於分析的其他視覺化
比較訓練和預留計量
您可以檢視其他計量,並將交叉驗證訓練的計量與預留計量進行比較。
請執行下列動作:
-
在實驗中,切換至 Compare 頁籤。
內嵌分析隨即開啟。您可以使用互動式介面深入探討您的比較模型分析並發現新的深入解析。
-
在分析左側的 Sheets 面板中,切換至 Details 工作表。
-
查看 Model metrics 視覺化。它會顯示模型評分計量(例如 F1)以及其他資訊。
-
在 Columns to show 區段中,使用篩選窗格在表格中新增和移除欄位。
-
在下拉式清單方塊中,新增其他計量。可以將訓練分數新增至表格中。您可以根據分析需要新增它們。
您現在可以查看交叉驗證訓練的 F1 計量,並將其與預留計量進行比較。
新增並檢視訓練分數以與預留分數進行比較

專注於特定模型
在模型分析期間的任何時間點,您都可以對個別模型進行精細分析。透過互動式體驗探索預測準確度、特性重要性和特性分佈。
請執行下列動作:
-
選取任何模型,然後按一下 Analyze 頁籤。
內嵌分析隨即開啟。
-
透過 Model overview 工作表,您可以分析模型的預測準確度。透過 選取項目 的功能增強了分析。按一下特性或預測值以進行選取。內嵌分析中的資料會進行調整以篩選資料。您可以深入探討特定的特性值和範圍,以檢視特性影響和預測準確度如何變化。
-
切換至其他工作表,您可以檢視預測準確度、特性分佈和影響分佈 (SHAP) 的視覺化。此分析內容可以協助您:
-
發現影響資料趨勢的關鍵驅動因素。
-
識別特定特性和世代如何影響預測值和預測準確度。
-
識別資料中的異常值。
-
Analyze 頁籤 in an ML experiment

後續步驟
在執行具有智慧模型最佳化的實驗版本後,您可以根據需要執行手動版本以微調您的模型。若要快速建立新的手動版本,您可以切換回 Models 頁籤,然後按一下 Model training summary 中的 New manual version。
在真實世界的情境中,在部署模型之前,視需要多次重複任何微調步驟非常重要,以確保您擁有最適合您特定使用案例的模型。
如需有關微調模型的詳細資訊,請參閱 微調模型。
在本教學課程中,請移至關於部署模型的下一區段。