執行快速模型分析
模型對某個實驗版本完成訓練時,請執行最重要模型指標的分析,並存取如何處理訓練資料的摘要。在資料和模型索引標籤中執行快速分析。
使用模型索引標籤以取得訓練結果概述。執行實驗版本時,會自動切換至模型索引標籤。也建議您重新造訪資料索引標籤,以檢查如何預先處理並處理資料。
其他選項可用於其他模型評估。您可以在模型之間比較其他指標和超參數,或聚焦於特定模型,以進行精細分析。這些選項可用於比較和分析索引標籤。如需詳細資訊,請參閱:
理解概念
在開始評估模型之前,若對模型分析背後的概念能有基本理解,會很有幫助。如需詳細資訊,請參閱 理解模型檢閱概念。
最佳化設定對分析的影響
根據您是否已使用智慧模型最佳化,您的分析體驗可能有些微不同。依照預設,會為新的實驗開啟智慧模型最佳化。
透過智慧最佳化訓練的分析模型
依照預設,會透過智慧模型最佳化執行新的實驗。
智慧模型最佳化提供更健全的訓練流程,理想上會建立準備好部署的模型,只需要稍微精簡或不需要進一步精簡。這些模型的效能在部署以用於生產使用情況時,仍取決於透過包括相關特徵和資料的高品質資料集來訓練。
若您的版本已透過智慧模型最佳化進行訓練,請考慮下列事項:
-
根據演算法如何分析資料,版本中的每個模型可以有不同的特徵選項。
-
從模型索引標籤,請先閱讀模型的模型訓練摘要,再深入瞭解特定分析。模型訓練摘要顯示了 AutoML 如何透過迭代特徵選取和套用進階轉換來自動最佳化模型的摘要。
如需更多關於智慧模型最佳化的資訊,請參閱 智慧模型最佳化。
不透過智慧最佳化訓練的分析模型
或者,也可以關閉訓練版本的智慧模型最佳化。若您需要進一步控制訓練流程,手動模型最佳化會很實用。
若您使用了手動最佳化,版本中的所有模型將有相同的特徵選項,因此不需要模型訓練摘要。
檢查設定
在預先處理期間,可能已排除特徵用於訓練。這種情況的發生原因通常是,隨著訓練進展,對於資料的已知資訊,比您執行該版本之前更多。
檢視模型訓練摘要之後 (僅隨智慧最佳化顯示),若您需要查看這些其他變更,可以更仔細地查看實驗設定。
請執行下列動作:
-
在實驗中,切換至資料索引標籤。
-
確保您處於 結構描述檢視。
-
使用工具列中的下拉式功能表,從版本中選取模型。
-
分析模型結構描述。您可能會想要聚焦於深入資訊和特徵類型欄,以查看特定特徵是否已捨棄或已轉換為不同的特徵類型。
例如,有可能已在您執行該版本之後排除原本標記為可能的自由文字的特徵。
如需關於每個深入資訊意義的更多資訊,請參閱 解譯資料集深入資訊。
請注意,若您已透過預設智慧最佳化選項執行該版本,則由於自動精簡,該版本中的每個模型可能有不同的特徵選項。若已在沒有智慧最佳化的情況下執行該版本,則該版本中所有模型的特徵選項將會相同。如需更多關於智慧模型最佳化的資訊,請參閱 智慧模型最佳化。
根據您在此設定中找到的內容,您可能需要回到資料集準備階段,以改善特徵資料。
藉由關閉智慧模型最佳化,您不會看見模型訓練摘要作為快速分析體驗的一部分。此外,所有來自某個實驗版本的模型都會使用相同的特徵組合,而透過智慧最佳化訓練的模型則可以有不同的特徵組合。
選取模型
訓練完成時,會自動選取表現最佳的模型進行分析,並顯示該模型的指標。每個實驗版本中表現最佳的模型會標記 圖示。
在模型之間切換,以比較指標和設定中的差異。若您位於資料索引標籤,請使用工具列中的下拉式功能表挑選模型。若您位於模型索引標籤,請在模型指標中按一下模型以挑選模型。
分析訓練摘要
對於透過智慧模型最佳化訓練的模型,模型訓練摘要概述關於訓練期間發生事項的關鍵資訊。此摘要包括:
-
模型的取樣率。
-
已因智慧最佳化而自動捨棄的特徵清單。此清單視選取模型而異,
-
前往訓練資料集的連結。
若您手動最佳化模型,則不會顯示模型訓練摘要。
如需更多關於智慧模型最佳化的資訊,請參閱 智慧模型最佳化。
模型訓練摘要不會列出已在預先處理階段期間捨棄的特徵。若要查看此資訊,請回到實驗的資料索引標籤。請參閱: 檢查設定
請執行下列動作:
-
在實驗中,切換至模型索引標籤。
-
確認您已選取要分析的模型。
-
在頁面右側的模型深入資訊區段中,查看模型訓練摘要。
分析模型指標表格
模型指標表格提供關於實驗中每個模型效能的高階資訊。此表格顯示在模型索引標籤。
若您位於模型索引標籤,模型指標表格也是您選取要分析之模型的地方。
模型指標表格顯示:
-
該模型是否為其版本的表現最佳者
-
每個模型名稱 (這可以編輯以方便使用。請參閱:編輯模型詳細資訊)
-
用來訓練模型的演算法
-
根據由實驗目標定義的模型類型,最重要模型效能分數的值:
如需更多關於您的實驗訓練哪個模型類型的資訊,請參閱 決定建立的模型類型。
在表格中篩選模型
可以篩選模型指標表格,僅顯示您要比較的模型。
下列篩選條件可供使用,且可以根據需要進行組合:
-
版本:選取一個或多個實驗版本。
-
演算法:選取一個或多個演算法。
-
表現最佳者:選取在所有版本表現最佳的模型 (標記為 圖示)。可在更多模型篩選條件之下找到。
-
100% 取樣:依照預設套用此篩選條件。如有需要,這可以移除。篩選條件顯示使用整個訓練資料集完成訓練和交叉驗證流程的模型。可在更多模型篩選條件之下找到。
-
已部署:顯示已部署到 ML 實驗中的模型。可在更多模型篩選條件之下找到。
解譯特徵重要性視覺化
在模型索引標籤中,向下捲動以檢視特徵重要性視覺化。這些將會是置換重要性和 SHAP 重要性。
置換重要性圖表
置換重要性圖表顯示每個特徵對模型整體預測的重要性。您在置換重要性圖表中看見的內容可協助您理解如何精簡模型。
您可以透過分析此圖表獲得的常見深入資訊包括:
-
若某個特徵幾乎占據了所有重要性,可能是目標滲漏的跡象。需要移除該特徵。若這是由於資料品質問題所造成,也需要處理。
-
有些特徵可能對模型預測影響很小或沒有影響。置換重要性極低的特徵可視為統計雜訊,應移除。
若智慧模型最佳化用來訓練該版本,可能已經透過捨棄這些特徵,自動處理上述的部分常見問題。
如需更多關於置換重要性的資訊,請參閱 理解置換重要性。
SHAP 重要性圖表
SHAP 重要性圖表提供另一種方式,從每個模型分析實驗中的每個特徵對預測的影響力。這可針對哪些特徵很重要、或者您是否需要重新設定訓練,提供早期深入資訊。如需詳細資訊,請參閱 理解實驗訓練中的 SHAP 重要性。
解譯模型評分視覺化
若實驗是二元分類問題,會自動產生一些額外的視覺化,以供快速取用。這些視覺化針對模型預測正分類和負分類的能力,提供更多深入資訊。
如需更多關於這些視覺化的資訊,請參閱 評分二進位分類模型。
混淆矩陣
混淆矩陣圖表顯示模型建立的預測的準確度。會對自動鑑效組資料執行預測。
ROC 曲線
ROC 曲線圖表描述模型在實際結果為真時,有多麼擅於預測正分類。
如需說明理想 ROC 曲線的樣子,請參閱 AUC 和 ROC 曲線。