選取最適合您的模型
在分析實驗結果時,重要的是,尋找的模型應含有對您的使用情況很重要的特定特徵。例如,除了始終準確的預測之外,您可能也需要能夠快速提供預測的模型。在實驗的模型索引標籤中,會根據幾個分析角度向您建議模型。
分析實驗的最佳模型
根據您的篩選條件,會呈現建議的模型,以協助您考慮幾種不同的品質觀點。單一模型可能以多種方式被視為最佳模型。最佳模型類型為:
在使用者介面中檢視最佳模型
有關尋找和探索適合您實驗的最佳模型的資訊,請參閱 分析模型指標表格。
最佳模型
根據您的篩選條件,系統會自動選取最佳模型進行分析。最佳模型以 圖示醒目顯示。
在 Qlik Predict,透過兼顧準確度指標和預測速度的平衡計算來確定最佳模型。
為了確定最佳模型,將自動執行以下流程:
-
選擇由模型類型決定的預測效能指標得分最高的模型。使用的指標是:
-
二元分類:F1
-
多類別分類:F1 Macro
-
迴歸:R2
-
時間序列:MASE (如果 MASE 無法使用,則為 MAE)
-
-
使用步驟 1 中的效能分數,選取與最高得分模型的分數相差 5% 以內的所有模型。
-
在所有選取的模型中,選取預測速度最快的模型 (請參閱 預測速度)。此模型是最佳模型。
最準確
重要的是,您的模型能夠持續地產生準確度高的預測。雖然 F1、F1 Macro 和 R2 提供了全面反映模型準確度的平衡評分,但您可能也對模型的原始準確度和精確度指標感興趣。
最準確的模型以 圖示醒目顯示。為了確定最準確的模型,將自動執行以下流程:
-
選擇由模型類型決定的預測效能指標得分最高的模型。使用的指標是:
-
使用步驟 1 中的效能分數,選取與最高得分模型的分數相差 10% 以內的所有模型。
-
根據模型類型,使用以下兩種途徑之一:
最快模型
在選擇模型時,您可能會希望著重於模型提供預測的速度。最快的模型以 圖示醒目顯示。
預測速度決定哪個模型最快。不過,仍會考慮模型的預測準確度。這是因為模型可能能夠快速產生預測,但也必須能夠以合理的準確度進行預測。
為了確定最快模型,將自動執行以下流程:
-
選擇由模型類型決定的預測效能指標得分最高的模型。使用的指標是:
-
根據模型類型,使用以下途徑之一:
-
在所有選取的模型中,選取預測速度最快的模型 (請參閱 預測速度)。此模型是最快的模型。
預測速度
預測速度是適用於所有模型類型的模型指標:二元分類、多類別分類、迴歸和時間序列。預測速度衡量機器學習模型產生預測的速度。
在 Qlik Predict中,預測速度的計算方式是使用運算時間和測試資料集預測時間的組合特徵。這以每秒列數顯示。
執行實驗版本後,可以在模型指標表格中分析預測速度。您也可以在使用內嵌分析來分析模型時檢視預測速度資料。如需詳細資訊,請參閱:
考慮事項
衡量的預測速度是基於訓練資料集的大小,而不是進行預測的資料。部署模型後,如果訓練資料和預測資料的大小差異很大,或者如果對一列或幾列資料建立即時預測,則您可能會注意到預測建立速度之間的差異。
過適
若模型的預測行為過於緊密地對應至訓練資料集,就會發生過適。若模型過適,這可能只記住了訓練資料集中的模式,而無法準確預測未來的值。
過適可能有多種原因,包括與訓練演算法相關的問題以及過短或過度複雜的訓練資料集。
在 Qlik Predict 中,透過分析用於最佳模型選取流程中使用的所有指標 (預測速度除外) 的測試訓練結果,自動識別過適:
如果在比較測試和訓練結果時,這些指標中的任何一個之間存在超過 10% 的差異,則會懷疑模型過適。
如果懷疑某個模型過適,那麼即使分數很高,也永遠不會呈現為建議模型。該模型在模型指標表格中以警告 標記。
如果懷疑篩選中顯示的所有模型都過適,則不會提供模型建議。