展開されたモデルのパフォーマンスと使用状況の監視
ML 展開を使用して予測を生成すると、経時的なデータドリフトを分析することで、ソース モデルのパフォーマンスを監視できます。予測がトリガーされた方法や予測の失敗率など、予測の展開の使用状況に関する詳細も表示できます。
展開されたモデルと ML 展開の監視は、組み込まれた分析機能を使用して実行されます。
データ ドリフトの監視
データ ドリフト モニタリングを使用すると、モデル予測の入力データが経時的にどのように変化したか、また元のトレーニング データセットとどのように異なるかを分析できます。これらのツールを使用することで、大幅な特徴量ドリフトによりモデルの再トレーニングや置き換えが必要となるポイントを判断できます。
AutoML でのデータ ドリフトの監視の詳細については、「展開されたモデルでのデータ ドリフトの監視」を参照してください。
データ ドリフトに関する一般的な情報については、「データ ドリフト」を参照してください。
操作の監視
ML 展開は予測の作成に使用されるため、その運用の詳細を監視することは有益です。AutoML の運用監視を使用すると、次が可能になります。
-
展開のリクエスト数、予測数、予測失敗数を表示します。
-
予測イベントをトリガー別に分析します (たとえば、最初に手動で実行されたイベントの数とスケジュールに従って実行されたイベントの数など)。
-
各予測イベントと重要な詳細を示す詳細なログを表示します。
詳細については、「展開モデル運用の監視」を参照してください。