経時的なモデル パフォーマンスの評価

多くの機械学習モデルをトレーニングし、最適なモデルを展開したら、実稼働データに対する予測の作成を開始します。モデルのパフォーマンスを継続的に評価し、信頼できる予測を生成していること、およびトレーニングに使用されたデータに関連性があることを確認することが重要です。

監視に重要な要素

運営上のニーズ

予測の使用は時間の経過とともに変化する可能性があります。変化は軽微なものから重大なものまでさまざまです。現在の構成でも、モデルが価値を提供しているかどうかを評価する必要があります。モデルを最初にトレーニングしてから機械学習の質問が大幅に変更された場合は、質問とデータセットを定義するプロセスを再開することをお勧めします。

入力データと予測の正確度

入力データの分布や傾向は、時間の経過とともに変化するのが一般的です。かつてはトレーニング データの品質の特質であったものが、もはや関連性がなくなったり、影響がさらに顕著になったりする可能性があります。予測される結果に影響を与える新しい変数を見つけ、それを新しい特徴量としてモデルに導入する必要があることが判明する場合があります。これと同じように、特定の特徴量は、結果に十分な貢献をしなくなり、モデルに含める必要がなくなる場合もあります。

初期のトレーニング データと最新の利用可能なデータとの間の、ドリフト量のデータを監視することが重要です。特定の特徴量のドリフトが許容できないしきい値に達し始めた場合は、新しいデータを収集してモデルを再トレーニングするか、機械学習の問題の新しい定義から始める必要があります。データ ドリフトの詳細については、「データ ドリフト」を参照してください。

また、モデルが当初の正確度で予測しなくなったことに気付いた場合は、許容できるパフォーマンスに戻すために何を変更する必要があるかを再評価する必要があります。たとえば、データ収集プロセス中に発生するエラーによってモデルの正確度が影響を受けている場合などがあります。

モデルの再トレーニング

より多くの履歴データが利用できるようになると、パフォーマンスが低下したかどうかに関係なく、最新の情報を反映するようにモデルを再トレーニングする必要が生じます。

データ ドリフトの監視

AutoML には、展開されたモデルの特徴量ドリフトを検出するための機能が組み込まれています。詳細については、「展開されたモデルでのデータ ドリフトの監視」を参照してください。

次のステップ

ユース ケースと入力データがどの程度大きく変更されたかに応じて、次の 1 つ以上を検討する必要があります。

• 同じ実験内で新しいデータを使用してモデルを再トレーニングします。機械学習の問題に大きな変化がない場合、このオプションにはいくつかの利点があります。特に、同じ実験内ですべての実験バージョンのモデルを詳細に比較できます。詳細については、「データセットの変更と更新」を参照してください。

• 最初に定義した機械学習の問題がもはや適切でない場合は、まったく新しい実験を作成することが理にかなっている可能性があります。これはユース ケースに大きく依存します。