Évaluation des performances des modèles au fil du temps

Après avoir effectué l'apprentissage d'un certain nombre de modèles d'apprentissage automatique et déployé le meilleur, vous commencerez à créer des prédictions sur les données de production. Il est important d'évaluer en permanence les performances de votre modèle pour vous assurer qu'il continue de générer des prédictions fiables et que les données sur lesquelles son apprentissage a été effectué restent pertinentes.

Facteurs qu'il est important de surveiller

Besoins opérationnels

Votre utilisation prédictive est susceptible de changer au fil du temps. Les changements peuvent être mineurs ou importants. Vous devrez évaluer si votre modèle continue à offrir de la valeur dans sa configuration actuelle. Si votre question d'apprentissage automatique a changé de manière substantielle depuis que vous avez commencé à effectuer l'apprentissage de vos modèles, il est recommandé de recommencer le processus de définition de votre question et de votre jeu de données.

Exactitude des données d'entrée et des prédictions

Il est courant que les répartitions et les tendances des données d'entrée évoluent au fil du temps. Ce qui était autrefois une qualité déterminante de vos données d'apprentissage peut ne plus être pertinent ou avoir un impact encore plus prononcé. Vous pourriez découvrir que de nouvelles variables affectant les résultats prédits doivent être introduites dans votre modèle sous forme de nouvelles caractéristiques. Dans le même ordre d'idées, il se peut que certaines caractéristiques ne contribuent plus suffisamment aux résultats pour être incluses dans le modèle.

Il est important de surveiller le niveau de dérive entre vos données d'apprentissage initiales et les dernières données disponibles. Si la dérive de certaines caractéristiques commence à atteindre un seuil qui n'est plus acceptable, il est temps de collecter de nouvelles données et de renouveler l'apprentissage de votre modèle ou de partir d'une nouvelle définition de votre problème d'apprentissage automatique. Pour des informations détaillées supplémentaires sur la dérive des données, consultez Dérive des données.

De même, si vous remarquez que le modèle ne prédit plus avec l'exactitude dont il faisait preuve au début, vous devez réévaluer ce qu'il faut modifier pour qu'il retrouve des performances acceptables. Par exemple, vous pouvez constater que l'exactitude du modèle est affectée par des erreurs qui se produisent au cours du processus de collecte des données.

Renouvellement de l'apprentissage des modèles

À mesure de la mise à disposition de plus de données historiques, et indépendamment du déclin ou non des performances, il est inévitable que vous deviez renouveler l'apprentissage de vos modèles pour refléter les informations les plus récentes.

Surveillance de la dérive des données

AutoML intègre une fonctionnalité qui vous aide à détecter la dérive des caractéristiques de vos modèles déployés. Pour plus d'informations, consultez Surveillance de la dérive des données dans les modèles déployés.

Étapes suivantes

Suivant l'importance des modifications apportées à votre cas d'utilisation et aux données d'entrée, vous pouvez envisager d'effectuer une ou plusieurs des opérations suivantes :

• Renouveler l'apprentissage des modèles au sein de la même expérimentation, avec de nouvelles données. Si votre problème d'apprentissage automatique n'a pas changé de manière substantielle, cette option présente plusieurs avantages. En particulier, vous pouvez comparer en détail les modèles de toutes les versions d'expérimentation au sein de la même expérimentation. Pour plus d'informations, consultez Modification et actualisation du jeu de données.

• Si le problème d'apprentissage automatique que vous avez initialement défini n'est plus pertinent, il peut être judicieux de créer une toute nouvelle expérimentation. Cela dépend en grande partie de votre cas d'utilisation.