Examen des modèles

Pour évaluer vos modèles d'apprentissage machine, vous devez être en mesure de comprendre les scores et les métriques des modèles. Dans certains cas, il peut être plus important de comprendre comment chaque champ et chaque valeur influencent le résultat prédit (pourquoi quelque chose s'est produit) plutôt que de faire des prédictions.

Importance des scores du modèle

L'objectif des différents scores d'un modèle est de comprendre les points forts du modèle. Cela augmentera votre confiance dans l'utilité du modèle et vous indiquera comment l'améliorer. Si le score est très élevé ou très faible, cela peut indiquer un problème dans les données fournies au modèle.

L'évaluation d'un modèle constitue une tâche difficile. En effet, plusieurs métriques décrivent différents aspects du modèle. Pour savoir s'il s'agit d'un bon modèle, vous devez combiner vos connaissances du domaine métier avec une compréhension des différentes métriques d'évaluation et données impliquées dans l'apprentissage du modèle. Ce qui pourrait sembler un très mauvais score dans un cas d'utilisation peut être un excellent score et générer un retour sur investissement important dans un autre cas d'utilisation.

La métrique la plus importante : Analogie de la voiture

Quelle est la métrique la plus importante ? Cela dépend de ce que vous envisagez de faire avec le modèle. Il n'existe pas une seule métrique capable de vous dire tout ce que vous voulez savoir.

Par analogie, prenons l'exemple de l'achat d'une voiture. Il existe un grand nombre de métriques à prendre en compte, comme l'efficacité énergétique, la puissance, le couple moteur, le poids et l'accélération. Il se peut que nous voulions qu'elles soient toutes excellentes, mais nous devons faire des compromis en fonction de l'usage que nous envisageons de faire de la voiture. Un banlieusard peut rechercher une voiture très écoénergétique, même si cela signifie qu'elle aura un faible couple moteur, tandis que le propriétaire d'un bateau peut rechercher un couple moteur élevé, même si cela signifie un moteur moins écoénergétique.

Il en est de même pour un modèle d'apprentissage machine. Nous voulons que toutes les métriques soient bonnes, et il se peut que nous soyons en mesure de les améliorer avec davantage de données et de meilleures caractéristiques, mais il y aura toujours des contraintes à respecter et des compromis à faire. Certains scores ont plus d'importance, suivant ce que vous voulez faire avec le modèle.

Le modèle est-il adapté ?

Savoir si un modèle est adapté au cas d'utilisation en question et de bonne qualité pour être lancé en production, cela revient à se poser la question suivante : « Le modèle est-il suffisamment exact pour offrir un retour sur investissement positif sans conséquences inacceptables ? » Les quatre questions suivantes peuvent vous aider à y répondre.

Le modèle fournit-il des informations permettant de prendre une décision humaine ou l'automatise-t-il ?

L'exactitude requise dépend de l'utilisation du modèle : pour automatiser les décisions ou pour les éclairer. Par exemple, un modèle peut être formé à déterminer combien des employés devraient gagner. Dans ce cas, l'exactitude devra probablement être supérieure si le modèle automatise la décision au lieu de se contenter de l'éclairer. Si des managers l'utilisent pour savoir si un employé est sous-payé ou surpayé, ils peuvent déterminer de leur propre chef si le modèle est erroné ou non.

Un résultat faux positif ou faux négatif a-t-il un coût quantifiable ?

Êtes-vous en mesure d'évaluer le coût d'un faux résultat ? Tenez compte de ce coût, lorsque vous déterminez le niveau d'exactitude requis pour considérer que le modèle est adapté ou non.

En reprenant l'exemple susmentionné, imaginons que le modèle se contente d'informer la décision. Or, le manager fait confiance au modèle et n'augmente pas l'employé, car le modèle indique que, s'il l'augmentait, l'employé serait surpayé. Suite à cette décision, l'employé démissionne pour aller travailler ailleurs. Quel a été le coût de la perte de cet employé ? Si le contraire s'était produit, quel aurait été le coût si l'employé avait été augmenté alors que cela n'était pas nécessaire ?

Dans quelle mesure le modèle est-il meilleur que de prendre une décision aléatoire ?

Pour les problèmes de régression, vous devez déterminer ce que serait l'erreur si vous supposiez toujours la valeur moyenne de la colonne cible. Dans quelle mesure le modèle est-il meilleur que cela ?

Pour les problèmes de classification, vous devez prendre le taux de la classe positive au carré et l'ajouter au taux de la classe négative au carré pour obtenir l'exactitude aléatoire. Dans quelle mesure le modèle est-il plus exact que cela ?

Le modèle est-il meilleur que d'affirmer quelque chose ?

Suivant qu'un coût est associé ou non à des erreurs, demandez-vous si le modèle est meilleur que d'affirmer quelque chose. Par exemple, imaginons qu'un cabinet juridique donne des consultations gratuites qui coûtent cher et qui prennent du temps (6 000 $), mais qu'il gagne beaucoup d'argent en cas de conclusion d'un contrat (60 000 $). Le cabinet fonctionne actuellement en supposant que 100 % des consultations aboutiront à la conclusion d'un contrat. Cependant, il ferait plus de bénéfices s'il pouvait déterminer quelles consultations faire et quelles consultations ne pas faire. Quel doit être le niveau d'exactitude du modèle pour que le cabinet juridique utilise son résultat au lieu d'affirmer que 100 % des consultations aboutiront à la conclusion d'un contrat ?