Interprétation des scores des modèles

Les scores des modèles sont des mesures techniques qui indiquent dans quelle mesure vos modèles sont capables de prédire les données d'apprentissage. En plus de l'importance des caractéristiques, les scores des modèles constituent un aspect essentiel de l'analyse de modèles.

Métriques d'évaluation des modèles

Les métriques clés à utiliser pour l'évaluation des modèles varient suivant le type de problème. Le type de problème peut être une classification binaire, une classification multiclasse ou une régression Pour plus d'informations, consultez les rubriques d'aide suivantes :

• Problèmes de classification binaire : Évaluation des modèles de classification binaire

• Problèmes de classification multiclasse : Évaluation des modèles de classification multiclasse

• Problèmes de régression : Évaluation des modèles de régression

Importance des scores du modèle

L'objectif des différents scores d'un modèle est de comprendre les points forts du modèle. Cela augmentera votre confiance dans l'utilité du modèle et vous indiquera comment l'améliorer. Si le score est très élevé ou très faible, cela peut indiquer un problème dans les données fournies au modèle.

L'évaluation d'un modèle constitue une tâche difficile. En effet, plusieurs métriques décrivent différents aspects du modèle. Pour savoir s'il s'agit d'un bon modèle, vous devez combiner vos connaissances du domaine métier avec une compréhension des différentes métriques d'évaluation et données impliquées dans l'apprentissage du modèle. Ce qui pourrait sembler un très mauvais score dans un cas d'utilisation peut être un excellent score et générer un retour sur investissement important dans un autre cas d'utilisation.

La métrique la plus importante : analogie avec une voiture

Quelle est la métrique la plus importante ? Cela dépend de ce que vous envisagez de faire avec le modèle. Il n'existe pas une seule métrique capable de vous dire tout ce que vous voulez savoir.

Par analogie, prenons l'exemple de l'achat d'une voiture. Il existe un grand nombre de métriques à prendre en compte, comme l'efficacité énergétique, la puissance, le couple moteur, le poids et l'accélération. Il se peut que nous voulions qu'elles soient toutes excellentes, mais nous devons faire des compromis en fonction de l'usage que nous envisageons de faire de la voiture. Un banlieusard peut rechercher une voiture très écoénergétique, même si cela signifie qu'elle aura un faible couple moteur, tandis que le propriétaire d'un bateau peut rechercher un couple moteur élevé, même si cela signifie un moteur moins écoénergétique.

Il en est de même pour un modèle d'apprentissage automatique. Nous voulons que toutes les métriques soient bonnes, et il se peut que nous soyons en mesure de les améliorer avec davantage de données et de meilleures caractéristiques, mais il y aura toujours des contraintes à respecter et des compromis à faire. Certains scores ont plus d'importance, suivant ce que vous voulez faire avec le modèle.

Le modèle est-il adapté ?

La détermination d'un modèle pour savoir s'il est adéquat pour le cas d'utilisation en question et prêt à passer en production revient à se poser la question suivante : Le modèle est-il suffisamment bon pour produire un retour sur investissement positif sans entraîner de conséquences inacceptables ? Les quatre questions suivantes peuvent vous aider à y répondre.

Le modèle fournit-il des informations permettant de prendre une décision humaine ou l'automatise-t-il ?

L'exactitude requise dépend de l'utilisation du modèle : pour automatiser les décisions ou pour les éclairer. Par exemple, un modèle peut être formé à déterminer combien des employés devraient gagner. Dans ce cas, l'exactitude devra probablement être supérieure si le modèle automatise la décision au lieu de se contenter de l'éclairer. Si des managers l'utilisent pour savoir si un employé est sous-payé ou surpayé, ils peuvent déterminer de leur propre chef si le modèle est erroné ou non.

Un résultat faux positif ou faux négatif a-t-il un coût quantifiable ?

Êtes-vous en mesure d'évaluer le coût d'un faux résultat ? Tenez compte de ce coût, lorsque vous déterminez le niveau d'exactitude requis pour considérer que le modèle est adapté ou non.

En reprenant l'exemple susmentionné, imaginons que le modèle se contente d'informer la décision. Or, le manager fait confiance au modèle et n'augmente pas l'employé, car le modèle indique que, s'il l'augmentait, l'employé serait surpayé. Suite à cette décision, l'employé démissionne pour aller travailler ailleurs. Quel a été le coût de la perte de cet employé ? Si le contraire s'était produit, quel aurait été le coût si l'employé avait été augmenté alors que cela n'était pas nécessaire ?

Dans quelle mesure le modèle est-il meilleur que de prendre une décision aléatoire ?

Pour les problèmes de régression, vous devez déterminer ce que serait l'erreur si vous supposiez toujours la valeur moyenne de la colonne cible. Dans quelle mesure le modèle est-il meilleur que cela ?

Pour les problèmes de classification, vous devez prendre le taux de la classe positive au carré et l'ajouter au taux de la classe négative au carré pour obtenir l'exactitude aléatoire. Dans quelle mesure le modèle est-il plus exact que cela ?

Le modèle est-il meilleur que d'affirmer quelque chose ?

Suivant qu'un coût est associé ou non à des erreurs, demandez-vous si le modèle est meilleur que d'affirmer quelque chose. Par exemple, imaginons qu'un cabinet juridique donne des consultations gratuites qui coûtent cher et qui prennent du temps (6 000 $), mais qu'il gagne beaucoup d'argent en cas de conclusion d'un contrat (60 000 $). Le cabinet fonctionne actuellement en supposant que 100 % des consultations aboutiront à la conclusion d'un contrat. Cependant, il ferait plus de bénéfices s'il pouvait déterminer quelles consultations faire et quelles consultations ne pas faire. Quel doit être le niveau d'exactitude du modèle pour que le cabinet juridique utilise son résultat au lieu d'affirmer que 100 % des consultations aboutiront à la conclusion d'un contrat ?

Importance des caractéristiques

Même si les valeurs d'importance des caractéristiques ne sont pas techniquement considérées comme des scores de modèles, il s'agit de métriques clés pour l'évaluation des performances prédictives de vos modèles. L'évaluation de l'importance des caractéristiques peut également permettre d'identifier des problèmes de configuration de votre expérimentation et de données d'apprentissage tels qu'une fuite de données.

Pour plus d'informations, consultez Familiarisation avec l'importance des caractéristiques.