Évaluation des modèles de régression

Les modèles de régression prédisent les résultats sous forme de nombre, indiquant la meilleure estimation par le modèle de la variable cible. Plusieurs métriques sont générées pour que vous puissiez évaluer des modèles de régression.

Lors de l'apprentissage d'une expérimentation Régression, les graphiques suivants sont automatiquement générés pour fournir une analyse rapide des modèles générés :

• Permutation importance : graphique sur lequel les caractéristiques sont affichées dans l'ordre de la plus influente (celle ayant le plus gros impact sur les performances du modèle) à la moins influente (celle ayant le moins d'impact sur les performances du modèle). Pour plus d'informations, consultez Importance de la permutation.

• SHAP importance : graphique représentant le niveau d'influence de chaque caractéristique sur le résultat prédit. Pour plus d'informations, consultez SHAP importance dans l'apprentissage d'une expérimentation.

Coefficient de détermination R2

Le coefficient de détermination R au carré (R2) est une mesure sans unité de la corrélation des caractéristiques par rapport à la cible. Il peut être exprimé comme suit : à quel pourcentage plus proche de la perfection se trouvent les prédictions du modèle par rapport à l'utilisation de la valeur moyenne de la cible ?

Le coefficient R2 varie de l'infinité négative à 1. Plus il se rapproche de 1, plus la variance de la valeur cible peut s'expliquer par les variables caractéristiques. En d'autres termes, plus il est probable que vous ayez des variables très caractéristiques susceptibles d'aboutir à des prédictions exactes.

Les graphiques montrent un exemple de tracé de la hauteur en fonction de l'âge. Sur le premier graphique, la hauteur est davantage corrélée à l'âge, avec un coefficient R2 de 0.97, que sur le deuxième graphique, où le coefficient R2 est de 0.56.

Notez qu'une valeur R2 inférieure ne veut pas forcément dire que le modèle est mauvais. L'interprétation de la valeur R2 dépend du cas d'utilisation et des données. Lors de l'évaluation d'un modèle de régression, il est important de garder en mémoire qu'une relation linéaire n'est pas toujours essentielle. Si la régression linéaire produit de mauvais résultats alors que d'autres algorithmes offrent de meilleures performances, cela peut simplement dire que vos données ne peuvent pas être suffisamment modélisées par une relation linéaire.

Racine de l'erreur quadratique moyenne RMSE

La racine de l'erreur quadratique moyenne (Root Mean Squared Error ou RMSE) peut être interprétée comme la différence +/- moyenne prévue entre une valeur prédite et la valeur réelle. Il s'agit de l'écart type des résidus (la différence entre la valeur observée et la valeur prédite d'une caractéristique). La valeur RMSE est exprimée dans la même unité que celle de la valeur cible.

Par exemple, imaginons que notre cible consiste à prédire une valeur contractuelle et que nous obtenions une valeur RMSE = 1250. Cela signifie qu'en moyenne, la valeur prédite varie de +/- 1 250 $ par rapport à la valeur réelle.

Erreur quadratique moyenne MSE

L’erreur quadratique moyenne (Mean Squared Error ou MSE) peut être interprétée comme la différence +/- au carré entre la valeur prédite et la valeur réelle que nous nous attendrions à voir en moyenne. Elle est exprimée dans la même unité que celle de la valeur cible au carré.

Dans l'exemple de prédiction de la valeur contractuelle, une valeur MSE égale à 1562500 signifie que le modèle est éloigné de +/- 1 562 500 $2. Notez que l'unité est le dollar au carré.

Erreur absolue moyenne MAE

L'erreur absolue moyenne (Mean Absolute Error ou MAE) est la moyenne de toutes les erreurs de prédiction absolues, où l'erreur de prédiction est la différence entre la valeur réelle et la valeur prédite. L'utilisation de la valeur absolue des erreurs de prédiction empêche l'annulation mutuelle des erreurs +/-. La valeur MAE est exprimée dans la même unité que celle de la valeur cible.