Examen et affinement des versions de modèle

Une fois la première version de l'apprentissage du modèle terminée, analysez les métriques de modèle obtenues et configurez de nouvelles versions de l'expérimentation jusqu'à obtenir les résultats dont vous avez besoin.

Analyse du modèle

Dans la vue Modèle, nous voyons que l'algorithme Classification CatBoost est évalué à l'aide d'une icône de trophée . Cela signifie qu'il s'agit du modèle le plus performant suivant le score F1.

Procédez comme suit :

1. Dans le coin supérieur droit du tableau, cliquez sur le bouton de sélecteur de colonne . Ici, notez que toutes les métriques disponibles pour notre problème sont affichées ; ajoutez ou supprimez des métriques, selon les besoins. Sélectionnez les métriques à afficher dans le tableau ou conservez les métriques par défaut.

   

2. Dans le tableau Métriques du modèle, cliquez sur le filtre déroulant Algorithme et sélectionnez Classification CatBoost (CATBC).

3. Cliquez sur Afficher les métriques des données d'apprentissage.

   À présent, vous voyez les métriques d'apprentissage de la validation croisée et vous pouvez les comparer aux métriques de rétention. Pour chaque colonne de métrique de rétention, il existe une colonne Former correspondante pour la métrique équivalente des données d'apprentissage.

   

4. Cliquez sur Effacer les filtres et désactivez de nouveau Afficher les métriques des données d'apprentissage.

5. Triez les modèles en fonction des performances, du modèle le plus performant au modèle le moins performant, en cliquant sur l'en-tête de colonne F1. La régression Lasso, la régression logistique et la régression du filet élastique donnent des scores inférieurs à ceux des trois autres algorithmes. Vous pouvez décider d'exclure les algorithmes dont les performances sont mauvaises ou de vous concentrer uniquement sur le meilleur (la classification XGBoost) pour obtenir des résultats plus rapides lors de l'itération suivante de l'apprentissage.

6. Faites défiler l'écran sous le tableau de métriques pour voir les visualisations du modèle sélectionné.

   

7. Cliquez sur ou sur Configurer v2 pour développer le volet Configuration de l'expérimentation.

8. Sur le graphique Permutation importance ainsi que dans la liste Caractéristiques du volet Configuration de l'expérimentation, notez que cette première itération du modèle s'appuie considérablement sur la caractéristique DaysSinceLastService (Nombre de jours depuis le dernier service), tandis que toutes les autres caractéristiques n'ont quasiment aucune importance en comparaison.

   

   Cette disparité, ainsi que les performances extrêmement fortes des modèles, doivent être examinées comme un signe que quelque chose ne va pas. Dans le cas présent, aucune logique n'a été définie lors de la collecte de données pour arrêter le comptage du nombre de jours depuis le dernier ticket de service d'un client pour les clients ayant annulé leur abonnement. En conséquence, le modèle a appris à associer un grand nombre de jours depuis le dernier ticket de service à un résultat Churned (Perte de clientèle).

   Il s'agit d'un exemple de fuite de données. En effet, dans un scénario concret, le modèle aurait accès uniquement aux informations jusqu'à la réalisation de la prédiction, alors que le nombre de jours contenu dans ce champ a été collecté après ce point de mesure. Pour plus d'informations sur la fuite de données, voir Fuite de données.

   Nous devons supprimer la caractéristique « qui fuit » DaysSinceLastService de la configuration de l'expérimentation, car elle fausse les modèles obtenus. Notez que, dans la pratique, il est nécessaire d'analyser en profondeur la qualité et la logique des données avant de créer le modèle, pour s'assurer que le modèle obtenu est correctement formé.

Configuration et exécution de la version 2

Étant donné que la majeure partie de l'apprentissage du modèle changera une fois cette fuite de données résolue, configurons une nouvelle version avant de poursuivre les affinements.

Procédez comme suit :

1. Suite à une étape précédente, vous avez déjà le volet Configuration de l'expérimentation ouvert pour configurer la version v2.

   Dans le tableau de métriques, cochez la case à côté de Classification CatBoost.

2. Sous Caractéristiques dans le volet Configuration de l'expérimentation, décochez la case DaysSinceLastService.

3. Cliquez sur Exécuter v2.

Configuration et exécution de la version 3

À la fin de l'exécution de la deuxième version de l'expérimentation, cochez la case à côté du modèle v2 le plus performant, Classification XGBoost, du tableau de métriques. Cela actualise la page pour y afficher les métriques de ce modèle.

Vous verrez que la liste des caractéristiques importantes a considérablement changé depuis la résolution de la fuite de données. De plus, l'algorithme le plus performant est maintenant Classification XGBoost.

Procédez comme suit :

1. Triez les modèles en fonction des performances en cliquant sur l'en-tête de colonne F1.

   La régression logistique, la régression Lasso et la régression du filet élastique donnent des scores v2 inférieurs à ceux des trois autres algorithmes. Vous pouvez décider d'exclure les algorithmes dont les performances sont mauvaises ou de vous concentrer uniquement sur le meilleur (la classification XGBoost) pour obtenir des résultats plus rapides lors de l'itération suivante de l'apprentissage.

2. Penchez-vous sur le graphique Permutation importance. Les quatre caractéristiques les plus mauvaises—StartMonth, AdditionalFeatureSpend, DeviceType et CustomerTenure—influencent beaucoup moins le modèle que les autres. Elles ont peu de valeur pour ce cas d'utilisation et peuvent être considérées comme des parasites. Supprimons ces caractéristiques pour voir si cela améliore les scores du modèle.

   

3. Dans le volet Configuration de l'expérimentation , sous Caractéristiques, décochez les cases à côté de StartMonth, AdditionalFeatureSpend, DeviceType et CustomerTenure.

4. Sous Algorithmes, décochez les cases Régression logistique, Régression Lasso et Régression du filet élastique.

5. Cliquez sur Exécuter v3.

Comparaison de versions de l'expérimentation

Après l'exécution de la version v3, l'algorithme Classification LightGBM devient le plus performant. Dans le tableau de métriques, cochez la case à côté de ce modèle pour actualiser les informations de la page.

La première version de l'apprentissage a obtenu les scores les plus élevés, mais ces métriques constituaient des prédicteurs très exagérés et peu réalistes des performances, en raison du problème de fuite de données. Dans la version v3, le score F1 du modèle le plus performant a augmenté par rapport à celui du modèle v2 le plus performant.

Dans le tableau Métriques du modèle, cliquez sur Plus de filtres de modèle et sélectionnez le filtre Meilleurs résultats. Vous pouvez voir les métriques des modèles les plus performants de chaque itération de l'expérimentation.

Dans un scénario réel, il est important de répéter ces étapes d'affinement autant de fois que nécessaire avant de déployer le modèle, pour être sûr d'avoir le meilleur modèle possible pour le cas d'utilisation en question.

Dans ce didacticiel, passez à la section suivante sur le déploiement du modèle.