Affinement des modèles

Une fois que vous avez créé des modèles initiaux, il est important de les affiner pour augmenter leur efficacité et leur exactitude potentielle. Les scores du modèle indiquent différentes mesures de ses performances. Même si l'objectif de l'affinement des modèles est d'augmenter ces scores, un score supérieur n'indique pas toujours que le modèle est meilleur.

Vous pouvez affiner vos modèles en excluant ou en incluant des caractéristiques, en modifiant les données d'apprentissage et en modifiant d'autres paramètres de configuration. Ainsi, vous pouvez comparer différentes versions pour voir l'effet de vos modifications.

En interprétant les scores, vous apprendrez à affiner le modèle. Les valeurs des différentes métriques peuvent vous fournir des informations sur les actions à entreprendre pour améliorer le résultat.

Conditions requises et autorisations

Pour en savoir plus sur les conditions requises de la part des utilisateurs pour pouvoir utiliser des expérimentations ML, voir Utilisation d'expérimentations.

Configuration d'une nouvelle version

Une fois que vous avez exécuté une version d'expérimentation, vous pouvez affiner vos modèles, si nécessaire, en créant une nouvelle version.

Procédez comme suit :

1. Dans l'onglet Données, Modèles ou Analyser, sélectionnez le modèle à utiliser comme base pour la version suivante.

2. Cliquez sur Afficher la configuration.

   Le panneau Configuration de l'expérimentation s'ouvre.

3. Cliquez sur Nouvelle version.

Après avoir créé une nouvelle version, vous pouvez apporter des modifications à sa configuration, par exemple :

• en excluant des caractéristiques existantes ;

• en incluant des caractéristiques précédemment exclues ;

• en modifiant ou en actualisant le jeu de données ;

• en sélectionnant ou en désélectionnant des algorithmes.

Les sections ci-dessous fournissent plus d'informations sur ces options.

Lors de l'ébauche d'une nouvelle version, cliquez sur l'icône de filtre sous Caractéristiques dans le panneau Configuration de l'expérimentation. Lors du filtrage, vous pouvez voir plus facilement les caractéristiques qui ont été introduites depuis que vous avez modifié le jeu de données d'apprentissage. Vous pouvez également voir les caractéristiques qui sont auto-conçues et celles qui ne sont pas conçues.

Amélioration du jeu de données

Si votre modèle n'est pas performant, vous pouvez examiner le jeu de données pour en résoudre les problèmes. Vous en saurez plus sur l'amélioration du jeu de données à la section Préparation de votre ensemble de données à l'apprentissage.

Exclusion de caractéristiques

Ce n'est pas parce que le modèle contient plus de caractéristiques qu'il est forcément meilleur. Pour affiner le modèle, excluez les caractéristiques peu fiables ou inintéressantes telles que les suivantes :

• Caractéristiques affichant une corrélation trop forte. Si vous avez deux caractéristiques corrélées, excluez celle la moins prononcée (la moins importante).

• Caractéristiques trop peu prononcées (trop peu importantes). Ces caractéristiques n'ont aucune influence sur ce que vous essayez de découvrir.

• Caractéristiques trop prononcées (trop importantes). Cela peut être dû à une fuite de données.

Essayez de supprimer la caractéristique des données d'apprentissage, puis exécutez de nouveau l'apprentissage pour voir si cela améliore le modèle. Cela fait-il une grosse différence ou cela ne fait-il aucune différence pour le score du modèle ?

Procédez comme suit :

1. Ouvrez une expérimentation dans Catalogue.

2. Dans l'onglet Données, Modèles ou Analyser, sélectionnez le modèle à utiliser comme base pour la version suivante.

3. Cliquez sur Afficher la configuration.

   Le panneau Configuration de l'expérimentation s'ouvre.

4. Cliquez sur Nouvelle version pour configurer une nouvelle version d'expérimentation.

5. Sous Caractéristiques, décochez les cases des caractéristiques que vous ne souhaitez pas utiliser dans l'apprentissage.

Ajout de caractéristiques

Si votre modèle n'est toujours pas performant, cela peut être dû au fait que les caractéristiques qui ont une relation avec la cible ne sont pas encore capturées dans le jeu de données. Vous pouvez retraiter et réorienter l'objectif de votre jeu de données pour optimiser la qualité des données et ajouter de nouvelles caractéristiques et informations. Une fois qu'il est prêt, le nouveau jeu de données peut être ajouté aux versions d'expérimentation futures. Consultez Modification et actualisation du jeu de données.

Vous en saurez plus sur la capture ou l'ingénierie de nouvelles caractéristiques à la section Création de nouvelles colonnes de caractéristiques.

Sélection d'algorithmes

Les algorithmes appropriés sont automatiquement sélectionnés pour l'apprentissage en fonction du type de données de votre colonne cible. Vous pouvez exclure les algorithmes peu performants ou plus lents. Ainsi, vous ne perdez pas de temps avec eux lors de l'apprentissage.

Pour plus d'informations sur la sélection des algorithmes, voir la section Familiarisation avec les algorithmes d'un modèle.

Procédez comme suit :

1. Ouvrez une expérimentation dans Catalogue.

2. Dans l'onglet Données, Modèles ou Analyser, sélectionnez le modèle à utiliser comme base pour la version suivante.

3. Cliquez sur Afficher la configuration.

   Le panneau Configuration de l'expérimentation s'ouvre.

4. Cliquez sur Nouvelle version pour configurer une nouvelle version d'expérimentation.

5. Sous Algorithmes, décochez les cases des algorithmes que vous ne souhaitez pas utiliser dans l'apprentissage.

Modification et actualisation du jeu de données

Si vos données d'apprentissage ont changé depuis la dernière version d'expérimentation, vous pouvez modifier ou actualiser le jeu de données pour les futures versions de l'expérimentation.

Cela peut s'avérer utile si vous souhaitez comparer les métriques et les performances du modèle pour différents jeux de données au sein de la même expérimentation. Par exemple, cela s'avère utile dans les cas suivants :

• Un nouvel ensemble d'enregistrements de données est disponible, ou des mises à jour ont été apportées à l'ensemble d'enregistrements de données initial. Par exemple, les transactions du dernier mois sont maintenant disponibles et peuvent être utilisées dans l'apprentissage, ou un problème de collecte de données a été identifié et résolu.

• Le jeu de données d'apprentissage initial a été retraité ou son objectif a été réorienté, peut-être dans l'intention d'améliorer l'apprentissage du modèle. Par exemple, vous avez peut-être amélioré la logique de définition des valeurs des colonnes de caractéristiques, voire ajouté de nouvelles colonnes de caractéristiques.

La modification ou l'actualisation du jeu de données n'altère pas les modèles existants déjà formés à partir de précédentes versions d'expérimentation. Au sein d'une version d'expérimentation, les modèles sont formés uniquement sur les données d'apprentissage définies dans cette version spécifique.

Conditions requises

Lorsque vous modifiez ou actualisez le jeu de données en vue d'une nouvelle version d'expérimentation, le nouveau jeu de données doit remplir les conditions suivantes :

• Le nom et le type de caractéristique de la colonne cible doivent être les mêmes que ceux de la cible du jeu de données d'apprentissage initial.

• Le nombre de valeurs distinctes de la colonne cible doit figurer dans la même plage que celle requise pour le type d'expérimentation donné. Par exemple, pour une expérimentation de classification multiclasse, la colonne cible du nouveau jeu de données doit encore comporter entre trois et dix valeurs uniques. Pour connaître les plages spécifiques, voir Détermination du type de modèle créé.

Les autres colonnes de caractéristiques peuvent être entièrement nouvelles, porter des noms différents et contenir des données différentes.

Modification du jeu de données

Procédez comme suit :

1. Dans l'onglet Données, Modèles ou Analyser, sélectionnez le modèle à utiliser comme base pour la version suivante.

2. Cliquez sur Afficher la configuration.

   Le panneau Configuration de l'expérimentation s'ouvre.

3. Cliquez sur Nouvelle version pour configurer une nouvelle version d'expérimentation.

4. Sous Données d'apprentissage, cliquez sur Modifier le jeu de données.

5. Sélectionnez ou chargez le nouveau jeu de données.

Actualisation du jeu de données

Procédez comme suit :

1. Dans l'onglet Données, Modèles ou Analyser, sélectionnez le modèle à utiliser comme base pour la version suivante.

2. Cliquez sur Afficher la configuration.

   Le panneau Configuration de l'expérimentation s'ouvre.

3. Cliquez sur Nouvelle version pour configurer une nouvelle version d'expérimentation.

4. Sous Données d'apprentissage, cliquez sur Actualiser le jeu de données.

   Si une actualisation du jeu de données est disponible, vous en êtes informé. Un jeu de données est généralement actualisé lorsque le fichier de données existant est remplacé par la création d'un nouveau fichier portant le même nom.

Exécution de la version affinée

Une fois que vous avez fini de configurer la version, vous pouvez l'exécuter.

Procédez comme suit :

• Cliquez sur Exécuter v2 dans le coin inférieur droit de l'écran.

  (Le texte du bouton dépend du nombre de versions que vous avez exécutées.)

Comparaison de versions de l'expérimentation

Une fois que l'apprentissage de la nouvelle version est terminé, comparez la nouvelle version à l'ancienne pour voir l'effet de vos modifications. Pour comparer des modèles de différentes versions d'expérimentation, vous avez un certain nombre d'options à votre disposition.

Analyse rapide

Utilisez les onglets Modèles et Données de l'expérimentation pour comparer la version aux versions plus anciennes. Dans l'onglet Modèles, vous pouvez effectuer les opérations suivantes :

• Affichez les résultats dans le tableau Métriques des modèles.

• Passez d'un modèle à un autre pour voir les différences dans le Résumé de l'apprentissage du modèle et d'autres graphiques automatiquement générés.

Pour plus d'informations sur l'analyse de modèle rapide, consultez Réalisation d'une analyse de modèle rapide.

Analyse approfondie

Vous pouvez approfondir l'analyse des modèles en accédant aux onglets Comparer et Analyser de l'expérimentation. Ces onglets offrent une expérience d'analyse intégrée dans laquelle vous pouvez évaluer interactivement les modèles à un niveau plus granulaire.

L'onglet Comparer offre une comparaison des scores et des hyperparamètres de tous les modèles. L'onglet Analyser vous permet de vous concentrer sur un modèle en particulier pour évaluer l'exactitude de ses prédictions, l'importance de ses caractéristiques et d'autres détails.

Pour plus d'informations, consultez Comparaison des modèles et Réalisation d'une analyse de modèle détaillée.

Modification des paramètres d'optimisation du modèle

Vous pouvez désactiver l'optimisation intelligente après avoir exécuté une version dans laquelle elle était activée. Cela vous permet d'utiliser les informations analytiques fournies par l'optimisation intelligente tout en vous donnant également plus de contrôle pour apporter des ajustements mineurs. Sinon, vous pouvez activer l'optimisation de modèle intelligente après avoir exécuté une ou plusieurs versions avec le paramètre désactivé.

L'optimisation des hyperparamètres est un paramètre qu'il peut s'avérer utile d'activer lors du processus d'affinement des modèles. En règle générale, il n'est pas recommandé d'activer ce paramètre pour la première version de l'expérimentation.

Vous pouvez également décider d'utiliser ou non l'apprentissage temporel ou modifier la colonne utilisée comme index de date.

Procédez comme suit :

1. Cliquez sur Afficher la configuration.

2. Si nécessaire, cliquez sur Nouvelle version pour configurer une nouvelle version d'expérimentation.

3. Dans le panneau, développez Optimisation du modèle.

4. Passez des paramètres d'optimisation Intelligente à Manuelle ou inversement pour activer ou désactiver l'optimisation de modèle intelligente.

5. Pour activer l'optimisation des hyperparamètres, cochez la case Optimisation des hyperparamètres et définissez un temps d'apprentissage maximal.

6. Sous Test-train split basé sur le temps, vous pouvez modifier les paramètres d'apprentissage temporel :

   1. Pour activer l'apprentissage temporel, modifiez la valeur par défaut Aucun en sélectionnant une colonne Index de date spécifique dans le jeu de données.

   2. Pour désactiver l'apprentissage temporel, définissez Index de date sur Aucun.

   3. Remplacez la colonne Index de date sélectionnée par une autre colonne.

Suppression de versions d'expérimentation

Vous pouvez supprimer les versions de l'expérimentation que vous ne souhaitez pas conserver. Notez que tous les modèles des versions d'expérimentation seront eux aussi définitivement supprimés.

Procédez comme suit :

1. Accédez à l'onglet Modèles.

2. Dans le tableau Métriques des modèles, sélectionnez un modèle dont vous souhaitez supprimer la version d'expérimentation.

   Note ConseilVous pouvez également sélectionner un modèle lorsque vous vous trouvez dans l'onglet Données ou Analyser à l'aide du menu déroulant de la barre d'outils.

3. Dans le coin inférieur droit, cliquez sur Supprimer <numéro de version>.

4. Dans la boîte de dialogue de confirmation, cliquez sur Supprimer.