Réalisation d'une analyse de modèle rapide

Lorsque des modèles terminent l'apprentissage d'une version d'expérimentation, effectuez une analyse des métriques du modèle les plus importantes et accédez à un résumé de la manière dont les données d'apprentissage ont été traitées. Une analyse rapide s'effectue dans les onglets Données et Modèles.

Utilisez l'onglet Modèles pour une vue d'ensemble de vos résultats d'apprentissage. Lorsque vous exécutez une version d'expérimentation, vous passez automatiquement à l'onglet Modèles. Il est également recommandé de revenir à l'onglet Données tab pour inspecter la manière dont les données ont été prétraitées et traitées.

Des options supplémentaires sont disponibles pour une évaluation plus poussée des modèles. Vous pouvez comparer des métriques et des hyperparamètres supplémentaires entre des modèles ou vous concentrer sur un modèle spécifique pour l'analyser de manière granulaire. Ces options sont disponibles dans les onglets Comparer et Analyser. Pour plus d'informations, consultez :

• Comparaison des modèles

• Réalisation d'une analyse de modèle détaillée

Familiarisation avec les concepts

Il peut être utile d'avoir une compréhension basique des concepts sous-jacents à l'analyse de modèles avant de commencer à évaluer des modèles. Pour plus d'informations, consultez Familiarisation avec les concepts d'examen d'un modèle.

Impact des paramètres d'optimisation sur l'analyse

Votre expérience d'analyse peut être légèrement différente suivant que vous avez ou non utilisé l'optimisation de modèle intelligente. L'optimisation de modèle intelligente est activée par défaut pour les nouvelles expérimentations.

Analyse de modèles formés avec l'optimisation intelligente

Par défaut, les nouvelles expérimentations sont exécutées avec l'optimisation de modèle intelligente.

L'optimisation de modèle intelligente fournit un processus d'apprentissage plus robuste qui crée idéalement un modèle prêt à être déployé avec peu d'affinement ou aucun autre affinement. Les performances de ces modèles lors de leur déploiement dans des cas d'utilisation en production dépendent tout de même encore de la qualité du jeu de données avec lequel ils sont formés, qui doivent inclure des caractéristiques et données appropriées.

Si votre version a été formée avec l'optimisation de modèle intelligente, tenez compte des points suivants :

• Chaque modèle de la version peut avoir une sélection de caractéristiques différente suivant la manière dont l'algorithme a analysé les données.

• Dans l'onglet Modèles, lisez le Résumé de l'apprentissage du modèle du modèle en question avant de vous plonger davantage dans l'analyse spécifique. Le Résumé de l'apprentissage du modèle présente un résumé de la manière dont AutoML a automatiquement optimisé le modèle via l'itération de la sélection de caractéristiques et l'application de transformations avancées.

Pour plus d'informations sur l'optimisation de modèle intelligente, consultez Optimisation de modèle intelligente.

Analyse de modèles formés sans optimisation intelligente

Sinon, vous avez peut-être désactivé l'optimisation de modèle intelligente pour la version de l'apprentissage. L'optimisation manuelle des modèles peut être utile si vous avez besoin de plus de contrôle sur le processus d'apprentissage.

Si vous avez utilisé l'optimisation manuelle, tous les modèles de la version auront la même sélection de caractéristiques et le Résumé de l'apprentissage du modèle n'est dans ce cas pas nécessaire.

Inspection de la configuration

Lors du prétraitement, il se peut que des caractéristiques aient été exclues de l'utilisation lors de l'apprentissage. Cela se produit généralement parce que davantage d'informations sont découvertes sur les données à mesure de la progression de l'apprentissage alors qu'elles n'étaient pas connues avant l'exécution de la version.

Après examen du Résumé de l'apprentissage du modèle (affiché uniquement avec l'optimisation intelligente), vous pouvez vous pencher davantage sur la configuration de l'expérimentation si vous devez vérifier ces autres modifications.

Procédez comme suit :

1. Dans l'expérimentation, accédez à l'onglet Données.

2. Vérifiez que vous êtes bien dans la Vue Schéma.

3. Utilisez le menu déroulant de la barre d'outils pour sélectionner un modèle de la version.

4. Analysez le schéma du modèle. Vous souhaiterez peut-être vous concentrer sur les colonnes Informations etType de caractéristique pour voir si certaines caractéristiques sont exclues ou ont été transformées en un autre type de caractéristique.

   Par exemple, il est possible qu'une caractéristique initialement marquée comme Texte libre possible ait été exclue après l'exécution de la version.

   Pour plus d'informations sur la signification de chacune des informations analytiques, consultez Interprétation des informations analytiques d'un jeu de données.

Notez que si vous avez exécuté la version avec l'option d'optimisation intelligente par défaut, chaque modèle de la version peut avoir une sélection de caractéristiques différente en raison de l'affinement automatique. Si la version a été exécutée sans optimisation intelligente, la sélection de caractéristiques sera la même pour tous les modèles de la version. Pour plus d'informations sur l'optimisation de modèle intelligente, consultez Optimisation de modèle intelligente.

Suivant ce que vous trouvez dans cette configuration, vous devrez peut-être revenir à la phage de préparation de l'ensemble de données pour améliorer les données de vos caractéristiques.

Avec l'optimisation de modèle intelligente désactivée, vous ne verrez pas de Résumé de l'apprentissage du modèle dans le cadre de votre expérience d'analyse rapide. De plus, tous les modèles d'une version d'expérimentation utiliseront les mêmes combinaisons de caractéristiques, tandis que les modèles dont l'apprentissage a été effectué avec l'optimisation intelligente peuvent avoir des combinaisons de caractéristiques différentes.

Sélection d'un modèle

Une fois l'apprentissage terminé, le modèle le plus performant est automatiquement sélectionné pour l'analyse et les métriques de ce modèle sont affichées. Le modèle le plus performant de chaque version d'expérimentation est marqué d'une icône .

Passez d'un modèle à un autre pour comparer les différences entre les métriques et les différences de configuration. Si vous vous trouvez dans l'onglet Données, utilisez le menu déroulant de la barre d'outils pour sélectionner un modèle. Si vous vous trouvez dans l'onglet Modèles, cliquez sur un modèle du tableau Métriques des modèles pour sélectionner un modèle.

Analyse du résumé de l'apprentissage

Pour les modèles dont l'apprentissage est réalisé avec l'optimisation de modèle intelligente, le Résumé de l'apprentissage du modèle souligne les informations essentielles sur ce qui s'est produit lors de l'apprentissage. Ce résumé inclut les éléments suivants :

• Le ratio d'échantillonnage du modèle.

• Une liste des caractéristiques automatiquement exclues suite à l'optimisation intelligente. Cette liste varie suivant le modèle sélectionné.

• Un lien vers le jeu de données d'apprentissage.

Le Résumé de l'apprentissage du modèle n'est pas affiché si vous optimisez vos modèles manuellement.

Pour plus d'informations sur l'optimisation de modèle intelligente, consultez Optimisation de modèle intelligente.

Le résumé de l'apprentissage du modèle ne répertorie pas les caractéristiques qui ont été exclues lors de la phase de prétraitement. Pour consulter ces informations, revenez à l'onglet Données de l'expérimentation. Consultez : Inspection de la configuration

Procédez comme suit :

1. Dans l'expérimentation, accédez à l'onglet Modèles.

2. Confirmez que vous avez sélectionné le modèle que vous souhaitez analyser.

3. Dans la section Informations relatives au modèle sur le côté droit de la page, consultez le Résumé de l'apprentissage du modèle.

Analyse du tableau Métriques des modèles

Le tableau Métriques des modèles fournit des informations générales sur les performances de chaque modèle de l'expérimentation. Ce tableau est affiché dans l'onglet Modèles.

Lorsque vous vous trouvez dans l'onglet Modèles, le tableau Métriques des modèles vous permet également de sélectionner un modèle à analyser.

Le tableau Métriques des modèles affiche les informations suivantes :

• Si le modèle est ou non celui offrant les meilleures performances pour sa version.

• Le nom de chaque modèle (cette information peut être modifiée, le cas échéant). Consultez : Modification des détails du modèle)

• L'algorithme utilisé pour effectuer l'apprentissage du modèle.

• Les valeurs du score de performances du modèle le plus important en fonction du type de modèle défini par la cible d'expérimentation :

  • Modèles de classification binaire : F1.

    Score F1

  • Modèles de classification multiclasse : F1 Macro.

    Macro F1

  • Modèles de régression : R2.

    Coefficient de détermination R2

  Pour plus d'informations sur le type des modèles dont votre expérimentation effectue l'apprentissage, consultez Détermination du type de modèle créé.

Filtrage des modèles du tableau

Le tableau Métriques des modèles peut être filtré de sorte à afficher uniquement les modèles à comparer.

Les filtres suivants sont disponibles et peuvent être combinés, si besoin :

• Version : sélectionnez une ou plusieurs versions d'expérimentation.

• Algorithme : sélectionnez un ou plusieurs algorithmes.

• Meilleurs résultats : affichez les modèles les plus performants sur l'ensemble des versions (marqués d'icônes ). Se trouve sous Plus de filtres de modèle.

• Échantillonnage à 100 % : ce filtre est appliqué par défaut. Il peut être supprimé, si vous le souhaitez. Le filtre affiche les modèles qui ont utilisé le jeu de données d'apprentissage complet pour effectuer le processus d'apprentissage et de validation croisée. Se trouve sous Plus de filtres de modèle.

• Déployé : affiche les modèles qui ont été déployés dans des déploiements ML. Se trouve sous Plus de filtres de modèle.

Interprétation des visualisations Importance des caractéristiques

Dans l'onglet Modèles, faites défiler l'écran vers le bas pour afficher les visualisations Importance des caractéristiques. Il s'agit de Permutation importance et de SHAP importance.

Graphique Permutation importance

Le graphique Permutation importance montre l'importance de chaque caractéristique par rapport à la prédiction générale du modèle. Les informations que vous voyez sur le graphique Permutation importance peuvent vous aider à savoir comment affiner vos modèles.

Parmi les informations courantes que vous pouvez tirer de l'analyse de ce graphique figurent les points suivants :

• Si une caractéristique consomme la quasi-totalité de l'importance, il est probable que cela indique une fuite de la cible. La caractéristique doit être retirée. Si cela est dû à des problèmes de qualité des données, ces problèmes doivent eux aussi être résolus.

  Fuite de données

• Certaines caractéristiques peuvent avoir très peu d'impact, voire aucun impact sur les prédictions du modèle. Les caractéristiques avec une permutation importance extrêmement faible peuvent être considérées comme des parasites statistiques et doivent être retirées.

 Si l'optimisation de modèle intelligente a été utilisée pour effectuer l'apprentissage de la version, il se peut que certains des problèmes courants susmentionnés ait été automatiquement résolus en excluant ces caractéristiques.

Pour plus d'informations sur permutation importance, consultez Familiarisation avec le concept de permutation importance.

Graphique SHAP importance

Le graphique SHAP importance offre une autre méthode d'analyse de l'influence de chaque caractéristique de l'expérimentation sur les prédictions de chaque modèle. Cela vous donne des informations précoces sur les caractéristiques significatives ou pour savoir si vous devez reconfigurer l'apprentissage. Pour plus d'informations, consultez Familiarisation avec SHAP importance dans l'apprentissage d'une expérimentation.

Interprétation des visualisations d'évaluation des modèles

Si votre expérimentation est un problème de classification binaire, un certain nombre de visualisations supplémentaires sont automatiquement générées à des fins de consommation rapide. Ces visualisations vous indiquent davantage dans quelle mesure le modèle prédit correctement les classes positives et négatives.

Pour plus d'informations sur ces visualisations, consultez Évaluation des modèles de classification binaire.

Matrice de confusion

Le graphique Matrice de confusion indique l'exactitude des prédictions créées par le modèle. Les prédictions sont faites sur les données de rétention automatiques.

Matrice de confusion

Courbe ROC

Le graphique Courbe ROC décrit dans quelle mesure le modèle peut prédire la classe positive lorsque le résultat réel est positif.

Pour savoir à quoi ressemble une courbe ROC idéale, consultez AUC et courbe ROC.