Réalisation d'une analyse de modèle détaillée

Dans l'onglet Analyser de l'expérimentation, vous pouvez vous concentrer sur un seul modèle pour une analyse en profondeur de ses performances prédictives. L'analyse détaillée est effectuée à l'aide d'une analyse intégrée.

Une fois l'apprentissage terminé, sélectionnez un modèle. Ensuite, ouvrez l'onglet Analyser pour afficher plus d'informations sur l'exactitude des prédictions du modèle, ce qui influence les tendances des données et d'autres informations. Les données affichées dans l'onglet Analyser sont basées sur les prédictions générées par le modèle par rapport aux données de rétention.

Parmi les principaux avantages d'une analyse de modèle détaillée figurent les avantages suivants :

• Une interface interactive qui vous permet d'affiner et de personnaliser les données de visualisation selon les besoins.

• Une vue détaillée des prédictions effectuées sur les données de rétention, ainsi que des statistiques sur l'importance des caractéristiques.

Flux de travail d'une analyse

Pour comprendre parfaitement les résultats de l'apprentissage d'un modèle, il est recommandé d'effectuer une analyse rapide, puis de passer aux options supplémentaires des onglets Comparer et Analyser. L'analyse rapide fournit un Résumé de l'apprentissage du modèle affichant les caractéristiques qui ont été exclues lors du processus d'optimisation intelligente, ainsi qu'un certain nombre de visualisations automatiquement générées à des fins de consommation rapide. Les onglets Comparer et Analyser n'affichent pas le Résumé de l'apprentissage du modèle, mais il vous permet d'analyser plus en profondeur les métriques des modèles pour mieux comprendre la qualité de vos modèles.

Pour plus d'informations sur les autres options d'analyse, consultez :

• Réalisation d'une analyse de modèle rapide

• Comparaison des modèles

Familiarisation avec les concepts

Il peut être utile d'avoir une compréhension basique des concepts sous-jacents à l'analyse de modèles avant de commencer à évaluer des modèles. Pour plus d'informations, consultez Familiarisation avec les concepts d'examen d'un modèle.

Impact des paramètres d'optimisation sur l'analyse

Votre expérience d'analyse peut être légèrement différente suivant que vous avez ou non utilisé l'optimisation de modèle intelligente. L'optimisation de modèle intelligente est activée par défaut pour les nouvelles expérimentations.

Analyse de modèles formés avec l'optimisation intelligente

Par défaut, les nouvelles expérimentations sont exécutées avec l'optimisation de modèle intelligente.

L'optimisation de modèle intelligente fournit un processus d'apprentissage plus robuste qui crée idéalement un modèle prêt à être déployé avec peu d'affinement ou aucun autre affinement. Les performances de ces modèles lors de leur déploiement dans des cas d'utilisation en production dépendent tout de même encore de la qualité de l'ensemble de données avec lequel ils sont formés, qui doivent inclure des caractéristiques et données appropriées.

Si votre version a été formée avec l'optimisation de modèle intelligente, tenez compte des points suivants :

• Chaque modèle de la version peut avoir une sélection de caractéristiques différente suivant la manière dont l'algorithme a analysé les données.

• Dans l'onglet Modèles, lisez le Résumé de l'apprentissage du modèle du modèle en question avant de vous plonger davantage dans l'analyse spécifique. Le Résumé de l'apprentissage du modèle synthétise la manière dont AutoML a automatiquement optimisé le modèle en excluant des caractéristiques potentiellement problématiques.

Pour plus d'informations sur l'optimisation de modèle intelligente, consultez Optimisation de modèle intelligente.

Analyse de modèles formés sans optimisation intelligente

Sinon, vous avez peut-être désactivé l'optimisation de modèle intelligente pour la version de l'apprentissage. L'optimisation manuelle des modèles peut être utile si vous avez besoin de plus de contrôle sur le processus d'apprentissage.

Si vous avez utilisé l'optimisation manuelle, tous les modèles de la version auront la même sélection de caractéristiques et le Résumé de l'apprentissage du modèle n'est dans ce cas pas nécessaire.

Inspection de la configuration

Lors du prétraitement, il se peut que des caractéristiques aient été exclues de l'utilisation lors de l'apprentissage. Cela se produit généralement parce que davantage d'informations sont découvertes sur les données à mesure de la progression de l'apprentissage alors qu'elles n'étaient pas connues avant l'exécution de la version.

Après examen du Résumé de l'apprentissage du modèle (affiché uniquement avec l'optimisation intelligente), vous pouvez vous pencher davantage sur la configuration de l'expérimentation si vous devez vérifier ces autres modifications.

Procédez comme suit :

1. Dans l'expérimentation, accédez à l'onglet Données.

2. Vérifiez que vous êtes bien dans la Vue Schéma.

3. Utilisez le menu déroulant de la barre d'outils pour sélectionner un modèle de la version.

4. Analysez le schéma du modèle. Vous souhaiterez peut-être vous concentrer sur les colonnes Informations etType de caractéristique pour voir si certaines caractéristiques sont exclues ou ont été transformées en un autre type de caractéristique.

   Par exemple, il est possible qu'une caractéristique initialement marquée comme Texte libre possible ait été exclue après l'exécution de la version.

   Pour plus d'informations sur la signification de chacune des informations analytiques, consultez Interprétation des informations analytiques d'un jeu de données.

Notez que si vous avez exécuté la version avec l'option d'optimisation intelligente par défaut, chaque modèle de la version peut avoir une sélection de caractéristiques différente en raison de l'affinement automatique. Si la version a été exécutée sans optimisation intelligente, la sélection de caractéristiques sera la même pour tous les modèles de la version. Pour plus d'informations sur l'optimisation de modèle intelligente, consultez Optimisation de modèle intelligente.

Suivant ce que vous trouvez dans cette configuration, vous devrez peut-être revenir à la phage de préparation de l'ensemble de données pour améliorer les données de vos caractéristiques.

Lancement d'une analyse détaillée

Il existe un certain nombre de méthodes permettant de lancer une analyse détaillée d'un modèle spécifique :

• Sélectionnez un modèle dans l'onglet Données ou Modèles, cliquez sur à côté du modèle, puis sur Analyser.

• Cliquez sur l'onglet Analyser après avoir sélectionné un modèle.

• Si vous avez déjà ouvert une analyse détaillée d'un modèle, utilisez le menu déroulant de la barre d'outils pour sélectionner un autre modèle.

Le contenu analytique dépend du type de modèle tel que défini par la cible de l'expérimentation. Suivant le type de modèle, des métriques différentes seront disponibles.

Navigation dans l'analyse intégrée

Utilisez l'interface interactive pour analyser le modèle à l'aide de l'analyse intégrée.

Passage d'une feuille à une autre

Le panneau Feuilles vous permet de passer d'une feuille à une autre dans l'analyse. Chaque feuille a un focus spécifique. Le panneau peut être développé et réduit selon les besoins.

Procédure de sélection

Utilisez des sélections pour affiner les données. Vous pouvez sélectionner des caractéristiques et vous pencher davantage sur des valeurs et des plages spécifiques. Cela vous permet de les regarder de plus près, si nécessaire. Dans certains cas, vous devrez peut-être effectuer une ou plusieurs sélections pour pouvoir afficher des visualisations. Cliquez sur les valeurs des données des visualisations et volets de filtre pour effectuer des sélections.

Vous pouvez appliquer des sélections comme suit :

• Sélectionnez des valeurs en cliquant sur du contenu, en définissant des plages et en utilisant la fonction de tracé.

• Effectuez des recherches dans des graphiques pour sélectionner des valeurs.

• Cliquez sur un champ sélectionné dans la barre d'outils en haut de l'analyse intégrée. Cela vous permet d'effectuer des recherches dans des sélections existantes, de les verrouiller ou de les déverrouiller et de les modifier davantage.

• Dans la barre d'outils en haut de l'analyse intégrée, cliquez sur pour supprimer une sélection. Effacez toutes les sélections en cliquant sur l'icône .

• Avancez ou reculez dans vos sélections en cliquant sur et sur .

Les analyses contiennent des volets de filtre qui facilitent l'affinement des données. Dans un volet de filtre, cochez la case d'une valeur pour la sélectionner. Si le volet de filtre contient plusieurs zones de liste, cliquez sur une zone de liste pour la développer, puis effectuez les sélections de votre choix.

Exportation de données dans le catalogue

Vous pouvez exporter dans le catalogue les données utilisées dans l'analyse détaillée. Les données sont exportées dans un espace dans Qlik Cloud Analytics. Vous pouvez utiliser les données exportées pour créer vos propres applications Qlik Sense à des fins d'analyse personnalisée.

Pour plus d'informations, consultez Exportation des données d'apprentissage d'un modèle.

Analyse de l'exactitude des prédictions

La manière dont vous interprétez l'exactitude des prédictions dépend de la structure de votre jeu de données d'apprentissage et de votre cas d'utilisation d'apprentissage automatique. L'interprétation de ces visualisations dépend également du type de modèle. Vous trouverez plus d'informations sur chaque type de modèle dans les sections ci-dessous.

La section Prédictions de la feuille Vue d'ensemble du modèle fournit une vue d'ensemble agrégée du nombre de prédictions correctes et incorrectes du modèle.

À l'aide de la feuille Prédictions et distribution de la caractéristique, penchez-vous sur une caractéristique spécifique pour analyser la nature des inexactitudes des prédictions. Sélectionnez une seule caractéristique dans le volet de filtre sur le côté gauche de la feuille. Pour tous les types de modèle, cette feuille affiche les inexactitudes des prédictions et la distribution des valeurs réelles côte-à-côte pour vous aider à mettre les données en perspective.

Modèles de classification binaire

Analyse du modèle complet

Dans la section Prédictions de la feuille Vue d'ensemble du modèle, les données brutes définies dans la matrice de confusion sont affichées. Elles incluent les vrais et les faux positifs et négatifs. Ces valeurs sont présentées sous la forme de totaux statiques de sorte à ne pas répondre aux sélections. Pour en savoir plus sur la signification de ces valeurs, consultez Matrice de confusion.

Analyse des sous-ensembles des données

Sur la feuille Prédictions et distribution de la caractéristique, le graphique Prédictions erronées affiche une barre pour chaque valeur ou plage de caractéristique possible dans la caractéristique, la hauteur de la barre correspondant au nombre de prédictions incorrectes faites par le modèle. Chaque couleur de la barre correspond à chacune des valeurs cibles réelles. Sélectionnez une seule caractéristique et des valeurs d'autres champs de votre choix pour voir comment l'exactitude des prédictions change en fonction de sous-jeux de données différents.

Modèles de classification multiclasse

Analyse du modèle complet

Dans la section Prédictions de la feuille Vue d'ensemble du modèle, un graphique à barres est affiché avec une barre pour chacune des valeurs cibles réelles. La hauteur de chaque couleur d'une barre correspond au nombre de fois où une classe spécifique est prédite par le modèle. En plus de ce graphique, la section Prédictions affiche également une répartition des prédictions correctes par rapport aux prédictions incorrectes.

Analyse des sous-ensembles des données

Sur la feuille Prédictions et distribution de la caractéristique, le graphique Prédictions erronées affiche une barre pour chaque valeur ou plage possible dans la caractéristique, la hauteur de la barre correspondant au nombre de prédictions incorrectes faites par le modèle. Chaque couleur de la barre correspond à chacune des valeurs cibles réelles.

Modèles de régression

Pour les modèles de régression, vous pouvez afficher les informations suivantes au niveau tant du modèle que d'une caractéristique :

• Valeur prédite moyenne de la cible

• Valeur cible réelle

• Plages de prédictions des percentiles 90 et 10. Ces lignes affichent les plages dans lesquelles vous pouvez vous attendre à ce que le modèle prédise une valeur. La ligne du percentile 90 sera toujours celle contenant les valeurs supérieures.

• Mean Absolute Error (MAE - erreur absolue moyenne)

Pour les visualisations à l'échelle du modèle et spécifiques à une caractéristique, analysez les métriques avec la distribution des valeurs réelles de la caractéristique.

Analyse de l'importance des caractéristiques

Accès à une vue d'ensemble

L'analyse de l'importance des caractéristiques vous donne une indication de la manière dont chaque caractéristique influence les prédictions par rapport aux autres caractéristiques.

La section Impact des caractéristiques de la feuille Vue d'ensemble du modèle fournit une vue d'ensemble agrégée des valeurs de Shapley (SHAP) absolues moyennes. Ce graphique ressemble au graphique SHAP importance de l'onglet Modèles. Le graphique se met à jour en fonction des sélections que vous effectuez. Lorsque vous sélectionnez une seule caractéristique, vous pouvez effectuer un zoom avant sur ses valeurs et plages spécifiques pour voir plus de détails.

Analyse de la distribution SHAP

Vous pouvez également ouvrir la feuille Impact par caractéristique pour obtenir une vue plus complète des valeurs SHAP de chaque valeur ou plage d'une caractéristique. Les valeurs SHAP sont présentées avec une direction et non pas sous forme de valeurs absolues.

Cette analyse vous permet d'identifier les tendances de cohortes spécifiques ainsi que de trouver les valeurs hors norme des données. Effectuez des sélections de valeurs ou de plages dans le graphique pour filtrer les données afin d'obtenir une analyse plus granulaire.

L'aspect et le type du graphique dépendent du type de caractéristique sélectionné.

Caractéristiques catégoriques

Les caractéristiques catégoriques sont visualisées sous forme de boîte à moustaches. La boîte à moustaches vous permet de voir la distribution des valeurs SHAP de chaque valeur catégorique. La configuration de la boîte à moustaches est la suivante :

• Affiche les valeurs SHAP moyennes.

• La configuration Standard (Tukey) est utilisée :

  • La boîte d'une valeur est définie par le premier quartile (extrémité inférieure) et le troisième quartile (extrémité supérieure).

  • La médiane est la ligne horizontale à l'intérieur de la boîte.

• Les moustaches supérieure et inférieure correspondent aux limites supérieure et inférieure de la plage interquartile de 1,5.

• Les valeurs hors norme ne sont pas affichées.

Caractéristiques numériques

Pour les caractéristiques numériques, les valeurs SHAP sont visualisées sous la forme d'un nuage de points. La configuration du nuage de points est la suivante :

• Les valeurs SHAP de l'échantillon sélectionné sont affichées.

• L'aspect du nuage de points dépend du nombre de points de données à afficher. Pour les graphiques avec un nombre de points de données inférieur, des bulles individuelles sont affichées. Pour les graphiques avec un grand nombre de points de données, les bulles sont collectées dans des blocs avec des couleurs indiquant le nombre de points de données dans chaque bloc.

Dans le nuage de points, effectuez des sélections de valeurs ou plages spécifiques pour les examiner de plus près.