Réalisation d'une analyse de modèle rapide
Lorsque des modèles terminent l'apprentissage d'une version d'expérimentation, effectuez une analyse des métriques du modèle les plus importantes et accédez à un résumé de la manière dont les données d'apprentissage ont été traitées. Une analyse rapide s'effectue dans les onglets Données et Modèles.
Utilisez l'onglet Modèles pour une vue d'ensemble de vos résultats d'apprentissage. Lorsque vous exécutez une version d'expérimentation, vous passez automatiquement à l'onglet Modèles. Il est également recommandé de revenir à l'onglet Données tab pour inspecter la manière dont les données ont été prétraitées et traitées.
Onglet Modèles d'une expérimentation de classification binaire
Des options supplémentaires sont disponibles pour une évaluation plus poussée des modèles. Vous pouvez comparer des métriques et des hyperparamètres supplémentaires entre des modèles ou vous concentrer sur un modèle spécifique pour l'analyser de manière granulaire. Ces options sont disponibles dans les onglets Comparer et Analyser. Pour plus d'informations, consultez :
Familiarisation avec les concepts
Il peut être utile d'avoir une compréhension basique des concepts sous-jacents à l'analyse de modèles avant de commencer à évaluer des modèles. Pour plus d'informations, consultez Familiarisation avec les concepts d'examen d'un modèle.
Impact des paramètres d'optimisation sur l'analyse
Pour les expérimentations de classification et de régression, votre expérience d'analyse peut être légèrement différente suivant que vous avez ou non utilisé l'optimisation de modèle intelligente. L'optimisation de modèle intelligente est activée par défaut pour les nouvelles expérimentations de classification et de régression.
Analyse de modèles formés avec l'optimisation intelligente
Par défaut, les nouvelles expérimentations de classification et de régression sont exécutées avec l'optimisation de modèle intelligente.
L'optimisation de modèle intelligente fournit un processus d'apprentissage plus robuste qui crée idéalement un modèle prêt à être déployé avec peu d'affinement ou aucun autre affinement. Les performances de ces modèles lors de leur déploiement dans des cas d'utilisation en production dépendent tout de même encore de la qualité du jeu de données avec lequel ils sont formés, qui doivent inclure des caractéristiques et données appropriées.
Si votre version a été formée avec l'optimisation de modèle intelligente, tenez compte des points suivants :
-
Chaque modèle de la version peut avoir une sélection de caractéristiques différente suivant la manière dont l'algorithme a analysé les données.
-
Dans l'onglet Modèles, lisez le Résumé de l'apprentissage du modèle du modèle en question avant de vous plonger davantage dans l'analyse spécifique. Le Résumé de l'apprentissage du modèle présente un résumé de la manière dont Qlik Predict a automatiquement optimisé le modèle via l'itération de la sélection de caractéristiques et l'application de transformations avancées.
Pour plus d'informations sur l'optimisation de modèle intelligente, consultez Optimisation de modèle intelligente.
Analyse de modèles formés sans optimisation intelligente
Sinon, vous avez peut-être désactivé l'optimisation de modèle intelligente pour la version de l'apprentissage. L'optimisation manuelle des modèles peut être utile si vous avez besoin de plus de contrôle sur le processus d'apprentissage.
Si vous avez utilisé l'optimisation manuelle, tous les modèles de la version auront la même sélection de caractéristiques et le Résumé de l'apprentissage du modèle n'est dans ce cas pas nécessaire.
Inspection de la configuration
Lors du prétraitement, il se peut que des caractéristiques aient été exclues de l'utilisation lors de l'apprentissage. Cela se produit généralement parce que davantage d'informations sont découvertes sur les données à mesure de la progression de l'apprentissage alors qu'elles n'étaient pas connues avant l'exécution de la version.
Après examen du Résumé de l'apprentissage du modèle (affiché uniquement avec l'optimisation intelligente), vous pouvez vous pencher davantage sur la configuration de l'expérimentation si vous devez vérifier ces autres modifications.
Procédez comme suit :
-
Dans l'expérimentation, accédez à l'onglet Données.
-
Vérifiez que vous êtes bien dans la
Vue Schéma. -
Utilisez le menu déroulant de la barre d'outils pour sélectionner un modèle de la version.
-
Analysez le schéma du modèle. Vous souhaiterez peut-être vous concentrer sur les colonnes Informations etType de caractéristique pour voir si certaines caractéristiques sont exclues ou ont été transformées en un autre type de caractéristique.
Par exemple, il est possible qu'une caractéristique initialement marquée comme Texte libre possible ait été exclue après l'exécution de la version.
Pour plus d'informations sur la signification de chacune des informations analytiques, consultez Interprétation des informations analytiques d'un jeu de données.
Notez que si vous avez exécuté la version avec l'option d'optimisation intelligente par défaut, chaque modèle de la version peut avoir une sélection de caractéristiques différente en raison de l'affinement automatique. Si la version a été exécutée sans optimisation intelligente, la sélection de caractéristiques sera la même pour tous les modèles de la version. Pour plus d'informations sur l'optimisation de modèle intelligente, consultez Optimisation de modèle intelligente.
Suivant ce que vous trouvez dans cette configuration, vous devrez peut-être revenir à la phage de préparation du jeu de données pour améliorer les données de vos caractéristiques.
Avec l'optimisation de modèle intelligente désactivée, vous ne verrez pas de Résumé de l'apprentissage du modèle dans le cadre de votre expérience d'analyse rapide. De plus, tous les modèles d'une version d'expérimentation utiliseront les mêmes combinaisons de caractéristiques, tandis que les modèles dont l'apprentissage a été effectué avec l'optimisation intelligente peuvent avoir des combinaisons de caractéristiques différentes.
Sélection d'un modèle
Une fois l'apprentissage terminé, le modèle recommandé est automatiquement sélectionné pour l'analyse et les métriques de ce modèle sont affichées.
Passez d'un modèle à un autre pour comparer les différences entre les métriques et les différences de configuration. Si vous vous trouvez dans l'onglet Données, utilisez le menu déroulant de la barre d'outils pour sélectionner un modèle. Si vous vous trouvez dans l'onglet Modèles, cliquez sur un modèle du tableau Métriques des modèles pour sélectionner un modèle.
Analyse du résumé de l'apprentissage
Optimisation de modèle intelligente
Pour les modèles dont l'apprentissage est réalisé avec l'optimisation de modèle intelligente, le Résumé de l'apprentissage du modèle souligne les informations essentielles sur ce qui s'est produit lors de l'apprentissage. Ce résumé inclut les éléments suivants :
-
Le ratio d'échantillonnage du modèle.
-
Une liste des caractéristiques automatiquement exclues suite à l'optimisation intelligente. Cette liste varie suivant le modèle sélectionné.
-
Une synthèse de toutes les transformations avancées appliquées lors de l'apprentissage du modèle.
-
Un lien vers le jeu de données d'apprentissage.
Le Résumé de l'apprentissage du modèle n'est pas affiché si vous optimisez vos modèles manuellement.
Pour plus d'informations sur l'optimisation de modèle intelligente, consultez Optimisation de modèle intelligente.
Graphique Résumé de l'apprentissage du modèle d'un modèle, affiché dans l'onglet Modèles
Le résumé de l'apprentissage du modèle ne répertorie pas les caractéristiques qui ont été exclues lors de la phase de prétraitement. Pour consulter ces informations, revenez à l'onglet Données de l'expérimentation. Voir : Inspection de la configuration
Procédez comme suit :
-
Dans l'expérimentation, accédez à l'onglet Modèles.
-
Confirmez que vous avez sélectionné le modèle que vous souhaitez analyser.
-
Dans la section Informations relatives au modèle sur le côté droit de la page, consultez le Résumé de l'apprentissage du modèle.
Expérimentations de série temporelle
Dans les expérimentations de série temporelle, le Résumé de l'apprentissage du modèle affiche les paramètres de configuration du problème de projection de série temporelle tels que définis par les paramètres d'apprentissage et votre jeu de données. Certains de ces détails ont été estimés avant le début de l'apprentissage, mais ils sont maintenant confirmés avec certitude après l'analyse de l'ensemble du jeu de données. Vous pouvez afficher les détails suivants :
-
La plage de dates des données utilisées pour effectuer l'apprentissage du modèle
-
L'étape temporelle
-
La taille de la fenêtre à appliquer
-
La projection maximale
-
La fenêtre de projection et les tailles d'écart
Graphique Résumé de l'apprentissage du modèle d'un modèle d'une expérimentation de série temporelle
Analyse du tableau Métriques des modèles
Le tableau Métriques des modèles fournit des informations générales sur les performances de chaque modèle de l'expérimentation. Les modèles recommandés de cette liste sont présentés au-dessus du tableau.
Tableau Métriques des modèles avec les filtres et les modèles recommandés
Le tableau indique les informations suivantes :
-
Si le modèle est un modèle performant par rapport aux types de modèles performants. Voir : Recherche des meilleurs modèles
-
Le nom de chaque modèle (cette information peut être modifiée, le cas échéant). Voir : Modification des détails du modèle)
-
L'algorithme utilisé pour effectuer l'apprentissage du modèle.
-
Métriques clés liées aux performances du modèle. Vous pouvez accéder aux informations suivantes comme suit :
-
Métriques communes pour évaluer le potentiel prédictif, en fonction du type de modèle. Pour les modèles de classification binaire, il s'agit de F1. Pour les modèles de classification multiclasse, il s'agit de F1 Macro. Pour les modèles de régression, il s'agit de R2.
-
Vitesse de prédiction.
-
Exactitude. Pour les modèles de classification, il s'agit de la métrique appelée Exactitude. Pour les modèles de régression, il s'agit de MAE (Mean Absolute Error - Erreur absolue moyenne).
-
Recherche des meilleurs modèles
Les meilleurs modèles et les modèles les plus performants sont déterminés en fonction des filtres que vous avez appliqués. Ils sont présentés sous forme de recommandations au-dessus du tableau Métriques des modèles et sont également mis en évidence dans le tableau.
Le Meilleur modèle est sélectionné par défaut. Ce modèle est marqué d'une icône 
. Le meilleur modèle est déterminé par un calcul équilibré qui tient compte à la fois de l'exactitude et de la vitesse de prédiction.
Suivant votre cas d'utilisation, vous pourriez également être intéressé par l'analyse individuelle de marqueurs de performances spécifiques. Les autres modèles les plus performants sont mis en évidence par les marqueurs suivants :
-
Le plus exact : modèle qui affiche la plus grande exactitude en fonction des métriques de notation applicables au type de problème. -
Modèle le plus rapide : modèle qui offre les vitesses de prédiction les plus élevées. L'exactitude est également prise en compte.
Vous pouvez également sélectionner les modèles les plus performants directement à partir des recommandations situées au-dessus du tableau Métriques des modèles.
Pour une vue d'ensemble complète de la manière dont est déterminé chaque type de modèle recommandé, consultez Sélection du modèle qui vous convient le mieux.
Filtrage des modèles du tableau
Le tableau Métriques des modèles peut être filtré de sorte à afficher uniquement les modèles à comparer.
Les filtres suivants sont disponibles et peuvent être combinés, si besoin :
-
Version : sélectionnez une ou plusieurs versions d'expérimentation.
-
Algorithme : sélectionnez un ou plusieurs algorithmes.
-
Échantillonnage à 100 % : ce filtre est appliqué par défaut. Il peut être supprimé, si vous le souhaitez. Le filtre affiche les modèles qui ont utilisé le jeu de données d'apprentissage complet pour effectuer le processus d'apprentissage et de validation croisée. Se trouve sous Plus de filtres de modèle.
-
Déployé : affiche les modèles qui ont été déployés dans des déploiements ML. Se trouve sous Plus de filtres de modèle.
Une fois que vous avez appliqué les filtres de votre choix, les modèles les plus performants sont automatiquement recalculés en fonction des éléments filtrés. Vos modèles recommandés sont alors mis à jour.
Interprétation des visualisations Importance des caractéristiques
Dans l'onglet Modèles, faites défiler l'écran vers le bas pour afficher les visualisations Importance des caractéristiques. Il s'agit de Permutation importance et de SHAP importance.
Visualisation Importance des caractéristiques dans l'onglet Modèles
Graphique Permutation importance
Le graphique Permutation importance montre l'importance de chaque caractéristique par rapport à la prédiction générale du modèle. Les informations que vous voyez sur le graphique Permutation importance peuvent vous aider à savoir comment affiner vos modèles.
Parmi les informations courantes que vous pouvez tirer de l'analyse de ce graphique figurent les points suivants :
-
Si une caractéristique consomme la quasi-totalité de l'importance, il est probable que cela indique une fuite de la cible. La caractéristique doit être retirée. Si cela est dû à des problèmes de qualité des données, ces problèmes doivent eux aussi être résolus.
-
Certaines caractéristiques peuvent avoir très peu d'impact, voire aucun impact sur les prédictions du modèle. Les caractéristiques avec une permutation importance extrêmement faible peuvent être considérées comme des parasites statistiques et doivent être retirées.
Si l'optimisation de modèle intelligente a été utilisée pour effectuer l'apprentissage de la version, il se peut que certains des problèmes courants susmentionnés ait été automatiquement résolus en excluant ces caractéristiques.
Pour plus d'informations sur permutation importance, consultez Familiarisation avec le concept de permutation importance.
Graphique SHAP importance
Le graphique SHAP importance offre une autre méthode d'analyse de l'influence de chaque caractéristique de l'expérimentation sur les prédictions de chaque modèle. Cela vous donne des informations précoces sur les caractéristiques significatives ou pour savoir si vous devez reconfigurer l'apprentissage. Pour plus d'informations, consultez Familiarisation avec SHAP importance dans l'apprentissage d'une expérimentation.
Interprétation des visualisations d'évaluation des modèles
Pour certains types de modèle, des visualisations supplémentaires sont disponibles pour montrer une vue d'ensemble des performances du modèle.
Classification binaire
Si votre expérimentation est un problème de classification binaire, un certain nombre de visualisations supplémentaires sont automatiquement générées à des fins de consommation rapide. Ces visualisations vous indiquent davantage dans quelle mesure le modèle prédit correctement les classes positives et négatives.
Pour plus d'informations sur ces visualisations, consultez Évaluation des modèles de classification binaire.
Matrice de confusion
Le graphique Matrice de confusion indique l'exactitude des prédictions créées par le modèle. Les prédictions sont faites sur les données de rétention automatiques.
Courbe ROC
Le graphique Courbe ROC décrit dans quelle mesure le modèle peut prédire la classe positive lorsque le résultat réel est positif.
Pour savoir à quoi ressemble une courbe ROC idéale, consultez AUC et courbe ROC.
Série temporelle
Pour les modèles de série temporelle, le graphique Erreur de prédiction dans la fenêtre de projection est automatiquement généré pour fournir un aperçu de l'exactitude des prédictions. Vous pouvez afficher le taux d'erreur de prédiction de chaque étape temporelle dans la fenêtre de projection. Les taux d'erreur sont ventilés en cinquantième, dixième et quatre-vingt-dixième centiles.