Sélection du modèle qui vous convient le mieux

Meilleur modèle

Suivant vos filtres, le meilleur modèle est automatiquement sélectionné pour l'analyse. Le meilleur modèle est mis en évidence par une icône .

Dans Qlik Predict, le meilleur modèle est déterminé par un calcul équilibré qui tient compte des métriques d'exactitude et de la vitesse de prédiction.

Pour déterminer le meilleur modèle, le processus suivant est automatiquement appliqué :

1. Sélectionnez le modèle ayant le score le plus élevé pour la métrique de performance prédictive déterminée par le type de modèle. Les métriques utilisées sont les suivantes :

   • Classification binaire : F1

   • Classification multiclasse : F1 Macro

   • Régression : R2

   • Séries temporelles : MASE (ou MAE, si MASE n'est pas disponible)

2. En utilisant les scores de performances de l'étape 1, sélectionnez tous les modèles qui se situent dans les cinq pour cent du score du modèle ayant obtenu le score le plus élevé.

3. Parmi tous les modèles sélectionnés, optez pour celui dont la Vitesse de prédiction est la plus grande (consultez Vitesse de prédiction). Ce modèle est le meilleur modèle.

Le plus exact

Il est important que votre modèle soit capable de générer des prédictions d'une grande exactitude de manière constante. Bien que F1, F1 Macro et R2 fournissent un score équilibré qui reflète de manière exhaustive l'exactitude du modèle, vous pouvez également vous intéresser aux métriques brutes d'exactitude et de précision de vos modèles.

Le modèle le plus exact est mis en évidence par une icône . Pour déterminer le modèle le plus exact, le processus suivant est automatiquement appliqué :

1. Sélectionnez le modèle ayant le score le plus élevé pour la métrique de performance prédictive déterminée par le type de modèle. Les métriques utilisées sont les suivantes :

   • Classification binaire : F1

   • Classification multiclasse : Macro F1

   • Régression :Coefficient de détermination R2

   • Série temporelle : MASE (si MASE n'est pas disponible, sélectionnez le modèle avec le score MAE le plus bas)

2. En utilisant les scores de performances de l'étape 1, sélectionnez tous les modèles qui se situent dans les dix pour cent du score du modèle ayant obtenu le score le plus élevé.

3. L'une des deux voies suivantes est utilisée en fonction du type de modèle :

   1. Classification binaire :

      • Si le jeu de données d'apprentissage est équilibré, sélectionnez le modèle ayant le score d'exactitude le plus élevé. Il s'agit du modèle le plus exact. Pour plus d'informations sur la métrique spécifique utilisée, consultez Exactitude.

      • Si le jeu de données d'apprentissage est déséquilibré, sélectionnez le modèle ayant le score de précision le plus élevé. Pour plus d'informations sur la métrique spécifique utilisée, consultez Précision.

   2. Classification multiclasse ou régression :

      • Sélectionnez le modèle ayant le score d'exactitude le plus élevé. Les métriques d'exactitude suivantes sont utilisées :

        • Classification multiclasse : Exactitude

        • Régression : Erreur absolue moyenne MAE

   3. Série temporelle : sélectionnez le modèle présentant le meilleur score MAE (le score le plus bas).

Modèle le plus rapide

Lorsque vous sélectionnez un modèle, vous pouvez accorder de l'importance à la rapidité avec laquelle le modèle peut fournir des prédictions. Le modèle le plus rapide est mis en évidence par une icône .

La vitesse de prédiction détermine le modèle le plus rapide. Toutefois, l'exactitude prédictive des modèles est elle aussi prise en compte. En effet, un modèle peut être capable de générer des prédictions rapidement, mais il doit également être capable de prédire avec une exactitude raisonnable.

Pour déterminer le modèle le plus rapide, le processus suivant est automatiquement appliqué :

1. Sélectionnez le modèle ayant le score le plus élevé pour la métrique de performance prédictive déterminée par le type de modèle. Les métriques utilisées sont les suivantes :

   • Classification binaire : F1

   • Classification multiclasse : Macro F1

   • Régression :Coefficient de détermination R2

   • Série temporelle : MASE (si MASE n'est pas disponible, sélectionnez le modèle avec le score MAE le plus bas)

2. L'une des voies suivantes est utilisée suivant le type de modèle :

   1. Classification binaire :

      • Si le jeu de données d'apprentissage est équilibré, sélectionnez tous les modèles dont le score d'exactitude se situe dans les dix pour cent du score d'exactitude du modèle sélectionné à l'étape 1. Pour plus d'informations sur la métrique spécifique utilisée, consultez Exactitude.

      • Si le jeu de données d'apprentissage est déséquilibré, sélectionnez tous les modèles qui se situent dans les dix pour cent du score du modèle ayant obtenu le score le plus élevé à l'étape 1. Les métriques de l'étape 1 sont utilisées.

   2. Classification multiclasse ou régression :

      • Sélectionnez tous les modèles dont le score d'exactitude se trouve dans les dix pour cent du score d'exactitude du modèle de l'étape 1. Les métriques d'exactitude suivantes sont utilisées :

        • Classification multiclasse : Exactitude

        • Régression : Erreur absolue moyenne MAE

   3. Série temporelle : sélectionnez tous les modèles figurant dans les dix pour cent du score MAE du modèle de l'étape 1.

3. Parmi tous les modèles sélectionnés, sélectionnez celui dont la vitesse de prédiction est la plus grande (consultez Vitesse de prédiction). Ce modèle est le modèle le plus rapide.

Considérations

La vitesse de prédiction mesurée est basée sur la taille du jeu de données d'apprentissage et non sur les données sur lesquelles les prédictions sont effectuées. Après avoir déployé un modèle, vous remarquerez peut-être des différences dans la rapidité de création des prédictions si les données d'apprentissage et de prédiction sont de tailles très différentes, ou lors de la création de prédictions en temps réel sur une ou quelques lignes de données.

Il y a surapprentissage lorsque le comportement prédictif d'un modèle est trop étroitement mappé vers le jeu de données d'apprentissage. En cas de surapprentissage d'un modèle, ce dernier n'a probablement mémorisé que les tendances du jeu de données d'apprentissage et ne sera pas en mesure de prédire avec précision les valeurs futures.

Le surapprentissage peut avoir plusieurs causes, notamment des problèmes liés aux algorithmes d'apprentissage et à des jeux de données d'apprentissage trop courts ou trop complexes.

Dans Qlik Predict, le surapprentissage est automatiquement identifié grâce à une analyse des résultats de test et d'apprentissage de toutes les métriques utilisées dans le processus de sélection du meilleur modèle, à l'exception de la vitesse de prédiction :

• Modèles de classification binaire : F1, Exactitude (données équilibrées), Précision (données déséquilibrées)

• Modèles de classification multiclasse : Macro F1, Exactitude

• Modèles de régression : Coefficient de détermination R2, Erreur absolue moyenne MAE

S'il existe une différence de plus de dix pour cent entre l'une de ces métriques lors de la comparaison des résultats de test et d'apprentissage, le modèle est soupçonné de surapprentissage.

En cas de soupçon de surapprentissage d'un modèle, ce dernier n'est jamais présenté comme un modèle recommandé, même si son score est bon. Le modèle est marqué d'un avertissement dans le tableau Métriques des modèles.

Si tous les modèles figurant dans vos filtres sont soupçonnés de surapprentissage, aucun modèle n'est recommandé.