Résolution des problèmes des réponses Qlik Answers avec la trace de raisonnement
La trace de raisonnement montre les étapes que Qlik Answers a suivies pour traiter une question et générer une réponse. L'examen de la trace vous aide à vérifier que les données correctes ont été utilisées et à identifier les améliorations à apporter lorsqu'une réponse n'est pas celle que vous attendiez.
Pour les utilisateurs Qlik Answers, cela peut vous aider à valider vos questions ou à vous guider pour poser des questions de suivi. Pour les propriétaires de contenu tels que les assistants et les applications, cela peut vous aider à vérifier que les données d'application ou les bases de connaissances fournissent les réponses prévues ou si vous devez apporter des améliorations.
Accès à la trace de raisonnement
Une fois que Qlik Answers a renvoyé une réponse, cliquez sur Afficher la source sous la réponse, puis sur Afficher le raisonnement. La trace se développe pour afficher chaque étape exécutée par le pipeline.
Comprendre la structure de la trace
La trace de raisonnement est un log des agents qui ont été exécutés et des décisions qu'ils ont prises. Les agents impliqués et le nombre d'exécutions de chacun dépendent de la question posée et des sources de données configurées dans votre application. La trace ne suit pas une séquence fixe. Une question simple peut impliquer moins d'agents, tandis qu'une question complexe en plusieurs parties peut appeler le même agent plusieurs fois avant de produire une réponse finale.
Les agents suivants peuvent apparaître dans une trace :
-
Agent Answers
-
Agent Data Analyst
-
Agent Knowledge Base
Agent Answers
L'agent Answers apparaît au début et à la fin de chaque trace. Au début, il lit la question, détermine les sources de données nécessaires et dirige le travail vers les agents spécialisés appropriés. À la fin, il assemble les sous-résultats dans la réponse finale affichée à l'utilisateur.
Le bloc d'ouverture de l'agent Answers décrit ce que l'agent a compris de la question.
Raisonnement de l'agent Answers
Vérifiez que le sujet et toutes les entités sont correctement identifiés. Si, à ce stade, l'agent a mal interprété la question, les agents spécialisés en aval poseront des questions dans le mauvais contexte.
Agent Data Analyst
L'agent Data Analyst traite les questions impliquant des données structurées. Il recherche dans le modèle de données les champs et mesures pertinents, crée des expressions de calcul et génère les objets de graphique qui apparaissent dans la réponse.
Pour les questions complexes, l'agent Data Analyst peut apparaître plus d'une fois dans la trace. Par exemple, il peut effectuer un premier passage pour découvrir les champs, un deuxième passage pour vérifier qu'une valeur spécifique existe dans les données et un troisième passage pour générer les visualisations.
Agent Knowledge Base
L'agent Knowledge Base traite les questions impliquant un contenu non structuré tel que des documents internes, des transcriptions de réunions, des mémos ou des PDF connectés à votre application en tant que source de données de base de connaissances.
Lorsqu'une question nécessite à la fois des données structurées et non structurées, l'agent Answers dirige le travail vers l'agent Knowledge Base et l'agent Data Analyst. Chaque agent renvoie ses résultats indépendamment et l'agent Answers les combine dans la réponse finale.
Si un utilisateur pose une question qui fait clairement référence à un document ou à une réunion et que l'agent Knowledge Base n'apparaît pas dans la trace, vérifiez qu'une source de données de base de connaissances est connectée à votre application et que le contenu a été indexé.
Agent Summarization
L'Agent Summarization traite les questions impliquant un contenu non structuré dans les bases de connaissances dans les cas suivants :
-
Les utilisateurs demandent un récapitulatif ou une répartition des sources non structurées disponibles dans les bases de connaissances utilisées par un assistant.
-
Les utilisateurs demandent un récapitulatif d'une source non structurée spécifique dans une base de connaissances utilisée par l'assistant.
L'Agent Summarization fournit des récapitulatifs des sources non structurées disponibles et de leur contenu.
Lecture des scores de similarité
La section la plus importante de toute trace est la sortie de la découverte des champs à l'intérieur de l'agent Data Analyst. Cette section répertorie chaque champ et chaque élément principal que l'agent a pris en compte, ainsi qu'un score de similarité pour chacun.
Le score de similarité indique dans quelle mesure la recherche sémantique a fait correspondre un champ ou un élément principal à la question de l'utilisateur. L'agent utilise les champs et les éléments principaux présentant le meilleur score pour générer la réponse. Si un champ ou un élément principal que vous vous attendiez à voir utilisé est absent de la liste, ou s'il est présent, mais a obtenu un score inférieur à celui d'un champ ou d'un élément principal concurrent, cela signifie que la réponse a probablement été générée à l'aide de données différentes de celles que vous aviez prévues.
Interprétation des scores
| Score | Ce que cela signifie |
|---|---|
| 0,88 et plus | Forte correspondance. L'agent est convaincu que ce champ ou cet élément principal est pertinent pour la question. |
| 0,82-0,87 | Bonne correspondance. Le champ ou l'élément principal est sélectionné de manière fiable pour la plupart des questions de ce type. |
| 0,75-0,81 | Correspondance modérée. Le champ ou l'élément principal peut être sélectionné, mais un champ ou un élément principal concurrent présentant un score plus élevé peut prendre le pas. |
| Inférieur à 0,75 | Faible correspondance. Le champ ou l'élément principal est peu susceptible d'être utilisé ou risque d'être remplacé par un champ ou un élément principal moins pertinent. |
Ce qu'il faut rechercher
Lorsque vous examinez la liste des champs et des éléments principaux, vérifiez les points suivants :
-
Le champ ou l'élément principal souhaité est-il présent ?
S'il est totalement absent, il se peut que ce soit parce que l'étiquette et la description du champ ou de l'élément principal ne correspondent pas à la langue utilisée dans la question.
-
Le champ ou l'élément principal souhaité a-t-il un score plus élevé que les champs ou les éléments principaux concurrents ?
Si un champ ou un élément principal différent a obtenu un score plus élevé et a été utilisé à la place, la réponse peut sembler correcte, mais provenir de données erronées.
-
Existe-t-il des champs ou des éléments principaux dans la liste qui ne devraient pas s'y trouver ?
Un champ ou un élément principal dont le score est étonnamment élevé peut détourner l'attention du champ ou de l'élément principal correct.
Les champs et les éléments principaux les plus importants pour répondre aux questions des utilisateurs devraient toujours obtenir un score plus élevé que tout autre champ et tout autre élément principal avec lesquels l'agent pourrait les confondre.
Amélioration des scores de similarité
Les scores de similarité sont calculés à partir des noms, des descriptions et des métadonnées des champs et des éléments principaux. Leur amélioration augmente directement le score des questions pertinentes.
Mise à jour des métadonnées des champs et des éléments principaux
Procédez comme suit :
-
Dans votre application, ouvrez Gestionnaire de données ou Éditeur de chargement de données.
-
Recherchez le champ ou l'élément principal présentant un score de similarité faible ou sans score de similarité.
-
Mettez à jour le nom du champ ou de l'élément principal de sorte qu'il utilise un langage métier simple qui reflète la façon dont les utilisateurs poseront des questions à son propos.
Pour Gestionnaire de données, consultez Édition d'une table
Pour Éditeur de chargement de données, consultez Modification des noms de champ.
Pour les éléments principaux, consultez :
-
Ajoutez ou développez la description de l'élément principal de sorte qu'elle explique clairement ce que l'élément principal contient, quel concept métier il représente et quand il doit être utilisé. Consultez :
-
Actualisez l'application.
-
Posez de nouveau la même question et ouvrez la trace de raisonnement pour vérifier que le score s'est amélioré.
Un champ nommé NETWR sans description obtiendra un score bien inférieur à un champ intitulé Net Sales Amount (Montant net des ventes) avec une description indiquant « Total revenue from completed sales transactions, after discounts have been applied (Revenu total des transactions de vente réalisées, après application des remises) ». Plus vos métadonnées reflètent fidèlement le langage métier naturel, plus le champ obtiendra un score élevé lorsque les utilisateurs poseront des questions pertinentes.
Résolution des conflits entre les champs et les éléments principaux
Lorsque deux champs ou deux éléments principaux couvrent des concepts similaires et sont en concurrence pour la même requête, l'agent sélectionne celui qui présente le score le plus élevé. Si le mauvais champ ou le mauvais élément principal est utilisé, vous devez le réviser.
Procédez comme suit :
-
Vérifiez les métadonnées des deux champs ou des deux éléments principaux.
-
Rendez le nom et la description du champ ou de l'élément principal visé plus spécifiques et plus directement alignés sur le terme métier recherché par les utilisateurs.
Pour les noms des champs :
Pour Gestionnaire de données, consultez Édition d'une table
Pour Éditeur de chargement de données, consultez Modification des noms de champ.
Pour les éléments principaux, modifiez le nom ou la description. Consultez :
-
Si le champ ou l'élément principal concurrent est moins pertinent, mettez à jour son nom ou sa description pour qu'il reflète plus précisément sa portée réelle afin qu'il obtienne un score inférieur lors de requêtes non pertinentes.
Diagnostic d'une réponse erronée ou incomplète
Utilisez les conseils suivants lorsque la réponse de Qlik Answers ne correspond pas à vos attentes.
La réponse a utilisé le mauvais champ ou le mauvais élément principal
Procédez comme suit :
-
Ouvrez la trace de raisonnement et recherchez la sortie de la découverte des champs dans l'agent Data Analyst.
-
Trouvez le champ ou l'élément principal qui a été utilisé et notez son score de similarité.
-
Trouvez le champ ou l'élément principal que vous vous attendiez à voir utilisé. S'il figure dans la liste, comparez son score à celui du champ ou de l'élément principal sélectionné.
-
Si le champ ou l'élément principal que vous aviez prévu a obtenu un score inférieur, mettez à jour son nom ou sa description pour améliorer sa pertinence par rapport à la question.
Pour les éléments principaux, modifiez la description. Consultez :
-
Si le champ ou l'élément principal que vous aviez prévu ne figure pas du tout dans la liste, vérifiez son nom et sa description. Il est probablement décrit en termes techniques qui ne correspondent pas à la façon dont les utilisateurs formulent les questions.
Un champ ou un élément principal est entièrement absent de la liste
Procédez comme suit :
-
Ouvrez la sortie de la découverte des champs dans la trace.
-
Vérifiez que le champ ou l'élément principal existe dans le modèle de données.
-
Si vous utilisez un modèle logique de logique métier, confirmez que le champ ou l'élément principal n'est pas dégroupé.
-
Vérifiez le nom et la description du champ ou de l'élément principal.
Si l'un(e) ou l'autre est absent(e) ou utilise des conventions de nommage internes (telles que des codes de champ SAP pour les champs), ajoutez un nom et une description en langage clair.
Consultez :
-
Actualisez l'application et réexécutez la question pour vérifier que le champ ou l'élément principal apparaît maintenant dans la trace.
La réponse est correcte, mais incomplète
La sortie de la planification de l'agent Data Analyst décrit les graphiques qui ont été créés et les dimensions qui ont été sélectionnées. S'il manque une dimension ou une mesure dans les graphiques planifiés, cela signifie que son score de similarité était probablement suffisamment élevé pour apparaître dans la liste des champs et des éléments principaux, mais inférieur au seuil de sélection des graphiques. L'amélioration des métadonnées du champ ou de l'élément principal le placera au-dessus du seuil de sélection.
Le récit et le graphique affichent des nombres différents
La synthèse finale de l'agent Answers inclut des ID de preuves entre parenthèses qui lient chaque affirmation du texte à l'objet de graphique dont elle provient. Par exemple :
Brand 1 sold 24 vehicles generating total revenue of $1,584,041.82 [d1f09de1-4a5a...]
Si le nombre dans le texte ne correspond pas au graphique, cela signifie que la synthèse a fait référence à un objet de graphique différent de celui affiché. Recherchez l'objet référencé à l'aide de l'ID et comparez son expression au graphique visible.
Référence : les agents et leurs rôles
| Agent | Quand il apparaît | Ce qu'il faut vérifier |
|---|---|---|
| Agent Answers (d'ouverture) | Toujours | Sujet et entités de la question correctement identifiés. |
| Agent Data Analyst | Quand des données structurées sont nécessaires |
Corrigez les champs et les éléments principaux trouvés. Les scores de similarité des champs clés et des éléments principaux sont supérieurs à 0,82. |
| Agent Knowledge Base | Lorsqu'un contenu non structuré est nécessaire |
Document ou mémo correct récupéré. La source de la base de connaissances est connectée et indexée. |
| Agent Summarization | Lors de l'établissement du récapitulatif des fichiers indexés dans les bases de connaissances |
Fichier correct sélectionné. Le type de récapitulatif correspond à la requête. |
| Agent Answers (de fermeture) | Toujours |
La réponse finale assemble correctement les résultats de tous les agents. Les ID de preuve correspondent aux graphiques visibles. |