Solucionando problemas de respostas do Qlik Answers com o rastreamento de raciocínio

O rastreamento de raciocínio mostra as etapas que o Qlik Answers seguiu para processar uma pergunta e gerar uma resposta. Revisar o rastreamento ajuda a verificar se os dados corretos foram usados e a identificar onde fazer melhorias quando uma resposta não é o que você esperava.

Para os usuários do Qlik Answers, isso pode ajudar a validar suas perguntas ou orientá-lo a fazer perguntas de acompanhamento. Para proprietários de conteúdo, como assistentes e aplicativos, isso pode ajudar a verificar se os dados do aplicativo ou as bases de conhecimento estão fornecendo as respostas esperadas ou se é necessário fazer melhorias

Acessando o rastreamento de raciocínio

Depois que o Qlik Answers retornar uma resposta, clique em Ver fonte abaixo da resposta e, em seguida, clique em Mostrar raciocínio. O rastreamento se expande para mostrar cada etapa que o pipeline executou.

Compreendendo a estrutura do rastreamento

O rastreamento de raciocínio é um registro dos agentes que foram executados e das decisões que tomaram. Os agentes envolvidos e quantas vezes cada um é executado dependem da pergunta feita e das fontes de dados configuradas em seu aplicativo. O rastreamento não segue uma sequência fixa. Uma pergunta simples pode envolver menos agentes, enquanto uma pergunta complexa de várias partes pode chamar o mesmo agente várias vezes antes de produzir uma resposta final.

Os seguintes agentes podem aparecer em um rastreamento:

• Answers Agent

• Data Analyst Agent

• Knowledge Base Agent

Answers Agent

O Answers Agent aparece no início e no fim de cada rastreamento. No início, ele lê a pergunta, determina quais fontes de dados são necessárias e encaminha o trabalho para os agentes especialistas apropriados. No final, ele reúne os sub-resultados na resposta final mostrada ao usuário.

O bloco inicial do Answers Agent descreve o que o agente entendeu sobre a pergunta.

Verifique se o assunto e quaisquer entidades estão corretamente identificados. Se o agente interpretou mal a pergunta nesta fase, os agentes especialistas a jusante farão consultas contra o contexto errado.

Data Analyst Agent

O Data Analyst Agent lida com perguntas que envolvem dados estruturados. Ele pesquisa o modelo de dados em busca de campos e medidas relevantes, cria expressões de cálculo e gera os objetos de gráfico que aparecem na resposta.

Para perguntas complexas, o Data Analyst Agent pode aparecer mais de uma vez no rastreamento. Por exemplo, ele pode executar uma primeira passagem para descobrir campos, uma segunda passagem para verificar se um valor específico existe nos dados e uma terceira passagem para construir as visualizações.

Knowledge Base Agent

O Knowledge Base Agent lida com perguntas que envolvem conteúdo não estruturado, como documentos internos, transcrições de reuniões, memorandos ou PDFs conectados ao seu aplicativo como uma fonte de dados de base de conhecimento.

Quando uma pergunta exige dados estruturados e não estruturados, o Agente de Respostas encaminha o trabalho tanto para o Knowledge Base Agent quanto para o Data Analyst Agent. Cada agente retorna seus resultados de forma independente, e o Answers Agent os combina na resposta final.

Se um usuário fizer uma pergunta que referencia claramente um documento ou reunião e o Knowledge Base Agent não aparecer no rastreamento, verifique se uma fonte de dados de base de conhecimento está conectada ao seu aplicativo e se o conteúdo foi indexado.

Lendo pontuações de similaridade

A seção mais importante de qualquer rastreamento é a saída de descoberta de campo dentro do Data Analyst Agent. Esta seção lista cada campo e item mestre que o agente considerou, juntamente com uma pontuação de similaridade para cada um.

A pontuação de similaridade indica o quão bem a pesquisa semântica correspondeu a um campo ou item mestre à pergunta do usuário. O agente usa os campos e itens mestre com maior pontuação para construir a resposta. Se um campo que você esperava que fosse usado estiver ausente da lista, ou estiver presente, mas com pontuação inferior a um campo ou item mestre concorrente, a resposta provavelmente foi construída usando dados diferentes dos que você pretendia.

Interpretando pontuações

O que procurar

Ao revisar a lista de campos ou itens mestre, verifique o seguinte:

• O campo ou item mestre desejado está presente?

  Se estiver totalmente ausente, o rótulo e a descrição do campo ou item mestre podem não corresponder ao idioma usado na pergunta.

• O campo ou item mestre desejado tem uma pontuação mais alta do que os campos ou itens mestre concorrentes?

  Se um campo ou item mestre diferente obteve uma pontuação mais alta e foi usado em vez disso, a resposta pode parecer correta, mas estar extraindo dados incorretos.

• Existem campos ou itens mestre na lista que não deveriam estar lá?

  Um campo ou item mestre com pontuação inesperadamente alta pode estar desviando o foco do campo ou item mestre correto.

Os campos e itens mestre mais importantes para responder às perguntas do usuário devem ter uma pontuação consistentemente mais alta do que quaisquer outros campos e itens mestre com os quais o agente possa confundi-los.

Aprimorando pontuações de similaridade

Os índices de similaridade são calculados a partir dos nomes dos campos e dos itens mestre, das descrições e dos metadados. Melhorar isso aumenta diretamente a pontuação para perguntas relevantes.

Atualizando metadados de campo e item mestre

Faça o seguinte:

1. No seu aplicativo, o Gerenciador de dados ou o Editor da carga de dados.

2. Localize o campo ou item mestre com uma pontuação de similaridade baixa ou ausente.

3. Atualize o nome do campo ou item mestre para usar uma linguagem de negócios simples que reflita como os usuários perguntarão sobre ele.

   Para o Gerenciador de dados, veja Editando uma tabela

   Para o Editor da carga de dados, veja Renomeando campos.

   Para itens mestre, veja:

   • Editando uma dimensão mestre

   • Editando uma medida mestre

4. Adicione ou expanda a descrição do item mestre para explicar claramente o que ele contém, qual conceito de negócio representa e quando deve ser usado. Consulte:

   • Editando uma dimensão mestre

   • Editando uma medida mestre

5. Recarregue o aplicativo.

6. Faça a mesma pergunta novamente e abra o rastreamento de raciocínio para verificar se a pontuação melhorou.

Exemplo:  

Um campo chamado NETWR sem descrição terá uma pontuação significativamente menor do que um campo rotulado como Valor das vendas líquidas com uma descrição que diz "Receita total de transações de vendas concluídas, após a aplicação de descontos". Quanto mais seus metadados refletirem a linguagem de negócios natural, maior será a pontuação do campo quando os usuários fizerem perguntas relevantes.

Resolvendo conflitos de campo e item mestre

Quando dois campos ou itens mestre cobrem conceitos semelhantes e competem pela mesma consulta, o agente seleciona aquele com a pontuação mais alta. Se o campo ou item mestre errado estiver sendo usado, você deve revisá-lo.

Faça o seguinte:

1. Revise os metadados de ambos os campos ou itens mestre.

2. Torne o nome e a descrição do campo ou item mestre pretendido mais específicos e mais diretamente alinhados com o termo de negócios que os usuários estão procurando.

   Para nomes de campos:

   Para o Gerenciador de dados, veja Editando uma tabela

   Para o Editor da carga de dados, veja Renomeando campos.

   Para itens mestre, edite o nome ou a descrição. Consulte:

   • Editando uma dimensão mestre

   • Editando uma medida mestre

3. Se o campo ou item mestre concorrente for menos relevante, atualize seu nome ou descrição para refletir seu escopo real com mais precisão, para que ele obtenha uma pontuação mais baixa em consultas não relacionadas.

Diagnosticando uma resposta errada ou incompleta

Use as seguintes orientações quando a resposta do Qlik Answers não corresponder ao que você esperava.

A resposta usou o campo ou item mestre errado

Faça o seguinte:

1. Abra o rastreamento de raciocínio e localize a saída de descoberta de campo no Data Analyst Agent.

2. Encontre o campo ou item mestre que foi usado e anote sua pontuação de similaridade.

3. Encontre o campo ou item mestre que você esperava ser usado. Se ele estiver na lista, compare sua pontuação com o campo ou item mestre que foi selecionado.

4. Se o campo ou item mestre pretendido obteve uma pontuação baixa, atualize seu nome ou descrição para melhorar sua relevância para a questão.

   Para itens mestre, edite a descrição. Consulte:

   • Editando uma dimensão mestre

   • Editando uma medida mestre

5. Se o campo ou item mestre desejado não estiver na lista, verifique seu nome e descrição. Provavelmente ele está descrito em termos técnicos que não correspondem à forma como os usuários formulam perguntas.

Um campo ou item mestre está completamente ausente da lista.

Faça o seguinte:

1. Abra a saída de descoberta de campo no rastreamento.

2. Confirme se o campo ou item mestre existe no modelo de dados.

3. Se você estiver usando um modelo lógico de lógica de negócios, confirme se o campo ou item mestre não está desagrupado.

4. Revise o nome e a descrição do campo ou item mestre.

   Caso algum deles esteja ausente ou utilize convenções de nomenclatura internas (como códigos de campo SAP para campos), adicione um nome e uma descrição em linguagem simples.

   Consulte:

   • Editando uma dimensão mestre

   • Editando uma medida mestre

5. Recarregue o aplicativo e execute a pergunta novamente para verificar se o campo ou item mestre agora aparece no rastreamento.

A resposta está correta, mas incompleta

A saída de planejamento do Data Analyst Agent descreve quais gráficos foram criados e quais dimensões foram selecionadas. Se uma dimensão ou medida estiver faltando nos gráficos planejados, sua pontuação de similaridade provavelmente foi alta o suficiente para aparecer na lista de campos e itens mestre, mas abaixo do limite para seleção de gráfico. Melhorar os metadados do campo ou item mestre relacionado o levará acima do limite de seleção.

A narrativa e o gráfico mostram números diferentes

A síntese final do Answers Agent inclui IDs de evidência entre colchetes que vinculam cada afirmação no texto ao objeto do gráfico de onde ela veio. Por exemplo:

Brand 1 sold 24 vehicles generating total revenue of $1,584,041.82 [d1f09de1-4a5a...]

Se o número no texto não corresponder ao gráfico, a síntese referenciou um objeto de gráfico diferente do que foi exibido. Localize o objeto referenciado usando o ID e compare sua expressão com o gráfico visível.

Referência: Agentes e suas funções