推論トレースを使用したQlik Answers応答のトラブルシューティング

推論トレースには、Qlik Answers が質問を処理して回答を生成するために実行したステップが表示されます。トレースを確認することで、正しいデータが使用されたことを検証でき、期待どおりの回答が得られなかった場合に改善すべき点を特定できます。

Qlik Answersユーザーの場合、質問の検証に役立ち、フォローアップの質問をする際に役立ちます。アシスタントやアプリケーションなどのコンテンツの所有者の場合、アプリケーション データまたはナレッジ ベースが予想どおりの回答を提供しているか、または改善が必要かどうかを確認するのに役立ちます。

推論トレースへのアクセス

Qlik Answers が回答を返した後、回答の下にある [ソースを表示] をクリックし、次に [推論を表示] をクリックします。トレースを展開すると、パイプラインが実行した各ステップが表示されます。

トレース構造について

推論トレースは、実行されたエージェントとその意思決定のログです。関与するエージェントと、それぞれが実行される回数は、質問の内容とアプリケーションで構成されているデータ ソースに応じて異なります。トレースは固定された順序で進行するものではありません。シンプルな質問では関与するエージェントが少ない場合がありますが、複雑で複数要素を含む質問では、最終的な回答を生成する前に同じエージェントが複数回呼び出されることもあります。

トレースには次のエージェントが表示される場合があります。

• Answers Agent

• Data Analyst Agent

• Knowledge Base Agent

Answers Agent

Answers Agent は、すべてのトレースの開始時と終了時に表示されます。開始時には、質問を読み取り、必要なデータソースを判断し、適切な専門エージェントに作業をルーティングします。終了時には、各サブ結果をまとめてユーザーに表示される最終的な回答を生成します。

最初の Answers Agent ブロックには、エージェントが質問をどのように理解したかが記述されています。

主語とすべてのエンティティが正しく識別されていることを確認します。この段階でエージェントが質問を誤って解釈している場合、後続の専門エージェントは誤ったコンテキストに基づいてクエリを実行することになります。

Data Analyst Agent

Data Analyst Agent は、構造化データに関する質問を処理します。データモデル内から関連する項目やメジャーを検索し、計算式を作成し、回答に表示されるチャート オブジェクトを生成します。

複雑な質問の場合、Data Analyst Agent はトレースに複数回表示されることがあります。たとえば、1 回目の実行で項目を特定し、2 回目の実行でデータ内に特定の値が存在するかどうかを確認し、3 回目の実行でビジュアライゼーションを構築します。

Knowledge Base Agent

Knowledge Base Agent は、内部ドキュメント、会議の議事録、メモ、またはナレッジベースのデータ ソースとしてアプリケーションに接続された PDF など、非構造化コンテンツを含む質問を処理します。

質問が構造化データと非構造化データの両方を必要とする場合、Answers Agent はKnowledge Base Agent と Data Analyst Agent の両方に作業をルーティングします。各エージェントは独立して結果を返し、Answers Agent がそれらを最終的な回答として統合します。

ユーザーがドキュメントや会議を明確に参照する質問をしているにもかかわらず、トレースに Knowledge Base Agent が表示されない場合は、ナレッジベースのデータソースがアプリケーションに接続されていること、およびコンテンツがインデックス化されていることを確認してください。

類似度スコアの読み取り

任意のトレースで最も重要なセクションは、Data Analyst Agent 内の項目検出の出力です。このセクションには、エージェントが検討したすべての項目とマスター アイテムが、それぞれの類似度スコアとともに一覧表示されます。

類似度スコアは、セマンティック検索がユーザーの質問に対して各項目とマスター アイテムをどの程度適切にマッチさせたかを示します。エージェントは、最もスコアの高い項目とマスター アイテムを使用して回答を作成します。想定していた項目とマスター アイテムが一覧に存在しない場合、または他の項目とマスター アイテムよりも低いスコアで表示されている場合は、その回答は意図とは異なるデータに基づいて作成されている可能性があります。

スコアの解釈

確認するポイント

項目とマスター アイテム リストを確認する際は、次をチェックしてください。

• 意図した項目またはマスター アイテムは存在していますか?

  存在していない場合、その項目またはマスター アイテムのラベルや説明が質問で使用されている言語と一致していない可能性があります。

• 意図した項目またはマスター アイテムのスコアは、競合する項目またはマスター アイテムよりも高いですか?

  別の項目またはマスター アイテムの方がスコアが高く、そちらが選択されてしまった場合、生成された回答が一見正しく見えても、誤ったデータから引用されている可能性があります。

• リストに不要な項目またはマスター アイテムはありますか？

  予想外に高いスコアを持つ項目またはマスター アイテムが、正しい項目またはマスター アイテムから注意を逸らしている可能性があります。

ユーザーの質問に答える上で最も重要な項目とマスター アイテムは、エージェントが混同する可能性のある他のどの項目やマスター アイテムよりも、一貫して高いスコアを獲得する必要があります。

類似度スコアの改善

類似度スコアは、項目とマスター アイテムの名前、説明、メタデータから算出されます。これらを改善することで、関連する質問のスコアを直接向上できます。

項目とマスター アイテムのメタデータの更新

次の手順を実行します。

1. アプリケーションで、 [データ マネージャー] または データ ロード エディター を開きます。

2. 類似度スコアが低いか、表示されていない項目またはマスター アイテムを特定します。

3. 項目またはマスター アイテムの名前を、ユーザーの質問方法に合わせた分かりやすいビジネス用語に更新します。

   データ マネージャーについては、データ テーブルの編集を参照してください。

   データ ロード エディターについては、項目名の変更を参照してください。

   マスター アイテムについては、以下を参照してください。

   • マスター軸の編集

   • マスター メジャーの編集

4. マスター アイテムの説明を追加または拡充し、マスター アイテムに含まれている内容、ビジネス上の概念、使用すべき場面を明確に記述します。参照:

   • マスター軸の編集

   • マスター メジャーの編集

5. アプリケーションをリロードします。

6. 同じ質問を再度実行し、推論トレースを開いてスコアが改善されたことを確認します。

 

説明のない NETWR という名前の項目は、「割引適用後の完了した販売取引からの総収益。」という説明が付いた Net Sales Amount というラベルの項目よりも、スコアが大幅に低くなります。メタデータが自然なビジネス用語をより正確に反映しているほど、ユーザーが関連する質問をしたときに項目のスコアは高くなります。

項目とマスター アイテム競合の解決

2 つの項目またはマスター アイテムが類似する概念を持ち、同じクエリで競合する場合、エージェントはスコアが高いものを選択します。間違った項目またはマスター アイテムが使用されている場合は、修正する必要があります。

次の手順を実行します。

1. 両方の項目またはマスター アイテムのメタデータを確認します。

2. 意図する項目またはマスター アイテムの名前と説明文をより具体的な表現に変更し、ユーザーが検索するビジネス用語と直結するように最適化します。

   項目名の場合:

   データ マネージャーについては、データ テーブルの編集を参照してください。

   データ ロード エディターについては、項目名の変更を参照してください。

   マスター アイテムの場合、名前または説明を編集します。参照:

   • マスター軸の編集

   • マスター メジャーの編集

3. 競合している項目またはマスター アイテムの関連性が低い場合は、その名前または説明を実際の範囲により正確に反映するよう更新し、無関係なクエリではスコアが低くなるように調整します。

誤った回答または不完全な回答の診断

Qlik Answers からの回答が期待どおりでない場合は、次のガイダンスを使用してください。

回答で誤った項目またはマスター アイテムが使用された場合

次の手順を実行します。

1. 推論トレースを開き、Data Analyst Agent で項目検出出力を特定します。

2. 使用された項目またはマスター アイテムを見つけ、その類似度スコアをメモします。

3. 使用されると想定していた項目またはマスター アイテムを見つけます。リストにある場合、選択された項目またはマスター アイテムのスコアと比較します。

4. 意図した項目またはマスター アイテムのスコアが低い場合は、その名前または説明を更新し、質問に対する関連性を高めます。

   マスター アイテムの場合、説明を編集します。参照:

   • マスター軸の編集

   • マスター メジャーの編集

5. 意図した項目またはマスター アイテムがリストに存在しない場合は、その名前と説明を確認します。それは、ユーザーの質問表現と一致しない技術的な用語で記述されている可能性があります。

項目またはマスター アイテムがリストにまったく表示されない場合

次の手順を実行します。

1. トレースで項目検出出力を開きます。

2. データ モデルに項目またはマスター アイテムが存在することを確認します。

3. ビジネス ロジック論理モデルを使用している場合は、項目またはマスター アイテムがグループ解除されていないことを確認します。

4. 項目またはマスター アイテムの名前と説明を確認します。

   いずれかが存在しない場合、または内部の命名規則 (項目の SAP 項目 コードなど) を使用している場合は、分かりやすい言語の名前と説明を追加します。

   参照:

   • マスター軸の編集

   • マスター メジャーの編集

5. アプリケーションをリロードし、質問を再実行して、項目またはマスター アイテムがトレースに表示されることを確認します。

回答は正しいが不完全な場合

Data Analyst Agent の計画出力には、どのチャートが作成され、どの軸が選択されたかが記述されています。計画されたチャートに軸またはメジャーが含まれない場合、項目およびマスター アイテム リストには表示される程度の類似度スコアを持っていたものの、チャート選択に必要なしきい値には達していなかった可能性があります。関連項目またはマスター アイテムのメタデータを改善すると、選択のしきい値を超えるようになります。

ストーリーとチャートで異なる数値が表示されている場合

Answers Agent の最終的な統合には、テキスト内の各主張と、その根拠となったチャートオブジェクトを結び付ける 角括弧付きのエビデンス ID が含まれています。例:

Brand 1 sold 24 vehicles generating total revenue of $1,584,041.82 [d1f09de1-4a5a...]

テキスト内の数値がチャートの数値と一致しない場合、統合処理で表示中のチャートとは別のチャートオブジェクトが参照されている可能性があります。ID を使用して参照されているオブジェクトを見つけ、その式を表示中のチャートと比較します。

参照: エージェントとその役割