Fehlerbehebung bei Qlik Answers Antworten mithilfe der Begründungsnachverfolgung
Die Begründungsnachverfolgung zeigt die Schritte, die von Qlik Answers durchgeführt wurden, um eine Frage zu verarbeiten und eine Antwort zu generieren. Anhand dieser Nachverfolgung können Sie überprüfen, ob die richtigen Daten verwendet wurden, und erkennen, wo Verbesserungen vorgenommen werden müssen, wenn eine Antwort nicht Ihren Erwartungen entspricht.
Für Qlik Answers Benutzer kann es dabei helfen, Ihre Fragen zu bestätigen oder Sie bei der Formulierung von Folgefragen zu unterstützen. Für Inhaber von Inhalten wie Assistenten und Anwendungen kann es dabei helfen zu überprüfen, ob die Anwendungsdaten oder Wissensdatenbanken die erwarteten Antworten liefern oder ob Verbesserungen erforderlich sind.
Zugriff auf die Begründungsnachverfolgung
Nachdem Qlik Answers eine Antwort zurückgegeben hat, klicken Sie auf Quelle anzeigen unter der Antwort und dann auf Begründung anzeigen. Die Nachverfolgung wird erweitert, um jeden Schritt anzuzeigen, den die Pipeline ausgeführt hat.
Einzelheiten zur Nachverfolgungsstruktur
Die Begründungsnachverfolgung ist ein Protokoll der ausgeführten Agenten und der von ihnen getroffenen Entscheidungen. Welche Agenten beteiligt waren und wie oft jeder einzelne ausgeführt wurde, hängt von der gestellten Frage und den in Ihrer Anwendung konfigurierten Datenquellen ab. Die Nachverfolgung folgt keiner festen Reihenfolge. Eine einfache Frage kann weniger Agenten erfordern, während eine komplexe mehrteilige Frage denselben Agenten mehrmals aufrufen kann, bevor eine endgültige Antwort erstellt wird.
Die folgenden Agenten können in einer Nachverfolgung aufgeführt sein:
-
Answers Agent
-
Data Analyst Agent
-
Knowledge Base Agent
Answers Agent
Der Answers Agent wird am Anfang und Ende jeder Nachverfolgung aufgeführt. Am Anfang liest er die Frage, bestimmt, welche Datenquellen benötigt werden, und leitet die Arbeit an die entsprechenden spezialisierten Agenten weiter. Am Ende fügt es die Teilergebnisse zur endgültigen Antwort zusammen, die dem Benutzer angezeigt wird.
Der einleitende Block für den Answers Agent beschreibt, was der Agent über die Frage verstanden hat.
Argumentation des Answers Agent
Überprüfen Sie, ob das Thema und alle etwaigen Entitäten korrekt identifiziert wurden. Wenn der Agent die Frage in diesem Stadium falsch interpretiert hat, fragen die nachgeschalteten spezialisierten Agenten den falschen Kontext ab.
Data Analyst Agent
Der Data Analyst Agent bearbeitet Fragen, für die strukturierte Daten benötigt werden. Er durchsucht das Datenmodell nach relevanten Feldern und Kennzahlen, erstellt Berechnungsformeln und erstellt die Diagrammobjekte, die in der Antwort angezeigt werden.
Bei komplexen Fragen kann der Data Analyst Agent mehr als einmal in der Nachverfolgung vorkommen. Er kann zum Beispiel einen ersten Durchlauf ausführen, um Felder zu ermitteln, einen zweiten Durchlauf, um zu überprüfen, ob ein bestimmter Wert in den Daten vorhanden ist, und einen dritten Durchlauf, um die Visualisierungen zu erstellen.
Knowledge Base Agent
Der Knowledge Base Agent verarbeitet Fragen, die unstrukturierte Inhalte betreffen, wie interne Dokumente, Besprechungsprotokolle, Memos oder PDFs, die als Wissensdatenbank-Datenquelle mit Ihrer Anwendung verbunden sind.
Wenn eine Frage sowohl strukturierte als auch unstrukturierte Daten erfordert, leitet der Answers Agent die Arbeit sowohl an den Knowledge Base Agent als auch an den Data Analyst Agent weiter. Jeder Agent liefert seine Ergebnisse unabhängig von den anderen, und der Answers Agent kombiniert sie in der endgültigen Antwort.
Wenn ein Benutzer eine Frage stellt, die sich eindeutig auf ein Dokument oder Meeting bezieht und der Knowledge Base Agent nicht in der Ablaufverfolgung angezeigt wird, überprüfen Sie, ob eine Wissensdatenbank-Datenquelle mit Ihrer Anwendung verbunden ist und ob der Inhalt indiziert wurde.
Summarization Agent
Der Summarization Agent bearbeitet Fragen zu unstrukturierten Inhalten in Wissensdatenbanken, wenn:
-
Benutzer eine Zusammenfassung oder Aufschlüsselung der verfügbaren unstrukturierten Quellen in Wissensdatenbanken anfordern, die von einem Assistenten verwendet werden.
-
Benutzer eine Zusammenfassung einer bestimmten unstrukturierten Quelle in einer Wissensdatenbank anfordern, die von einem Assistenten verwendet wurde.
Der Summarization Agent erstellt Zusammenfassungen der verfügbaren unstrukturierten Quellen und deren Inhalte.
Lesen von Ähnlichkeitsbewertungen
Der wichtigste Abschnitt jeder Nachverfolgung ist die Felderkennungs-Ausgabe innerhalb des Data Analyst Agent. In diesem Abschnitt ist jedes Feld und jedes Master-Element aufgelistet, die der Agent berücksichtigt hat, zusammen mit einer Ähnlichkeitsbewertung für jedes einzelne Element.
Die Ähnlichkeitsbewertung gibt an, wie gut die semantische Suche ein Feld oder ein Master-Element der Frage des Benutzers zugeordnet hat. Der Agent verwendet die Felder und Master-Elemente mit der höchsten Bewertung, um die Antwort zu erstellen. Wenn ein Feld oder Master-Element, das Sie erwartet hatten, in der Liste fehlt oder vorhanden ist, aber niedriger bewertet wurde als ein konkurrierendes Feld oder Master-Element, wurde die Antwort wahrscheinlich mit anderen Daten erstellt, als Sie beabsichtigt hatten.
Interpretation von Bewertungen
| Bewertung | Bedeutung |
|---|---|
| 0,88 und höher | Hohe Übereinstimmung. Der Agent vertraut darauf, dass dieses Feld oder Master-Element für die Frage relevant ist. |
| 0,82 – 0,87 | Gute Übereinstimmung. Das Feld oder Master-Element wird für die meisten Fragen dieser Art zuverlässig ausgewählt. |
| 0,75 – 0,81 | Mäßige Übereinstimmung. Das Feld oder Master-Element kann ausgewählt werden, aber ein konkurrierendes Feld oder Master-Element mit einer höheren Bewertung kann Vorrang haben. |
| Unter 0,75 | Geringe Übereinstimmung. Das Feld oder Master-Element wird wahrscheinlich nicht verwendet oder kann durch ein weniger relevantes Feld oder Master-Element ersetzt. |
Zu beachten
Überprüfen Sie beim Durchsehen der Liste mit Feldern und Master-Elementen Folgendes:
-
Ist das gewünschte Feld oder Master-Element vorhanden?
Wenn es vollständig fehlt, stimmen die Bezeichnung und Beschreibung des Felds oder Master-Elements möglicherweise nicht mit der in der Frage verwendeten Sprache überein.
-
Hat das gewünschte Feld oder Master-Element eine höhere Bewertung als konkurrierende Felder oder Master-Elemente?
Wenn ein anderes Feld oder Master-Element höher bewertet und stattdessen verwendet wurde, kann die Antwort korrekt erscheinen, aber aus den falschen Daten stammen.
-
Gibt es Felder oder Master-Elemente in der Liste, die dort nicht enthalten sein sollten?
Ein Feld oder Master-Element, das unerwartet hoch bewertet wird, kann die Aufmerksamkeit vom richtigen Feld oder Master-Element ablenken.
Die Felder und Master-Elemente, die für die Beantwortung von Benutzerfragen am wichtigsten sind, sollten durchweg höher bewertet werden als alle anderen Felder und Master-Elemente, mit denen der Agent sie verwechseln könnte.
Verbessern von Ähnlichkeitsbewertungen
Ähnlichkeitsbewertungen werden aus den Namen, Beschreibungen und Metadaten des Felds oder Master-Elements berechnet. Wenn diese verbessert werden, führt dies direkt zu einer höheren Bewertung für relevante Fragen.
Aktualisieren der Metadaten von Feldern und Master-Elementen
Gehen Sie folgendermaßen vor:
-
Öffnen Sie den Datenmanager oder den Dateneditor in Ihrer Anwendung.
-
Suchen Sie nach dem Feld oder Master-Element mit einer niedrigen oder fehlenden Ähnlichkeitsbewertung.
-
Aktualisieren Sie den Namen des Felds oder Master-Elements, um eine einfache Geschäftssprache zu verwenden, die der Art und Weise entspricht, wie Benutzer danach fragen werden.
Für Datenmanager siehe Bearbeiten einer Tabelle
Für Dateneditor siehe Umbenennen von Feldern.
Für Master-Elemente siehe:
-
Fügen Sie die Beschreibung des Master-Elements hinzu oder erweitern Sie sie, um klar zu erklären, was das Master-Element enthält, welches Geschäftskonzept es darstellt und wann es verwendet werden sollte. Siehe:
-
Laden Sie die Anwendung.
-
Stellen Sie die gleiche Frage erneut und öffnen Sie die Begründungsnachverfolgung, um zu überprüfen, ob sich die Bewertung verbessert hat.
Beispiel:
Ein Feld namens NETWR ohne Beschreibung wird deutlich schlechter bewertet als ein Feld mit der Bezeichnung Nettoumsatzbetrag und der Beschreibung „Gesamter Umsatz aus abgeschlossenen Verkaufstransaktionen, nachdem Rabatte angewendet wurden.“ Je genauer Ihre Metadaten die natürliche Geschäftssprache widerspiegeln, desto höher wird das Feld bewertet, wenn Benutzer relevante Fragen stellen.
Lösen von Konflikten bei Feldern und Master-Elementen
Wenn zwei Felder oder Master-Elemente ähnliche Konzepte abdecken und um dieselbe Abfrage konkurrieren, wählt der Agent das Feld oder Master-Element mit der höheren Bewertung aus. Wenn das falsche Feld oder Master-Element verwendet wird, sollten Sie es überarbeiten.
Gehen Sie folgendermaßen vor:
-
Überprüfen Sie die Metadaten für beide Felder oder Master-Elemente.
-
Machen Sie die Bezeichnung und Beschreibung des gewünschten Felds oder Master-Elements spezifischer und stimmen Sie diese besser auf den Geschäftsbegriff ab, nach dem Benutzer suchen.
Für Feldnamen:
Für Datenmanager siehe Bearbeiten einer Tabelle
Für Dateneditor siehe Umbenennen von Feldern.
Bearbeiten Sie für Master-Elemente den Namen oder die Beschreibung. Siehe:
-
Wenn das konkurrierende Feld oder Master-Element weniger relevant ist, aktualisieren Sie dessen Namen und Beschreibung, um seinen tatsächlichen Anwendungsbereich genauer widerzuspiegeln, damit es bei entsprechenden Abfragen eine niedrigere Bewertung erzielt.
Diagnostizieren einer falschen oder unvollständigen Antwort
Befolgen Sie die folgende Hilfestellung, wenn die Antwort von Qlik Answers nicht Ihren Erwartungen entspricht.
Die Antwort hat das falsche Feld oder Master-Element verwendet
Gehen Sie folgendermaßen vor:
-
Öffnen Sie die Begründungsnachverfolgung und suchen Sie die Felderkennungs-Ausgabe im Data Analyst Agent.
-
Suchen Sie nach dem verwendeten Feld oder Master-Element und prüfen Sie dessen Ähnlichkeitsbewertung.
-
Suchen Sie nach dem Feld oder Master-Element, dessen Verwendung Sie erwartet haben. Wenn es in der Liste enthalten ist, vergleichen Sie dessen Bewertung mit der des ausgewählten Felds oder Master-Elements.
-
Wenn das beabsichtigte Feld oder Master-Element eine niedrigere Bewertung erhalten hat, aktualisieren Sie dessen Namen und Beschreibung, um die Relevanz für die Frage zu verbessern.
Bearbeiten Sie für Master-Elemente die Beschreibung. Siehe:
-
Wenn das beabsichtigte Feld oder Master-Element überhaupt nicht in der Liste enthalten ist, überprüfen Sie dessen Namen und Beschreibung. Es wird wahrscheinlich in technischen Begriffen beschrieben, die nicht der Art und Weise entsprechen, wie Benutzer Fragen formulieren.
Ein Feld oder Master-Element fehlt vollständig in der Liste
Gehen Sie folgendermaßen vor:
-
Öffnen Sie die Felderkennungs-Ausgabe in der Nachverfolgung.
-
Bestätigen Sie, dass das Feld oder Master-Element im Datenmodell vorhanden ist.
-
Wenn Sie ein logisches Modell der Geschäftslogik verwenden, stellen Sie sicher, dass das Feld oder Master-Element einer Gruppe zugeordnet ist.
-
Überprüfen Sie den Namen und die Beschreibung des Felds oder Master-Elements.
Wenn eines der Elemente fehlt oder interne Namenskonventionen (wie SAP-Feldcodes für Felder) verwendet, fügen Sie einen Namen und eine Beschreibung in einfacher Sprache hinzu.
Siehe:
-
Laden Sie die Anwendung neu und führen Sie die Frage erneut aus, um zu überprüfen, ob das Feld oder Master-Element jetzt in der Nachverfolgung angezeigt wird.
Die Antwort ist richtig, aber unvollständig
Die Planungs-Ausgabe des Data Analyst Agent beschreibt, welche Diagramme erstellt und welche Dimensionen ausgewählt wurden. Wenn eine Dimension oder Kennzahl in den geplanten Diagrammen fehlt, war ihre Ähnlichkeitsbewertung wahrscheinlich hoch genug, um in der Liste der Felder und Master-Elemente angezeigt zu werden, lag aber unter dem Schwellenwert für die Diagrammauswahl. Eine Verbesserung der Metadaten des zugehörigen Felds oder Master-Elements kann der Wert über diesen Auswahl-Schwellenwert angehoben werden.
Die Erzählung und das Diagramm zeigen unterschiedliche Zahlen
Die abschließende Synthese des Answers Agent enthält in Klammern gesetzte Nachweis-IDs, die jede Behauptung im Text mit dem Diagrammobjekt verknüpfen, aus dem sie stammt. Beispiel:
Brand 1 sold 24 vehicles generating total revenue of $1,584,041.82 [d1f09de1-4a5a...]
Wenn die Zahl im Text nicht mit dem Diagramm übereinstimmt, hat die Synthese ein anderes Diagrammobjekt referenziert als das angezeigte. Suchen Sie das referenzierte Objekt mithilfe der ID und vergleichen Sie dessen Formel mit dem angezeigten Diagramm.
Referenz: Agenten und ihre Rollen
| Agent | Wann angezeigt | Was ist zu überprüfen |
|---|---|---|
| Answers Agent (Beginn) | Immer | Korrektes Fragenthema und Entitäten identifiziert. |
| Data Analyst Agent | Wenn strukturierte Daten benötigt werden |
Gefundene Felder und Master-Elemente korrigieren. Die Ähnlichkeitsbewertungen für Schlüsselfelder und Master-Elemente liegen über 0,82. |
| Knowledge Base Agent | Wenn unstrukturierte Inhalte benötigt werden |
Korrektes Dokument oder Memo abgerufen. Die Wissensdatenquelle ist verbunden und wurde indiziert. |
| Summarization Agent | Beim Zusammenfassen indizierter Dateien in Wissensdatenbanken |
Richtige Datei ausgewählt. Der Zusammenfassungstyp entspricht der Anforderung. |
| Answers Agent (Abschluss) | Immer |
In der endgültigen Antwort werden die Ergebnisse aller Agenten korrekt zusammengesetzt. Die Nachweis-IDs stimmen mit den angezeigten Diagrammen überein. |