Erstellen eines Wissens-Marts

Mit Wissens-Marts können Sie Ihre strukturierten Daten in einer Vektordatenbank einbetten und speichern. Dadurch kann der erweiterte Kontext mit semantischen Suchfunktionen abgerufen und als Kontext für RAG-Anwendungen (Retrieval Augmented Generation) verwendet werden.

Die Ausgabe erfolgt im JSON-Format.

Voraussetzungen

• Sie benötigen ein Qlik Talend Cloud Enterprise-Abonnement.

• Wird auf Snowflake- und Databricks-Plattformen unterstützt. Snowflake Iceberg wird nicht unterstützt.

• Ein vom Kunden verwaltetes Datengateway ist erforderlich.

  Databricks erfordert Qlik Data Gateway – Datenbewegung 2024.11.95 oder höher.

Installieren von Qlik Data Gateway – Datenbewegung

Bevor Sie einen Wissens-Mart erstellen, müssen Sie ein spezifisches Qlik Data Gateway – Datenbewegung installieren. Weitere Informationen finden Sie unter Einrichten von Qlik Data Gateway – Datenbewegung für Wissens-Marts.

Unterstützte Verbindungen

Für Informationen über unterstützte

• Vektordatenbanken, siehe Verbinden mit Vektordatenbanken.
• LLM-Verbindungen, siehe Verbinden mit LLM-Verbindungen.
• Dateispeicher, siehe Verbinden mit Dateispeicher.

Erstellen der Daten

1. Klicken Sie im linken Menü auf Projekte und öffnen Sie ein Projekt.
2. Über die Seite Projekt können Sie Dokumente in einer Vektordatenbank generieren und veröffentlichen. Wählen Sie eine der Optionen:
   • Kicken Sie auf Neu erstellen > Wissens-Mart.
   • Klicken Sie auf der Datenaufgabe > Wissens-Mart.

   Das Konfigurationsfenster wird geöffnet.

3. Geben Sie einen Namen ein.
4. Geben Sie eine Beschreibung ein. Dies ist optional.
5. Wählen Sie aus der Dropdown-Liste Vektoren speichern in aus, wo die Dokumente gespeichert werden sollen. Um die Dokumente mit dem Projekt zu speichern, wählen Sie Datenprojektplattform aus.
6. Wenn Sie Externe Vektordatenbank ausgewählt haben, erstellen oder wählen Sie eine Vektordatenbankverbindung aus. Die Dokumente und Vektoren werden in dieser Vektordatenbank gespeichert.
7. Erstellen oder wählen Sie eine LLM-Verbindung aus. Diese Verbindung ist für die Verwendung der semantischen Suche erforderlich.
8. Klicken Sie auf Erstellen.
9. Wenn die Daten erstellt sind, fügen Sie Dokumente hinzu.

Hinzufügen von Dokumenten

1. Klicken Sie auf der Seite Datenaufgabe auf der Registerkarte Datensätze im linken Fenster auf Hinzufügen.
2. Wählen Sie den Basisdatensatz aus, aus dem das Dokument erstellt werden soll. Für jeden Datensatz wird ein Dokument erstellt. Beispielsweise wird für eine Liste von Patienten ein Dokument für jeden Patienten erstellt.
3. Das Feld Dokumentschemaname ist bereits mit dem Namen des ausgewählten Basisdatensatzes ausgefüllt. Benennen Sie es bei Bedarf um.
4. Geben Sie eine Beschreibung ein. Dies ist optional.
5. Wählen Sie die Daten aus, die Sie zur Erweiterung des Dokuments verwenden möchten.
6. Klicken Sie auf OK. Sie kehren zur Registerkarte Dokumentschemas zurück.
7. Wählen Sie die Registerkarte Datensätze aus.
8. Wählen Sie im linken Fenster den Datensatz aus, den Sie zuvor als Basisdatensatz ausgewählt haben.
9. Um die Daten zu entfernen, die Sie nicht in die Dokumente einschließen möchten, aktivieren Sie das Kontrollkästchen und klicken Sie auf Entfernen.
10. Um die vom LLM durchgeführte semantische Suche zu verbessern, benennen Sie Daten um, deren Namen nicht eindeutig genug sind.

    Beispiel: Benennen Sie dt in date um.

11. Nachdem Sie die Daten wie gewünscht entfernt und umbenannt haben, klicken Sie rechts auf > Vorbereiten. Die Dokumente werden im JSON-Format erstellt.
12. Nachdem die Dokumente erstellt sind:
    1. Wählen Sie die Registerkarte Datensätze aus.
    2. Um die Dokumente zu überprüfen, bevor Sie die Aufgabe ausführen, klicken Sie auf Daten anzeigen, um ein Datenbeispiel anzuzeigen.
    3. Klicken Sie auf Ausführen. Die Dokumente werden je nach Konfiguration in die Vektordatenbank oder in die Datenplattform übertragen.

Die Übertragung ist abgeschlossen, wenn die Schaltfläche Ausführen aktiv ist.

Um sicherzustellen, dass alles übertragen wurde, können Sie Fragen zu Ihren Daten stellen. Weitere Informationen finden Sie unter Verwenden des Testassistenten.

Vollständiges Laden und Change Data Capture (CDC)

Vollständiges Laden und CDC werden unterstützt.

Vollständiges Laden: Für jede Dokumenteninstanz wird ein Dokument erstellt und an das Ziel gesendet.

CDC: Ein Dokument wird nach jeder Änderung an der Basis oder der zugehörigen Entität neu generiert.

Ein neues Dokument wird erstellt, wenn ein Eintrag zur Basisentität hinzugefügt wird. Wenn keine Einträge in den verwandten Entitäten mit einer Basisentität verbunden werden können, werden sie in den Dokumenten nicht angezeigt.

Aktualisieren der Eingabedaten

Wenn Sie die Eingabedaten aktualisieren, müssen Sie die Datenaufgabe ausführen, um die Änderungen an die Vektordatenbank oder Datenplattform zu übertragen.

Indexname

Jeder Wissens-Mart hat einen Indexnamen, der für die semantische Suche verwendet wird.

Wenn Sie Aufgaben so konfigurieren, dass sie in denselben Index schreiben, müssen Sie die gleichen LLM-Parameter für die Aufgaben konfigurieren.

Wenn Ihre Dokumente im selben Index enthalten sein sollen, müssen sie denselben Indexnamen haben.

So bearbeiten Sie den Indexnamen:

1. Klicken Sie auf der Seite Datenaufgabe auf Einstellungen.
2. Wählen Sie die Registerkarte Vektordatenbankeinstellungen aus.
3. Bearbeiten Sie den Indexnamen.
4. Klicken Sie auf OK.

Einstellungen

Sie können die Einstellungen eines Wissens-Marts anzeigen und bearbeiten.

Klicken Sie auf der Seite Datenaufgabe auf > Einstellungen.