Een kennis-mart maken

Met kennis-marts kunt u uw gestructureerde gegevens insluiten en opslaan in een vectordatabase. Hierdoor kan de uitgebreide context worden opgehaald met semantische zoekfuncties om te worden gebruikt als context voor Retrieval Augmented Generation (RAG)-apps.

De uitvoer is in het JSON-formaat.

Vereisten

• U hebt een Qlik Talend Cloud Enterprise-abonnement nodig.

• Ondersteund op Snowflake- en Databricks-platformen. Snowflake Iceberg wordt niet ondersteund.

• Een door de klant beheerde gegevensgateway is vereist.

  Databricks vereist Qlik Gegevensgateway - Gegevensverplaatsing versie 2024.11.95 of hoger.

De Qlik Gegevensgateway - Gegevensverplaatsing installeren

Voordat u een kennis-mart maakt, moet u een specifieke Qlik Gegevensgateway - Gegevensverplaatsing installeren. Ga voor meer informatie naar Qlik Gegevensgateway - Gegevensverplaatsing instellen voor knowledgemarts.

Ondersteunde verbindingen

Voor informatie over de ondersteunde:

• Vectordatabases, zie Verbinding maken met vectordatabases.
• LLM-verbindingen, zie Verbinding maken met LLM-verbindingen.
• Bestandsopslag, zie Verbinding maken met bestandsopslag.

Gegevens maken

1. Klik op Projecten in het linkermenu en open een project.
2. Vanaf de Projectpagina kunt u documenten genereren en publiceren naar een vectordatabase. Ofwel:
   • Klik op Nieuwe maken > Knowledge mart.
   • Klik op van de gegevenstaak > Knowledge mart.

   Er wordt een configuratievenster geopend.

3. Voer een naam in.
4. Voer een beschrijving in. Dit is optioneel.
5. Selecteer waar de documenten moeten worden opgeslagen in de vervolgkeuzelijst Vectoren opslaan in. Om de documenten bij het project op te slaan, selecteert u Gegevensprojectplatform.
6. Als u Externe vectordatabase hebt geselecteerd, maak of selecteer dan een Verbinding vectordatabase. De documenten en vectoren worden in deze vectordatabase opgeslagen.
7. Maak of selecteer een LLM-verbinding. Deze verbinding is nodig voor het gebruik van de semantische zoekfunctie.
8. Klik op Maken.
9. Wanneer de gegevens zijn gemaakt, voegt u documenten toe.

Documenten toevoegen

1. Klik op Toevoegen in het linkerdeelvenster op het tabblad Datasets van de pagina Gegevenstaak.
2. Selecteer de basisdataset waaruit het document wordt gegenereerd. Er wordt een document gemaakt voor elke record. Voor een lijst met patiënten wordt bijvoorbeeld voor elke patiënt een document gemaakt.
3. Het veld Naam documentschema is vooraf ingevuld met de naam van de geselecteerde basisdataset. Wijzig de naam indien nodig.
4. Voer een beschrijving in. Dit is optioneel.
5. Selecteer de gegevens die u wilt opnemen om het document te verrijken.
6. Klik op OK. U bent terug op het tabblad Documentschema's.
7. Selecteer het tabblad Datasets.
8. Selecteer in het linkerdeelvenster de dataset die u eerder als basisdataset hebt gekozen.
9. Als u de gegevens wilt verwijderen die u niet in de documenten wilt opnemen, schakelt u het selectievakje in en klikt u op Verwijderen.
10. Om de semantische zoekopdracht van de LLM te verbeteren, wijzigt u de naam van gegevens waarvan de namen niet wissen genoeg zijn.

    Voorbeeld: Hernoem dt naar date.

11. Nadat u gegevens hebt verwijderd en hernoemd zoals nodig, klikt u op rechts > Prepare. De documenten worden gegenereerd in JSON indeling.
12. Wanneer de documenten zijn gegenereerd:
    1. Selecteer het Datasets-tabblad.
    2. Om uw documenten te controleren voordat u de taak uitvoert, klikt u op View data om een gegevensvoorbeeld weer te geven.
    3. Klik op Uitvoeren. De documenten worden overgedragen naar de vectordatabase of het dataplatform, afhankelijk van de configuratie.

De overdracht is voltooid wanneer de Run-knop actief is.

Om er zeker van te zijn dat alles is overgedragen, kunt u vragen stellen over uw gegevens. Ga voor meer informatie naar De testassistent gebruiken.

Volledige lading en het vastleggen van wijzigingsgegevens (CDC)

Volledige belasting en CDC worden ondersteund.

Volledige belasting: Er wordt een document gegenereerd voor elke documentinstantie en dit wordt naar het doel verzonden.

CDC: Een document wordt opnieuw gegenereerd na elke wijziging in de basis- of gerelateerde entiteit.

Er wordt een nieuw document gemaakt wanneer een vermelding wordt toegevoegd aan de basisentiteit. Als er geen vermeldingen in de gerelateerde entiteiten kunnen worden gekoppeld aan een basisentiteit, verschijnen deze niet in de documenten.

De invoergegevens bijwerken

Wanneer u de invoergegevens bijwerkt, moet u de gegevenstaak uitvoeren om de wijzigingen over te dragen naar de vectordatabase of het gegevensplatform.

Indexnaam

Elke knowledgemart heeft een indexnaam die voor de semantische zoekfunctie wordt gebruikt.

Wanneer u taken configureert om naar dezelfde index te schrijven, moet u dezelfde LLM-parameters voor de taken configureren.

Als u wilt dat uw documenten in dezelfde index staan, moeten ze dezelfde indexnaam hebben.

De indexnaam bewerken:

1. Klik op Instellingen op de Gegevenstaak-pagina.
2. Selecteer het tabblad Vector database-instellingen.
3. Bewerk de Indexnaam.
4. Klik op OK.

Instellingen

U kunt de instellingen van een knowledgemart bekijken en bewerken.

Klik vanuit de pagina Gegevenstaak op > Instellingen.