Een op bestanden gebaseerde knowledgemart maken

Met op bestanden gebaseerde knowledgemarts kunt u uw ongestructureerde gegevens insluiten en opslaan in een vectordatabase. Hierdoor kan de uitgebreide context worden opgehaald met semantische zoekfuncties om te worden gebruikt als context voor Retrieval Augmented Generation (RAG)-toepassingen.

De ondersteunde invoerformaten zijn: PDF, TXT en Word DOCX.

Het Qlik Data Gateway - Data Movement installeren

Voordat u op bestanden gebaseerde knowledgemarts kunt maken, moet u een specifieke Qlik Data Gateway - Data Movement installeren. Ga voor meer informatie naar Qlik Data Gateway - Data Movement instellen voor knowledgemarts.

Ondersteunde verbindingen

Voor informatie over de ondersteunde:

• Vectordatabases, zie Verbinding maken met vectordatabases.
• LLM-verbindingen, zie Verbinding maken met LLM-verbindingen.
• Bestandsopslag, zie Verbinding maken met bestandsopslag.

De bestanden maken

1. Klik op Projecten in het linkermenu en open een project.
2. Op de pagina Project kunt u een op bestanden gebaseerde knowledgemart maken. Ofwel:
   • Klik op Nieuwe maken > Op bestanden gebaseerde knowledgemart.
   • Klik op van de gegevenstaak > Op bestanden gebaseerde knowledgemart.

   Er wordt een configuratievenster geopend.

3. Voer een naam in.
4. Voer een beschrijving in. Dit is optioneel.
5. Maak of selecteer een bronverbinding.

6. Selecteer waar u de documenten wilt opslaan in de vervolgkeuzelijst Vectoren opslaan in. Om de documenten bij het project op te slaan, selecteert u Gegevensprojectplatform.

7. Als u Externe vectordatabase hebt geselecteerd, maak of selecteer dan een Verbinding vectordatabase. De documenten en vectoren worden in deze vectordatabase opgeslagen.
8. Maak of selecteer een LLM-verbinding. Deze verbinding is nodig voor het gebruik van de semantische zoekfunctie.
9. Klik op Maken.
10. Wanneer de knowledgemart is aangemaakt, voegt u documenten toe.

Bestanden toevoegen

1. Selecteer op het tabblad Mappen van de pagina Gegevenstaak een map of klik op Mappen selecteren om een nieuwe map te selecteren.
2. Blader naar de map, schakel het selectievakje van de map in.

   Alle bestanden in de mappen worden gelezen als ze in een van de ondersteunde formaten staan, ongeacht wanneer ze aan de map zijn toegevoegd.

   Wanneer u een bestand dat al in de index bestaat uit een map verwijdert, blijven de gegevens in de index staan. Om de gegevens uit de index te verwijderen, gebruikt u hetzelfde bestand, maar dan leeg.

   Om de lijst met bestanden in de map weer te geven, klikt u er met de rechtermuisknop op.

3. Klik op Opslaan om het venster Mappen selecteren te sluiten.
4. Om de grootte van de chunk en de chunk overlapping te bewerken, klikt u op Instellingen > Runtime.
5. Om de indexnaam te bewerken, klikt u op Instellingen > Instellingen vectordatabase.

   Ga voor meer informatie naar Indexnaam.

6. Klik rechts op > Voorbereiden.
7. Wanneer de voorbereiding voltooid is, klikt u op Uitvoeren. De documenten worden ingesloten en overgedragen.

   De overdracht is voltooid wanneer de knop Uitvoeren actief is.

8. Als het de eerste volledige lading is, controleert u de status van elk bestand:
   1. Selecteer Bewaken in het menu.
   2. Selecteer Status volledige lading onder aan de pagina.

      

   3. Wanneer sommige bestanden mislukt zijn, dient u de fouten te herstellen of verwijdert u de bestanden voordat u het proces nogmaals uitvoert. Als de bestanden fouten blijven bevatten, zullen de volgende runs mislukken.
   InformatieHet opnieuw laden van alle bestanden kan extra kosten met zich meebrengen.

Als uw bestanden correct zijn, kunt u vragen stellen over uw gegevens. Ga voor meer informatie naar De testassistent gebruiken.

Volledige lading en het vastleggen van wijzigingsgegevens (CDC)

Volledige lading en CDC worden ondersteund.

Volledige lading: voor elk documentexemplaar wordt een document gegenereerd en naar het doel gestuurd.

CDC: een document wordt gegenereerd na elke wijziging.

Wanneer een bestand wordt gewijzigd of toegevoegd, worden documenten uit dit bestand gelezen. Het bestand wordt opgesplitst in documenten met chunks volgens de grootte en overlapping van de chunk.

Als het de eerste volledige lading is, controleert u de status van elk bestand:

1. Selecteer Bewaken in het menu.
2. Selecteer Status volledige lading onder aan de pagina.

   

3. Wanneer sommige bestanden mislukt zijn, dient u de fouten te herstellen of verwijdert u de bestanden voordat u het proces nogmaals uitvoert. Als de bestanden fouten blijven bevatten, zullen de volgende runs mislukken.

De invoergegevens bijwerken

Wanneer u de invoergegevens bijwerkt, moet u de gegevenstaak uitvoeren om de wijzigingen naar de vectordatabase of het gegevensplatform over te brengen.

Aangezien oude chunks worden verwijderd en nieuwe chunks worden ingevoegd, komt het veld hdr__operation overeen met een invoegbewerking, niet met een updatebewerking. Ga voor meer informatie naar Gegevensverzamelingarchitectuur in een clouddatawarehouse.

Indexnaam

Elke knowledgemart heeft een indexnaam die voor de semantische zoekfunctie wordt gebruikt.

Wanneer u taken configureert om naar dezelfde index te schrijven, moet u dezelfde LLM-parameters voor de taken configureren.

Als u wilt dat uw documenten in dezelfde index staan, moeten ze dezelfde indexnaam hebben.

De indexnaam bewerken:

1. Klik op Instellingen op de Gegevenstaak-pagina.
2. Selecteer het tabblad Vector database-instellingen.
3. Bewerk de Indexnaam.
4. Klik op OK.

Nadat u de indexnaam hebt bewerkt, moet u de taak voorbereiden. Anders worden uw wijzigingen niet toegepast bij de volgende runs.

Instellingen

U kunt de instellingen van een knowledgemart bekijken en bewerken.

Klik vanuit de pagina Gegevenstaak op > Instellingen.