Knowledgemarts maken

Door het maken van knowledgemarts kunt u uw gestructureerde en niet-gestructureerde gegevens insluiten en opslaan in een vectordatabase. Dit maakt het mogelijk de uitgebreide context op te halen met semantische zoekfuncties, die kan worden gebruikt als context voor Retrieval Augmented Generation (RAG)-apps.

RAG optimaliseert de uitvoer van de LLM door de LLM van extra context te voorzien met de query.

Vereisten

• U hebt een Qlik Talend Cloud Enterprise-abonnement nodig.

• Ondersteund op Snowflake- en Databricks-platformen. Snowflake Iceberg wordt niet ondersteund.

• Een door de klant beheerde gegevensgateway is vereist.

  Databricks vereist Qlik Gegevensgateway - Gegevensverplaatsing versie 2024.11.95 of hoger.

De Qlik Gegevensgateway - Gegevensverplaatsing installeren

Om knowledgemarts te gebruiken, moet u verbinding maken met vectordatabases en LLM-verbindingen, waarvoor een specifieke Qlik Gegevensgateway - Gegevensverplaatsing moet worden geïnstalleerd. Ga voor meer informatie naar Qlik Gegevensgateway - Gegevensverplaatsing instellen voor knowledgemarts.

De logbestanden weergeven en downloaden

U kunt de logbestanden voor de knowledgemarts bekijken en downloaden. Ga voor meer informatie naar Probleemoplossing Data Movement gateway.

Vereisten

U kunt gegevenstaken van de volgende typen gebruiken als bron voor een knowledgemart:

• Opslag

• Transformeren

Voordat u een knowledgemart kunt maken, moet u het volgende doen in de brongegevenstaken:

• Vul de gegevensverzamelingen in met gegevens die u wilt gebruiken in uw knowledgemart. Ga voor meer informatie naar Onboarding van gegevens naar een datawarehouse.

• Maak een relationeel model voor een gegevensverzameling om de relatie tussen de brongegevensverzamelingen te definiëren. Ga voor meer informatie naar Een gegevensmodel maken.

  WaarschuwingAlle brongegevensverzamelingen moeten sleutels bevatten.

Databricks configureren voor knowledgemarts

Als u Databricks als gegevensplatform gebruikt, moet u enkele configuraties uitvoeren in Databricks om knowledgemarts te kunnen maken.

• Maak een SQL‑warehouse in Databricks. Het wordt aanbevolen om Serverloos berekenen te gebruiken.

  U moet ook Gegevensbeveiliging configureren voor SQL-warehouses en Serverloos berekenen om opslagintegratie mogelijk te maken.

• Maak een eindpunt aan in Vector-zoekodracht. U verwijst naar de naam van dit eindpunt in Vector database-instellingen in de knowledgemarttaak.

  Kies het Type op basis van uw prestatievereisten, Standaard is geschikt voor de meeste gebruiksscenario's.

  Indien nodig, definieer een Serverloos gebruiksbeleid om tags te koppelen voor kostentoekenning.

• Configureer Databricks-modellen in Serving.

  Onder Serving-eindpunten kunt u de LLM-insluitingen en Chatmodellen gebruiken die beschikbaar zijn in Databricks. Zorg ervoor dat u de modellen verifieert die u van plan bent te gebruiken in uw gegevenspijplijn.

  U kunt ook een Serving-eindpunt maken voor een aangepast model, of een Basismodel gebruiken, bijvoorbeeld OpenAI of Azure OpenAI.

  Voorbeelden:  

  Insluitingsmodel: databricks-gte-large-en

  Chat-/voltooiingsmodel: databricks-meta-llama-3-1-405b-instruct

Beperkingen

Er zijn beperkingen als u brongegevensverzamelingen gebruikt die aan al deze voorwaarden voldoen:

• Gemaakt door SQL-transformatie of een transformatiestroom

• Niet-gematerialiseerd

• Historische gegevensopslag (type 2) is uitgeschakeld

Deze gegevensverzamelingen worden bij elke uitvoering als bijgewerkt beschouwd, wat de efficiëntie en kosten kan beïnvloeden. U kunt dit verminderen door:

• De te materialiseren brongegevensverzamelingen wijzigen.

• Expliciete transformaties voor gegevensverzamelingen gebruiken.

• Algemene regels maken om meerdere gegevensverzamelingen te transformeren.

Ondersteunde coderingsindeling

Uw bestanden moeten correct gecodeerd zijn in UTF-8. Andere indelingen kunnen verkeerd geïnterpreteerd worden.

Ondersteunde tekens

De bestands- en mapnamen kunnen de volgende tekens bevatten:

• [0-9], [a-Z], [A-Z]
• ! - _ . * ' ()

Andere speciale tekens kunnen worden ondersteund, maar vanwege de aanzienlijke verwerking van speciale tekens wordt aanbevolen om alleen de tekens uit de bovenstaande lijst te gebruiken.

Relaties

• Het is niet mogelijk om gegevens uit twee gegevensverzamelingen met elkaar in verband te brengen. Maak een transformatietaak waarbij u de relatie in het gegevensmodel definieert en gebruik de transformatietaak als bron voor de taak.

• Wanneer twee gegevensverzamelingen aan elkaar gerelateerd zijn in het gegevensmodel, zullen beide gegevensverzamelingen beschikbaar zijn in de taak, zelfs als u slechts één van de gegevensverzamelingen hebt geselecteerd.

Verbindingen of gegevensgateway wijzigen

Als u de vectorverbinding of de vectorgegevensgateway wijzigt, moet u de taak opnieuw voorbereiden.

Problemen oplossen

Bestanden verplaatst naar OneDrive worden niet herkend door de File-knowledgemart

Mogelijke oorzaak  

Als bestanden worden verplaatst of gesynchroniseerd naar OneDrive met opties die de oude aanmaak- en wijzigingsdatum van het bestand behouden, wordt het bestand niet herkend als een nieuw bestand.

Voorgestelde actie  

Verander de wijzigingsdatum van het bestand in de huidige datum.

Runtime-fout bij gebruik van Pinecone

Mogelijke oorzaak  

NULL-waarden in metagegevenskolommen worden niet ondersteund door Pinecone. Het resultaat zou een runtime-fout zijn.

Voorgestelde actie  

• Transformeer de NULL-waarden naar andere waarden, bijvoorbeeld een lege tekenreeks of het woord NULL, in een transformatie vóór de knowledgemart.

• Gebruik een andere vectordatabase.

• Gebruik de kolom niet als metagegevens.