Skapa kunskapsmartar

Med kunskapsmarter kan du bädda in och lagra dina strukturerade och ostrukturerade data i en vektordatabas. Detta gör att den utökade kontexten kan hämtas med semantiska sökfunktioner för att användas som kontext för Retrieval Augmented Generation (RAG)-applikationer.

RAG optimerar LLM-utdata genom att ge LLM ytterligare kontext med frågan.

Krav

• Du behöver en Qlik Talend Cloud Enterprise-prenumeration.

• Stöds på Snowflake- och Databricks-plattformar. Snowflake Iceberg stöds inte.

• En kundhanterad datagateway krävs.

  Databricks kräver Qlik Data Gateway – dataflytt version 2024.11.95 eller högre.

Installera Qlik Data Gateway – dataflytt

För att använda kunskapsmarter måste du ansluta till vektordatabaser och LLM-kopplingar, vilket kräver installation av en specifik Qlik Data Gateway – dataflytt. Mer information finns i Ställa in Qlik Data Gateway – dataflytt för kunskapsmarter.

Visa och hämta loggarna

Du kan visa och hämta loggarna för kunskapsmarter. Mer information finns i Felsökning Gateway för dataflytt.

Förutsättningar

Du kan använda datauppgifter av följande typer som källa för en kunskapsmart:

• Lagring

• Transformering

Innan du kan skapa en kunskapsmart måste du göra följande i uppgifterna för källdata:

• Fyll datauppsättningarna med data som du vill använda i din kunskapsmart. Mer information finns i Introduktion av data till ett datalager.

• Skapa en relationstabell för datauppsättningarna så att relationen mellan källdatauppsättningarna kan definieras. Mer information finns i Skapa en datamodell.

  Anteckning om varningAlla källdataposter måste ha nycklar.

Konfigurera Databricks för kunskapsmartar

Om du använder Databricks som dataplattform måste du utföra viss konfiguration i Databricks för att kunna skapa kunskapsmartar.

• Skapa ett SQL-lager i Databricks. Serverless Compute rekommenderas för användning.

  Du måste också konfigurera Datasäkerhet för SQL-lager och Serverless Compute för att aktivera lagringsintegration.

• Skapa en slutpunkt i Vektorsökning. Du hänvisar till namnet på denna slutpunkt i Inställningar för vektordatabas i kunskapsmartuppgiften.

  Välj Typ baserat på dina prestandakrav, Standard är lämplig för de flesta användningsfall.

  Vid behov, definiera en Serverlös användningspolicy för att associera taggar för kostnadsfördelning.

• Konfigurera Databricks-modeller i Serving.

  Under Serving Endpoints kan du använda de LLM-inbäddningar och Chattmodeller som är tillgängliga i Databricks. Se till att verifiera modellerna du planerar att använda i din datapipeline.

  Du kan också skapa en Serving Endpoint för en anpassad modell, eller använda en Grundmodell, till exempel OpenAI eller Azure OpenAI.

  Exempel:  

  Inbäddningsmodell: databricks-gte-large-en

  Chatt-/kompletteringsmodell: databricks-meta-llama-3-1-405b-instruct

Begränsningar

Det finns begränsningar när du använder källdatauppsättningar som uppfyller alla dessa villkor:

• Skapad av SQL-transformation eller ett transformeringsflöde

• Icke-materialiserad

• Historisk datalagring (typ 2) inaktiverad

Dessa datauppsättningar anses vara uppdaterade vid varje körning, vilket kan påverka effektiviteten och kostnaderna. Du kan mildra detta genom att:

• Ändra de källdatauppsättningar som ska materialiseras.

• Använda uttryckliga datauppsättningstransformationer.

• Skapa globala regler som omvandlar flera datauppsättningar.

Kodningsformat som stöds

Dina filer måste vara korrekt kodade i UTF-8. Andra format kan tolkas felaktigt.

Tecken som stöds

Fil- och mappnamnen kan innehålla följande tecken:

• [0-9], [a-Z], [A-Z]
• ! - _ . * ' ()

Andra specialtecken kan stödjas, men på grund av den omfattande hanteringen av specialtecken rekommenderas att endast använda tecknen i listan ovan.

Relationer

• Det är inte möjligt att relatera data från två dataset. Skapa en transformeringsuppgift där du definierar relationen i datamodellen och använd transformeringsuppgiften som källa för uppgiften.

• När två datauppsättningar är relaterade i datamodellen kommer båda datauppsättningarna att vara tillgängliga i uppgiften, även om du bara har valt en av datauppsättningarna.

Ändra kopplingar eller datagateway

Om du ändrar vektorkopplingen eller vektordatagatewayen måste du förbereda uppgiften igen.

Felsökning

Filer som flyttats till OneDrive känns inte igen av File knowledge mart

Möjlig orsak  

Om filer flyttas eller synkroniseras till OneDrive med alternativ som bevarar det gamla skapande- och ändringsdatumet för filen, känns filen inte igen som en ny fil.

Föreslagen åtgärd  

Ändra filens ändringsdatum till aktuellt datum.

Körningsfel vid användning av Pinecone

Möjlig orsak  

NULL-värden i metadata-kolumner stöds inte av Pinecone. Resultatet skulle bli ett körningsfel.

Föreslagen åtgärd  

• Omvandla NULL-värdena till andra värden, till exempel en tom sträng, eller ordet NULL, i en transformation före kunskapsmarten.

• Använd en annan vektordatabas.

• Använd inte kolumnen som metadata.