Skapa kunskapsmartar

Senast uppdaterad: 2026-09-08

Med kunskapsmarter kan du bädda in och lagra dina strukturerade och ostrukturerade data i en vektordatabas. Detta gör att den förstärkta kontexten kan hämtas med semantiska sökfunktioner för att användas som ett sammanhang för RAG-applikationer (Retrieval Augmented Generation).

RAG optimerar LLM-utdata genom att ge LLM ytterligare kontext med frågan.

Krav

• Du behöver en Qlik Talend Cloud Enterprise-prenumeration.

• Stöds på Snowflake- och Databricks-plattformar. Snowflake Iceberg stöds inte.

• En kundhanterad datagateway krävs.

  Databricks kräver Qlik Data Gateway – dataflytt version 2024.11.95 eller högre.

Installera Qlik Data Gateway – dataflytt

För att använda kunskapsmarter måste du ansluta till vektordatabaser och LLM-kopplingar, vilket kräver installation av en specifik Qlik Data Gateway – dataflytt. Mer information finns i Ställa in Qlik Data Gateway – dataflytt för kunskapsmarter.

Visa och hämta loggarna

Du kan visa och hämta loggarna för kunskapsmarter. Mer information finns i Felsökning Gateway för dataflytt.

Förutsättningar

Du kan använda datauppgifter av följande typer som källa för en kunskapsmart:

• Lagring

• Transformering

Innan du kan skapa en kunskapsmart måste du göra följande i uppgifterna för källdata:

• Fyll datauppsättningarna med data som du vill använda i din kunskapsmart. Mer information finns i Introduktion av data till ett datalager.

• Skapa en relationstabell för datauppsättningarna så att relationen mellan källdatauppsättningarna kan definieras. Mer information finns i Skapa en datamodell.

  Anteckning om varningAlla källdataposter måste ha nycklar.

Konfigurera Databricks för kunskapsmartar

Om du använder Databricks som dataplattform måste du utföra viss konfiguration i Databricks för att kunna skapa kunskapsmartar.

• Skapa ett SQL-lager i Databricks. Serverless Compute rekommenderas för användning.

  Du måste också konfigurera Datasäkerhet för SQL-lager och Serverless Compute för att aktivera lagringsintegration.

• Skapa en slutpunkt i Vektorsökning. Du hänvisar till namnet på denna slutpunkt i Inställningar för vektordatabas i kunskapsmartuppgiften.

  Välj Typ baserat på dina prestandakrav, Standard är lämplig för de flesta användningsfall.

  Vid behov, definiera en Serverlös användningspolicy för att associera taggar för kostnadsfördelning.

• Konfigurera Databricks-modeller i Serving.

  Under Serving Endpoints kan du använda de LLM-inbäddningar och Chattmodeller som är tillgängliga i Databricks. Se till att verifiera modellerna du planerar att använda i din datapipeline.

  Du kan också skapa en Serving Endpoint för en anpassad modell, eller använda en Grundmodell, till exempel OpenAI eller Azure OpenAI.

  Inbäddningsmodell: databricks-gte-large-en

  Chatt-/kompletteringsmodell: databricks-meta-llama-3-1-405b-instruct

Begränsningar

Det finns begränsningar när du använder källdatauppsättningar som uppfyller alla dessa villkor:

• Skapad av SQL-transformation eller ett transformeringsflöde

• Icke-materialiserad

• Historisk datalagring (typ 2) inaktiverad

Dessa datauppsättningar anses vara uppdaterade vid varje körning, vilket kan påverka effektiviteten och kostnaderna. Du kan mildra detta genom att:

• Ändra de källdatauppsättningar som ska materialiseras.

• Använda uttryckliga datauppsättningstransformationer.

• Skapa globala regler som omvandlar flera datauppsättningar.

Kunskapsmarknadsuppgifter kan exporteras och importeras endast mellan projekt som använder samma dataplattformstyp. Att exportera ett projekt med kunskapsmart-uppgifter från Snowflake och importera det till Databricks, eller exportera från Databricks och importera till Snowflake, stöds inte.

Kodningsformat som stöds

Dina filer måste vara korrekt kodade i UTF-8. Andra format kan tolkas felaktigt.

Tecken som stöds

Fil- och mappnamnen kan innehålla följande tecken:

• [0-9], [a-Z], [A-Z]
• ! - _ . * ' ()

Andra specialtecken kan stödjas, men på grund av den omfattande hanteringen av specialtecken rekommenderas att endast använda tecknen i listan ovan.

Relationer

• Det är inte möjligt att relatera data från två dataset. Skapa en transformeringsuppgift där du definierar relationen i datamodellen och använd transformeringsuppgiften som källa för uppgiften.

• När två datauppsättningar är relaterade i datamodellen kommer båda datauppsättningarna att vara tillgängliga i uppgiften, även om du bara har valt en av datauppsättningarna.

Ta bort en uppgift

Du kan ta bort datauppgiften om den inte körs och det inte finns några beroenden till efterföljande uppgifter i samma projekt.

• I projektvyn Pipelineprojekt klickar du på på en uppgift och väljer Ta bort.

Artefakter (tabeller och vyer) som skapats av uppgiften kommer också att tas bort, om du inte väljer att behålla dem.

Om uppgiften är inställd på Ta bort och skapa indexet, tas indexet bort endast om du valde att ta bort artefakter. Om du väljer att behålla artefakter bevaras indexet.

Byte av kopplingar eller datagateway

Om du ändrar vektorkopplingen eller vektordatagatewayen måste du förbereda uppgiften igen.

Felsökning

Filer som flyttats till OneDrive känns inte igen av File knowledge mart

Om filer flyttas eller synkroniseras till OneDrive med alternativ som bevarar det gamla skapande- och ändringsdatumet för filen, känns filen inte igen som en ny fil.

Ändra filens ändringsdatum till aktuellt datum.

Körningsfel vid användning av Pinecone

NULL-värden i metadata-kolumner stöds inte av Pinecone. Resultatet skulle bli ett körningsfel.

• Omvandla NULL-värdena till andra värden, till exempel en tom sträng, eller ordet NULL, i en transformation före kunskapsmarten.

• Använd en annan vektordatabas.

• Använd inte kolumnen som metadata.