Creazione di knowledge mart
La creazione di knowledge mart consente di incorporare e archiviare i dati strutturati e non strutturati in un database vettoriale. Ciò consente di recuperare il contesto aumentato con funzionalità di ricerca semantica, da utilizzare come contesto per le applicazioni di Retrieval Augmented Generation (RAG).
RAG ottimizza l'output dell'LLM fornendo un contesto aggiuntivo all'LLM con la query.
Installazione di Qlik Data Gateway - Data Movement
Per utilizzare i knowledge mart, è necessario connettersi ai database vettoriali e alle connessioni LLM, il che richiede l'installazione di un Qlik Data Gateway - Data Movement specifico. Per ulteriori informazioni, vedere Configurazione di Qlik Data Gateway - Data Movement per i knowledge mart.
Visualizzazione e download dei registri
È possibile visualizzare e scaricare i registri per i knowledge mart. Per ulteriori informazioni, vedere Risoluzione dei problemi Data Movement gateway.
Prerequisiti
È possibile utilizzare le attività dati dei seguenti tipi come sorgente di un knowledge mart:
-
Archiviazione
-
Trasformazione
Prima di creare un knowledge mart, è necessario eseguire le seguenti operazioni nelle attività dati di origine:
- Popolare i set di dati con i dati che si desidera utilizzare nel knowledge mart. Per ulteriori informazioni, vedere Acquisizione di dati in un data warehouse.
-
Creare un modello relazionale del set di dati per definire le relazioni tra i set di dati di origine. Per ulteriori informazioni, vedere Creazione di un modello dati.
Nota di avvisoTutti i set di dati di origine devono avere delle chiavi.
Limitazioni
Vi sono delle limitazioni quando si utilizzano set di dati di origine che corrispondono a tutte queste condizioni:
-
Creati da una trasformazione SQL o da un flusso di trasformazione
-
Non materializzato
-
Archivio dati cronologico (Tipo 2) disattivato
Questi set di dati vengono considerati aggiornati a ogni esecuzione, il che può influire sull'efficienza e sui costi. È possibile attenuare questo problema tramite le seguenti operazioni:
-
Modifica dei set di dati di origine da materializzare.
-
Utilizzo di trasformazioni esplicite del set di dati.
-
Creazione di regole globali per trasformare più set di dati.
Formato di codifica supportato
I file devono essere codificati correttamente come UTF-8. Altri formati potrebbero essere interpretati in modo errato.
Caratteri supportati
I nomi di file e cartelle possono contenere i seguenti caratteri:
- [0-9], [a-Z], [A-Z]
- ! - _ . * ' ()
Potrebbero essere supportati altri caratteri speciali ma, a causa della gestione impegnativa dei caratteri speciali, si raccomanda di utilizzare solo i caratteri dell'elenco precedente.
Relazioni
-
Non è possibile mettere in relazione i dati di due set di dati. Creare un'attività di trasformazione in cui si definisce la relazione nel modello dati e utilizzare l'attività di trasformazione come sorgente dell'attività.
-
Quando due set di dati sono correlati nel modello dati, entrambi i set di dati saranno disponibili nell'attività, anche se si è selezionato solo uno dei set di dati.
Modifica delle connessioni o del gateway dati
Se si modifica la connessione vettoriale o il gateway dati vettoriale, è necessario preparare nuovamente l'attività.
Risoluzione dei problemi
I file spostati in OneDrive non sono riconosciuti da File knowledge mart
Possibile causa
Se i file vengono spostati o sincronizzati in OneDrive utilizzando opzioni che preservano la data di creazione e modifica del vecchio file, il file non viene riconosciuto come un nuovo file.
Azione proposta
Modificare la data di modifica del file alla data corrente.
Errore di runtime quando si usa Pinecone
Possibile causa
I valori NULL nelle colonne dei metadati non sono supportati da Pinecone. Il risultato sarebbe un errore di runtime.
Azione proposta
-
Trasforma i valori NULL in altri valori, ad esempio una stringa vuota o la parola NULL, in una trasformazione prima del knowledge mart.
-
Usa un altro database vettoriale.
-
Non usare la colonna come metadati.