Creazione di un knowledge mart basato su file
I knowledge mart basati su file consentono di incorporare e archiviare i dati non strutturati in un database vettoriale. Ciò consente di recuperare il contesto aumentato con funzionalità di ricerca semantica, da utilizzare come contesto per le applicazioni di Retrieval Augmented Generation (RAG).
I formati di input supportati sono: PDF, TXT, e DOCX di Word.
Installazione di Qlik Data Gateway - Data Movement
Prima di creare un knowledge mart, è necessario installare un Qlik Data Gateway - Data Movement specifico. Per ulteriori informazioni, vedere Configurazione di Qlik Data Gateway - Data Movement per i knowledge mart.
Connessioni supportate
Per informazioni sugli elementi supportati:
- Database vettoriali, vedere Connessione ai database vettoriali.
- Connessioni LLM, vedere Connessione alle connessioni LLM.
- Archiviazione di file, vedere Connessione a un'archiviazione file.
Creazione di file
- Fare clic su Progetti nel menu a sinistra e aprire un progetto.
- Dalla pagina Progetto, è possibile creare un knowledge mart basato su file. Eseguire una di queste operazioni:
- Fare clic su Crea nuovo > Knowledge mart basato su file.
- Fare clic su
dell'attività dati > Knowledge mart basato su file.
Viene visualizzata la finestra di configurazione.
- Immettere un nome.
- Inserire una descrizione. Questa opzione è facoltativa.
- Creare o selezionare una Connessione di origine.
-
Selezionare la posizione in cui si desidera archiviare i documenti dall'elenco a discesa Archivia vettori in. Per archiviare i documenti con il progetto, selezionare Piattaforma progetto dati.
- Se si è selezionata l'opzione Database vettore esterno, creare o selezionare una Connessione database vettoriale. I documenti e i vettori saranno archiviati in questo database vettoriale.
- Creare o selezionare una Connessione LLM. Questa connessione è necessaria per utilizzare la ricerca semantica.
- Fare clic su Crea.
- Dopo aver creato i knowledge mart, aggiungere i documenti.
Aggiunta di file
- Nella scheda Cartelle della pagina Attività dati, selezionare una cartella o fare clic su Seleziona cartelle per selezionarne una nuova.
- Sfogliare la cartella, selezionare la casella di controllo della cartella.
Tutti i file nelle cartelle verranno letti se sono in uno dei formati supportati, indipendentemente dal momento in cui sono stati aggiunti alla cartella.
Quando si elimina un file esistente nell'indice da una cartella, i dati rimangono nell'indice. Per rimuovere i dati dall'indice, utilizzare lo stesso file ma vuoto.
Per visualizzare l'elenco dei file presenti nella cartella, fare clic su di esso con il pulsante destro del mouse.
- Fare clic su Salva per chiudere la finestra Seleziona cartelle.
- Per modificare la dimensione del blocco, la sovrapposizione dei blocchi, fare clic su Impostazioni > Tempo di esecuzione.
- Per modificare il nome dell'indice, fare clic su Impostazioni > Impostazioni database vettore.
Per ulteriori informazioni, vedere Nome indice.
- Fare clic su a destra > Prepara.
- Al completamento della preparazione, fare clic su Esegui. I documenti vengono incorporati e trasferiti.
Il trasferimento viene completato quando il pulsante Esegui è attivo.
- Se si tratta del primo caricamento completo, verificare lo stato di ogni file:
- Selezionare Monitoraggio nel menu.
- Selezionare lo Stato caricamento completo nella parte inferiore della pagina.
- Se l'esecuzione non viene completata per alcuni file e prima di rieseguire tutto, correggere gli errori o eliminare i file. Se si mantenono i file con errori, le esecuzioni successive falliranno.
Nota informaticaIl ricaricamento di tutti i file potrebbe comportare costi aggiuntivi.
Quando i file sono corretti, è possibile fare domande sui dati. Per ulteriori informazioni, vedere Utilizzo dell'assistente test.
Caricamento completo e CDC (Change Data Capture)
Sono supportati i caricamenti completi e i processi CDC.
Caricamento completo: per ogni istanza del documento viene generato un documento che verrà inviato al destinatario.
CDC: un documento viene rigenerato dopo ogni modifica.
Quando un file viene modificato o aggiunto, i documenti vengono letti da questo file. Il file verrà suddiviso in documenti dei blocchi in base alla dimensione del blocco e della sovrapposizione.
Se si tratta del primo caricamento completo, verificare lo stato di ogni file:
- Selezionare Monitoraggio nel menu.
- Selezionare lo Stato caricamento completo nella parte inferiore della pagina.
- Se l'esecuzione non viene completata per alcuni file e prima di rieseguire tutto, correggere gli errori o eliminare i file. Se si mantenono i file con errori, le esecuzioni successive falliranno.
Aggiornamento dei dati di input
Quando si aggiornano i dati di input, è necessario eseguire l'attività dati per trasferire le modifiche al database vettoriale o alla piattaforma dati.
Poiché i vecchi blocchi vengono eliminati e i nuovi blocchi vengono inseriti, il campo hdr__operation corrisponde a un'operazione di inserimento, non a un'operazione di aggiornamento. Per maggiori informazioni, vedere Architettura del set di dati in un cloud data warehouse.
Nome indice
Ogni knowledge mart ha un nome di indice che viene utilizzato per le ricerche semantiche.
Quando si impostano attività per scrivere nello stesso indice, è necessario configurare gli stessi parametri LLM per le attività.
Se si desidera applicare la stessa indicizzazione per i documenti, è necessario assegnare lo stesso nome al relativo indice.
Per modificare il nome dell'indice:
- Nella pagina Attività dati, fare clic su Impostazioni.
- Selezionare la scheda Impostazioni database vettore.
- Modificare il Nome indice.
- Fare clic su OK.
Dopo aver modificato il nome dell'indice, è necessario preparare l'attività. In caso contrario, le modifiche non verranno applicate nelle esecuzioni successive.
Impostazioni
È possibile visualizzare e modificare le impostazioni di un knowledge mart.
Nella pagina Attività dati, fare clic su > Impostazioni.
| Impostazioni | Descrizione |
| Connessione di origine | La connessione di origine. |
| Archivia vettori in | Dall'elenco a discesa, selezionare:
|
| Connessione database vettoriale Questa impostazione è disponibile quando si seleziona il Database esterno vettore per Archivia vettori in. | La connessione del database vettoriale. Per ulteriori informazioni, vedere Connessione ai database vettoriali. |
| Connessione LLM | La connessione LLM. Per ulteriori informazioni, vedere Connessione alle connessioni LLM. Quando si desidera utilizzare Databricks come connessione LLM, configurare le opzioni Endpoint di servizio modello di incorporamento e Endpoint di servizio modello di completamento quando si crea il knowledge mart. Per maggiori informazioni, consultare la documentazione di Databricks. |
| Impostazioni | Descrizione |
| Schema attività dati | Il nome dello schema dell'attività dati. |
| Schema interno | Il nome dello schema interno. |
| Prefisso per tutte le tabelle e le visualizzazioni | Il prefisso per risolvere i conflitti tra pipu attività dati. |
| Impostazioni | Descrizione |
| Schema indice Questa impostazione non è disponibile quando si seleziona il Database esterno vettore per Archivia vettori in. | Il nome dello schema di indicizzazione. |
| Nome indice | Il nome dell'indicizzazione. |
| Se l'indicizzazione esiste già | Quando più attività scrivono nella stessa indicizzazione, selezionare se l'indicizzazione deve essere eliminata o meno:
|
| Impostazioni | Descrizione |
| Esecuzione parallela | Il numero massimo di connessioni al database. Inserire un valore compreso tra 1 e 50. |
| Dimensioni blocco | Per i knowledge mart, le dimensioni del blocco sono costituite dal numero di documenti caricati in ogni richiesta in blocco. Per i knowledge mart basati su file, le dimensioni del blocco sono costituite dal numero di file caricati in ogni richiesta in blocco. Su Snowflake, le dimensioni del blocco non sono richieste, perché tutti i contenuti vengono caricati in un'unica query. |
| Numero massimo di record da caricare | 0 significa che tutti i record vengono caricati. |
| Impostazioni | Descrizione |
| Viste standard | Utilizzare le viste standard per visualizzare i risultati di una query come se fosse una tabella. |
| Viste sicure Snowflake | Utilizzare le viste sicure di Snowflake per le viste designate per la privacy dei dati o la protezione delle informazioni sensibili, come le viste create per limitare l'accesso ai dati sensibili che non devono essere esposti a tutti gli utenti delle tabelle sottostanti. Le viste sicure di Snowflake possono essere eseguite più lentamente rispetto alle viste Standard. |
| Impostazioni | Descrizione |
| Numero di documenti in contesto | Il numero di documenti rilevanti che verranno passati al modello come contesto. |
| Modello prompt | Inserire il modello che l'IA deve seguire per filtrare i documenti da includere. |
| Filtro | Inserire l'espressione per filtrare i documenti da includere. Poiché il filtro si basa sui metadati e i knowledge mart basati su file non hanno metadati, considerare attentamente il filtro che da configurare. Potrebbe essere più pertinente escludere i dati anziché includerli. Per ulteriori informazioni, vedere Utilizzo dell'assistente test. |
| Recupero documento | Selezionare l'opzione dall'elenco a discesa:
|
| Generazione risposte | Selezionare l'opzione dall'elenco a discesa:
|