Création d'un mart de connaissances basé fichiers

Les marts de connaissances basés fichiers vous permettent d'intégrer et de stocker vos données non structurées dans une base de données vectorielle. Cela permet de récupérer le contexte augmenté avec des fonctions de recherche sémantique afin de l'utiliser comme contexte pour les applications RAG (Retrieval Augmented Generation - Génération augmentée de récupération).

Les formats d'entrée supportés sont les suivants : PDF, TXT et Word DOCX.

Prérequis

Vous avez besoin d'un abonnement Qlik Talend Cloud Enterprise.
Supporté sur les plateformes Snowflake et Databricks. Snowflake Iceberg n'est pas supporté.
Une passerelle de données gérée par le client est obligatoire.

Databricks nécessite Passerelle de données Qlik - Déplacement des données version 2024.11.95 ou une version supérieure.

Installation de Passerelle de données Qlik - Déplacement des données

Avant de créer des marts de connaissances basés fichiers, vous devez installer un Passerelle de données Qlik - Déplacement des données spécifique. Pour plus d'informations, consultez Configuration de Passerelle de données Qlik - Déplacement des données pour les datamarts de connaissances.

Connexions supportées

Pour des informations sur les éléments suivants supportés :

Bases de données vectorielles, consultez Connexion à des bases de données vectorielles.
Connexions LLM, consultez Connexion à des connexions LLM.
Stockage de fichiers, consultez Connexion à un stockage de fichiers.
Stockage dans le cloud (Amazon S3, Google Cloud Storage, Azure Data Lake Storage), consultez Connexion au stockage cloud.

Création des fichiers

Cliquez sur Projets dans le menu gauche et ouvrez un projet.
À partir de la page Projet, vous pouvez créer un mart de connaissances basé fichiers. Vous pouvez :
- Cliquez sur Créer > Mart de connaissances basé fichiers.
- Cliquez sur de la tâche de données > Mart de connaissances basé fichiers.
La fenêtre de configuration s'ouvre.
Saisissez un nom.
Saisissez une description. Cet argument est facultatif.
Créez ou sélectionnez une connexion source.
Sélectionnez l'endroit où stocker les documents dans la liste déroulante Stocker les vecteurs dans. Pour stocker les documents avec le projet, sélectionnez Plateforme de projet de données.
Si vous avez sélectionné Base de données vectorielle externe, créez ou sélectionnez une Connexion de base de données vectorielle. Les documents et les vecteurs seront stockés dans cette base de données vectorielle.
Créez ou sélectionnez une connexion LLM. Cette connexion est nécessaire pour pouvoir utiliser la recherche sémantique.
Cliquez sur Créer.
Lorsque le mart de connaissances est créé, ajoutez des documents.

Ajout de fichiers

Seul le texte est écrit dans les documents. Le texte des diagrammes ou des images n'est pas extrait.

Dans l'onglet Dossiers de la page de la Tâche de données, sélectionnez un dossier ou cliquez sur Sélectionner des dossiers pour en sélectionner un nouveau.
Accédez au dossier et cochez la case correspondante.
Tous les fichiers des dossiers seront lus s'ils se présentent dans l'un des formats supportés, quel que soit le moment où ils sont ajoutés au dossier.
Lorsque vous supprimez d'un dossier un fichier qui existe déjà dans l'index, les données restent dans l'index. Pour supprimer les données de l'index, utilisez le même fichier, mais vide.
Pour afficher la liste de fichiers contenus dans le dossier, cliquez-droit dessus.
Cliquez sur Enregistrer pour fermer la fenêtre Sélectionner des dossiers.
Pour modifier la taille de bloc, le chevauchement de blocs, cliquez sur Paramètres > Temps d'exécution.
Pour modifier le nom d'index, cliquez sur Paramètres > Paramètres de base de données vectorielle.
Pour plus d'informations, consultez Nom d'index.
Cliquez sur à droite > Préparer.
Lorsque la préparation est terminée, cliquez sur Exécuter. Les documents sont intégrés et transférés.
Le transfert est terminé lorsque le bouton Exécuter est actif.
Lors du premier chargement complet, vérifiez l'état de chaque fichier :
1. Sélectionnez Surveiller dans le menu.
2. Sélectionnez État de chargement complet en bas de la page.
3. Lorsque certains fichiers ont échoué et avant de tout réexécuter, corrigez les erreurs ou supprimez les fichiers. Si vous conservez les fichiers en état d'erreur, les exécutions suivantes échoueront.
Note InformationsLe nouveau chargement de tous les fichiers peut entraîner des coûts supplémentaires.

Lorsque vos fichiers sont corrects, vous pouvez poser des questions sur vos données. Pour plus d'informations, consultez Utilisation de l'assistant de test.

Chargement complet et Change Data Capture (CDC)

Les opérations Chargement complet et CDC sont supportées.

Chargement complet : un document est généré pour chaque instance de document et sera envoyé à la cible.

CDC : un document est régénéré après toute modification.

Lorsqu'un fichier est modifié ou ajouté, les documents sont lus à partir de ce fichier. Le fichier sera divisé en documents de blocs en fonction de la taille et du chevauchement des blocs.

Lors du premier chargement complet, vérifiez l'état de chaque fichier :

Sélectionnez Surveiller dans le menu.
Sélectionnez État de chargement complet en bas de la page.
Lorsque certains fichiers ont échoué et avant de tout réexécuter, corrigez les erreurs ou supprimez les fichiers. Si vous conservez les fichiers en état d'erreur, les exécutions suivantes échoueront.

Le nouveau chargement de tous les fichiers peut entraîner des coûts supplémentaires.

Mise à jour des données d'entrée

Lorsque vous mettez à jour les données d'entrée, vous devez exécuter la tâche de données pour transférer les modifications à la base de données vectorielle ou à la plateforme de données.

Étant donné que les anciens blocs sont supprimés et que de nouveaux morceaux sont insérés, le champ hdr__operation correspond à une opération d'insertion et non à une opération de mise à jour. Pour plus d'informations, consultez Architecture du jeu de données dans un entrepôt de données cloud.

Nom d'index

Chaque mart de connaissances a un nom d'index qui est utilisé pour la recherche sémantique.

Lorsque vous configurez des tâches pour écrire dans le même index, vous devez configurer les mêmes paramètres LLM pour les tâches.

Si vous voulez que vos documents figurent dans le même index, ils doivent avoir le même nom d'index.

Pour modifier le nom d'index :

Sur la page Tâche de données, cliquez sur Paramètres.
Sélectionnez l'onglet Paramètres de base de données vectorielle.
Modifiez le Nom d'index.
Cliquez sur OK.

Après avoir modifié le nom d'index, vous devez préparer la tâche. Sinon, vos modifications ne s'appliqueront pas lors des exécutions suivantes.

Configuration

Vous pouvez consulter et modifier les paramètres d'un mart de connaissances.

À partir de la page Tâche de données, cliquez sur > Paramètres.

Comme les paramètres dépendent du stockage (Databricks, Snowflake, etc.), les tableaux suivants décrivent les paramètres qui sont toujours disponibles. D'autres paramètres peuvent être disponibles.

Ce tableau décrit les paramètres de l'onglet Connexions.
Configuration	Description
Connexion source	Connexion source.
Stocker les vecteurs dans	Dans la liste déroulante, sélectionnez : Base de données vectorielle externe Plateforme de projet de données
Connexion de base de données vectorielle Ce paramètre est disponible lorsque l'option Base de données vectorielle externe est sélectionnée pour Stocker les vecteurs dans.	Connexion de base de données vectorielle. Pour plus d'informations, consultez Connexion à des bases de données vectorielles.
Connexion LLM	Connexion LLM. Pour plus d'informations, consultez Connexion à des connexions LLM. Lorsque vous souhaitez utiliser Databricks comme connexion LLM, configurez Embedding model serving endpoint (Point de terminaison de mise en service de modèle d'intégration) et Completion model serving endpoint (Point de terminaison de mise en service de modèle d'achèvement) lors de la création du mart de connaissances. Pour plus d'informations, consultez la documentation Databricks.

Ce tableau décrit les paramètres de l'onglet Paramètres de la plateforme.
Configuration	Description
Schéma de tâche de données	Nom du schéma de la tâche de données.
Schéma interne	Nom du schéma interne.
Préfixe de l'ensemble des tables et des vues	Préfixe pour résoudre les conflits entre plusieurs tâches de données.

Ce tableau décrit les paramètres de l'onglet Paramètres de base de données vectorielle.
Configuration	Description
Schéma d'index Ce paramètre n'est pas disponible lorsque l'option Base de données vectorielle externe est sélectionnée pour Stocker les vecteurs dans.	Nom du schéma d'index.
Index name	Nom de l'index.
Si l'index existe déjà	Lorsque plusieurs tâches écrivent dans le même index, indiquez si l'index doit être supprimé ou non : Utilisez l'index existant : l'index n'est pas supprimé. Supprimer et créer l'index : l'index est supprimé.
Point de terminaison de recherche vectorielle Databricks	Nom du point de terminaison de recherche vectorielle créé dans Databricks. Pour plus d'informations, consultez Configuration de Databricks pour les marts de connaissances . Note InformationsApplicable uniquement aux projets utilisant Databricks comme plateforme de données.

Ce tableau décrit les paramètres de l'onglet Temps d'exécution.
Configuration	Description
Exécution parallèle	Nombre maximal de connexions de bases de données. Saisissez une valeur comprise entre 1 et 50.
Taille en gros	Pour les marts de connaissances, la taille en gros est le nombre de documents chargés dans chaque demande en gros. Pour les marts de connaissances basés fichiers, la taille en gros est le nombre de fichiers chargés dans chaque demande en gros. Dans Snowflake et Databricks, la taille en gros n'est pas nécessaire, car tout est chargé en une seule requête.
Nombre maximal d'enregistrements à charger	0 signifie que tous les enregistrements sont chargés.

Ce tableau décrit les paramètres de l'onglet Vues pour Snowflake.
Configuration	Description
Vues standards	Utilisez des vues standards pour afficher les résultats d'une requête comme s'il s'agissait d'un tableau.
Vues sécurisées Snowflake	Utilisez Vues sécurisées Snowflake pour les vues désignées pour la confidentialité des données ou la protection des informations sensibles telles que les vues créées pour limiter l'accès aux données sensibles qui ne doivent pas être exposées à tous les utilisateurs des tables sous-jacentes. L'exécution de Vues sécurisées Snowflake peut être plus lente que celle de Vues standards.

Ce tableau décrit les paramètres de l'onglet Assistant de test.
Configuration	Description
Nombre de documents dans le contexte	Nombre de documents pertinents qui seront transmis au modèle comme contexte.
Modèle d'invite	Saisissez le modèle que l'IA doit suivre pour filtrer les documents à inclure.
Filter	Saisissez l'expression pour filtrer les documents à inclure. Comme le filtre est basé sur les métadonnées et que les marts de connaissances basés fichiers n'ont pas de métadonnées, réfléchissez bien au filtre que vous configurez. Il serait peut-être plus pertinent d'exclure des données au lieu de les inclure. Pour plus d'informations, consultez Utilisation de l'assistant de test.
Récupération de document	Sélectionnez l'option dans la liste déroulante : Afficher le contexte récupéré : l'assistant de test fournit les documents à partir desquels il génère la réponse. Ne pas afficher le contexte récupéré : l'assistant de test génère une réponse, mais ne fournit pas les documents.
Génération de réponses	Sélectionnez l'option dans la liste déroulante : Générer des réponses : l'assistant de test génère une réponse en fonction des documents. Ne pas générer de réponses : l'assistant de test répond uniquement à l'aide de documents.

Modification des connexions ou de la passerelle de données

Si vous modifiez la connexion source, la connexion vectorielle ou la passerelle de données vectorielle, vous devez préparer de nouveau la tâche.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici