Creación de un almacén de conocimiento (knowledge mart)

Los almacenes de conocimiento (knowledge marts) permiten integrar y almacenar sus datos estructurados en una base de datos vectorial. Esto permite recuperar el contexto aumentado con funciones de búsqueda semántica para utilizarlo como contexto en aplicaciones de generación aumentada de recuperación (RAG).

La salida está en el formato JSON.

Necesita una suscripción a Qlik Talend Cloud Enterprise.

Esta función solo es compatible con las plataformas de Snowflake y para una pasarela de datos administrada por el cliente. Snowflake Iceberg no es compatible.

Instalación de Qlik Data Gateway - Data Movement

Antes de crear un knowledge mart, debe instalar un Qlik Data Gateway - Data Movement específico. Para más información, vea Configuración de Qlik Data Gateway - Data Movement para almacenes de conocimiento.

Conexiones admitidas

Para obtener información sobre la compatibilidad de:

Bases de datos vectoriales, véase Conexión a bases de datos vectoriales.
Conexiones LLM, véase Conexión a las conexiones LLM.
Almacenamiento de archivos, véase Conexión con el almacenamiento de archivos.

Creación de los datos

Haga clic en Proyectos en el menú de la izquierda y abra un proyecto.
En la página del Proyecto, puede generar y publicar documentos en una base de datos vectorial. O bien:
- Haga clic en Crear nuevo > Almacén de conocimiento.
- Haga clic en de la tarea de datos > Almacén de conocimiento.
Se abre la ventana de configuración.
Indique un nombre
Inserte una descripción. Esto es opcional.
Seleccione dónde almacenar los documentos en la lista desplegable Almacenar vectores en. Para almacenar los documentos con el proyecto, seleccione Plataforma de proyecto de datos.
Si ha seleccionado Base de datosvectorial externa, cree o seleccione una conexión a la base de datos vectorial. Los documentos y los vectores se almacenarán en esta base de datos vectorial.
Cree o seleccione una conexión LLM. Esta conexión es necesaria para utilizar la búsqueda semántica.
Haga clic en Crear.
Una vez creados los datos, añada documentos.

Añadir documentos

Solo se admite el formato de texto. Por ejemplo, no se puede extraer el texto de diagramas o imágenes.

En la pestaña Conjuntos de datos de la página Tarea de datos, haga clic en Añadir en el panel izquierdo.
Seleccione el conjunto de datos base a partir del cual se generará el documento. Se creará un documento para cada registro. Por ejemplo, para una lista de pacientes, se creará un documento para cada paciente.
El campo Nombre del esquema del documento se rellena previamente con el nombre del conjunto de datos base seleccionado. Cambie el nombre si es necesario.
Inserte una descripción. Esto es opcional.
Seleccione los datos que desea incluir para enriquecer el documento.
Haga clic en Aceptar. Volverá a la pestaña Esquemas del documento.
Seleccione la pestaña Conjuntos de datos.
En el panel izquierdo, seleccione el conjunto de datos que eligió anteriormente como conjunto de datos base.
Para eliminar los datos que no desea incluir en los documentos, seleccione la casilla de verificación y haga clic en Eliminar.
Para mejorar la búsqueda semántica realizada por el LLM, renombre los datos cuyos nombres no estén suficientemente claros.
Ejemplo: Cambie el nombre dt por fecha.
Cuando haya eliminado y renombrado los datos según sea necesario, haga clic en a la derecha > Preparar. Los documentos se generan en formato JSON.
Cuando se generen los documentos:
1. Seleccione la pestaña Conjuntos de datos.
2. Para verificar sus documentos antes de ejecutar la tarea, haga clic en Ver datos para visualizar una muestra de datos.
3. Haga clic en Ejecutar. Los documentos se transfieren a la base de datos vectorial o a la plataforma de datos en función de la configuración.

La transferencia se completa cuando el botón Ejecutar está activo.

Para asegurarse de que todo se ha transferido, puede hacer preguntas sobre sus datos. Para más información, vea Uso del asistente de pruebas.

Carga completa y Captura de datos modificados (CDC)

Carga completa y CDC son compatibles.

Carga completa: Se genera un documento para cada instancia de documento y se enviará al destino.

CDC: Un documento se regenera tras cualquier cambio en la entidad base o relacionada.

Se crea un nuevo documento cuando se añade una entrada a la entidad base. Si ninguna entrada de las entidades relacionadas puede conectarse a una entidad base, no aparecerán en los documentos.

Actualización de los datos de entrada

Cuando actualice los datos de entrada, deberá ejecutar la tarea de datos para transferir los cambios a la base de datos de vectores o a la plataforma de datos.

Nombre del índice

Cada almacén de conocimiento tiene un nombre de índice que se utiliza para la búsqueda semántica.

Cuando configure tareas para escribir en el mismo índice, deberá configurar los mismos parámetros de LLM para las tareas.

Si quiere que sus documentos estén en el mismo índice, deben tener el mismo nombre de índice.

Para editar el nombre del índice:

En la página Tarea de datos, haga clic en Configuración.
Seleccione la pestaña Configuración de la base de datos vectorial.
Edite el nombre del índice.
Haga clic en Aceptar.

Configuración

Puede ver y editar la configuración de un almacén de conocimiento.

En la página Tarea de datos, haga clic en > Configuración.

Como los ajustes dependen del almacenamiento (Databricks, Snowflake, etc.), las tablas siguientes describen los ajustes que están siempre disponibles. Puede haber más ajustes disponibles.

Esta tabla describe los ajustes de la pestaña Conexiones.
Configuración	Descripción
Conexión de fuente	La conexión de fuente.
Almacenar vectores en	En la lista desplegable, seleccione: Base de datos vectorial externa Plataforma de proyecto de datos
Conexión a la base de datos vectorial Este ajuste está disponible cuando se selecciona Base de datos vectorial externa para Almacenar vectores en.	La conexión a la base de datos vectorial. Para más información, vea Conexión a bases de datos vectoriales.
Conexión a LLM	La conexión a LLM. Para más información, vea Conexión a las conexiones LLM. Si desea utilizar Databricks como conexión LLM, configure el punto de conexión de servicio del modelo de incrustación y el punto de conexión de servicio del modelo de finalización al crear el almacén de conocimiento. Para más información, consulte la documentación de Databricks.

Esta tabla describe los ajustes de la pestaña Configuración de plataforma.
Configuración	Descripción
Esquema de tarea de datos	Puede cambiar el nombre del esquema de la tarea de datos.
Esquema interno	El nombre del esquema interno.
Prefijo para todas las tablas y vistas	El prefijo para resolver conflictos entre varias tareas de datos.

Esta tabla describe los ajustes de la pestaña Configuración de base de datos vectorial.
Configuración	Descripción
Esquema de índice Este ajuste no está disponible cuando se selecciona Base de datos vectorial externa para Almacenar vectores en.	El nombre del esquema del índice.
Nombre del índice	El nombre del índice.
Si el índice ya existe	Cuando varias tareas escriben en el mismo índice, seleccione si el índice debe borrarse o no: Utiliza el índice existente: El índice no se borra. Eliminar y crear el índice: El índice se elimina.

Esta tabla describe los ajustes de la pestaña Tiempo de ejecución.
Configuración	Descripción
Ejecución en paralelo	El número máximo de conexiones de base de datos. Introduzca un valor de 1 a 50.
Tamaño en masa	Para los almacenes de conocimiento, el tamaño del lote es el número de documentos cargados en cada solicitud de lote. Para los almacenes de conocimiento basados en archivos, el tamaño del lote es el número de documentos cargados en cada solicitud de lote. En Snowflake, el tamaño del lote no es necesario, ya que todo se carga en una sola consulta.
Número máximo de registros que cargar	0 significa que se cargan todos los registros.

Esta tabla describe los ajustes de la pestaña Vistas.
Configuración	Descripción
Vistas estándar	Utilice las vistas estándar para mostrar los resultados de una consulta como si se tratara de una tabla.
Vistas seguras de Snowflake	Utilice las vistas seguras de Snowflake para aquellas vistas que precisen protección de la privacidad de datos o de la información sensible, como las vistas creadas para limitar el acceso a datos sensibles que no deban estar expuestos a todos los usuarios de las tablas. Las vistas seguras de Snowflake pueden ejecutarse más lentamente que las vistas Estándar.

Esta tabla describe los ajustes de la pestaña Asistente de pruebas.
Configuración	Descripción
Número de documentos en contexto	El número de documentos relevantes que se transferirán al modelo como contexto.
Plantilla de solicitud	Introduzca la plantilla que debe seguir la IA para filtrar los documentos que deben incluirse.
Filtrar	Introduzca la expresión para filtrar los documentos que deben incluirse. Como el filtro se basa en los metadatos y los almacenes de conocimiento basados en archivos no tienen metadatos, piense detenidamente en el filtro que está configurando. Podría ser más pertinente excluir los datos en lugar de incluirlos. Para más información, vea Uso del asistente de pruebas.
Recuperación de documentos	Seleccione la opción en la lista desplegable: Mostrar el contexto recuperado: El asistente de pruebas proporciona los documentos a partir de los cuales genera la respuesta. No mostrar el contexto recuperado: El asistente de pruebas genera una respuesta, pero no proporciona los documentos.
Generación de respuestas	Seleccione la opción en la lista desplegable: Generar respuestas: El asistente de pruebas genera una respuesta basada en los documentos. No generar respuestas: El asistente de pruebas responde solo con documentos.

¿Esta página le ha sido útil?

Si encuentra algún problema con esta página o su contenido (errores tipográficos, pasos que faltan o errores técnicos), no dude en ponerse en contacto con nosotros.

Deje aquí sus comentarios