创建基于文件的知识集市

基于文件的知识集市可让许您将非结构化数据嵌入并存储在矢量数据库中。这样就可以利用语义搜索特性检索增强的上下文，将其作为检索增强生成 (RAG) 应用程序的上下文。

支持的输入格式有：PDF、TXT 和 Word DOCX。

安装 Qlik Data Gateway - Data Movement

在创建基于文件的知识集市之前，您必须安装一个特定的 Qlik Data Gateway - Data Movement。有关更多信息，请参阅设置知识集市的 Qlik Data Gateway - Data Movement。

支持的连接

有关支持方面的信息：

• 矢量数据库，请参阅连接至矢量数据库。
• LLM 连接，请参阅连接至 LLM。
• 文件存储，请参阅连接至文件存储。

创建文件

1. 单击点击左侧菜单里的项目，打开一个项目。
2. 在项目页面，您可以创建一个基于文件的知识集市。或者：
   • 单击新建 > 基于文件的知识集市。
   • 单击数据任务的 > 基于文件的知识集市。

   配置窗口打开。

3. 输入名称。
4. 输入描述。这是可选的。
5. 创建或选择源连接。

6. 从下拉列表存储矢量中选择文件的存储位置。要将文件同项目一起存储，请选择数据项目平台。

7. 如果已选择外部矢量数据库，请创建或选择矢量数据库连接。文件和矢量都将存储在这个矢量数据库中。
8. 创建或选择 LLM 连接。使用语义搜索需要此连接。
9. 单击创建。
10. 在创建知识集市后，添加文件。

添加文件

1. 在数据任务页面的文件夹选项卡中，选择文件夹或单击选择文件夹来选择新文件夹。
2. 浏览文件夹，选择文件夹的复选框。

   如果文件夹中的所有文件都是受支持的格式之一，那么无论这些文件是何时添加到文件夹中的，都会被读取。

   从文件夹中删除索引中已存在的文件时，数据仍在索引之中。要从索引中删除数据，请使用相同文件，但文件为空。

   要显示文件夹中的文件列表，请右键单击相应文件夹。

3. 单击保存关闭选择文件夹窗口。
4. 要编辑块大小和块重叠，请单击设置 > 运行时。
5. 要编辑索引名称，请单击设置 > 矢量数据库设置。

   有关更多信息，请参阅索引名称。

6. 单击右侧的 > 准备。
7. 准备工作完成之后，单击运行。文档正在嵌入和传输。

   运行按钮激活后，传输即告完成。

8. 在第一次满负载时，验证每个文件的状态：
   1. 选择菜单中的监视器。
   2. 选择页面底部的满负载状态。

      

   3. 当某些文件失败时，在重新运行任何内容之前，请修复错误或删除文件。如果不当地保留文件，下次运行将失败。
   信息注释重新加载所有文件有可能会导致额外成本。

当确认文件正确无误后，您就可以就数据提出问题。有关更多信息，请参阅使用测试助手。

满负载和更改数据捕获 (CDC)

支持满负载和 CDC。

满负载：为每个文档实例生成一个文档，并将其发送到目标。

CDC：发生任何变化后，文件都会重新生成。

更改或添加文件时，将从该文件读取文档。文件将根据区块的大小和重叠程度被分割成多个文档区块。

在第一次满负载时，验证每个文件的状态：

1. 选择菜单中的监视器。
2. 选择页面底部的满负载状态。

   

3. 当某些文件失败时，在重新运行任何内容之前，请修复错误或删除文件。如果不当地保留文件，下次运行将失败。

更新输入数据

在更新输入数据时，必须运行数据任务将更改传输到矢量数据库或数据平台。

由于删除的是旧区块，插入的是新区块，因此字段 hdr__operation 对应的是插入操作，而不是更新操作。有关更多信息，请参阅云数据仓库中的数据集架构。

索引名称

每个知识集市都有一个索引名称，用于语义搜索。

配置任务写入同一个索引时，必须为任务配置相同的 LLM 参数。

如果您希望自己的文件在同一个索引中，它们必须有相同的索引名称。

要编辑索引名称：

1. 在数据任务页面，单击设置。
2. 选择矢量数据库设置选项卡。
3. 编辑索引名称。
4. 单击确定。

编辑索引名称之后，必须准备任务。否则，您所做的更改将不适用于下次运行。

设置

您可以查看和编辑知识集市设置。

在数据任务页面中，单击 > 设置。