创建知识集市

创建知识集市可以让您将结构化和非结构化数据嵌入并存储在矢量数据库中。这样就可以利用语义搜索特性检索增强的上下文，将其作为检索增强生成 (RAG) 应用程序的上下文。

RAG 通过向 LLM 提供额外查询上下文来优化 LLM 输出。

安装 Qlik Data Gateway - Data Movement

要使用知识集市，需要连接矢量数据库和 LLM 连接，这需要安装特定的 Qlik Data Gateway - Data Movement 。有关更多信息，请参阅设置知识集市的 Qlik Data Gateway - Data Movement。

查看和下载日志

您可以查看和下载知识集市的日志。有关更多信息，请参阅故障排除 Data Movement gateway。

先决条件

您可以使用以下类型的数据任务作为知识集市的源：

• 存储

• 转换

在创建知识集市之前，您需要在源数据任务中执行以下操作：

• 用要在知识集市中使用的数据填充数据集。有关更多信息，请参阅将数据引入数据仓库。

• 创建数据集关系模型以定义源数据集之间的关系。有关更多信息，请参阅 创建数据模型。

  警告注释所有源数据集都必须具有密钥。

限制

使用符合所有这些条件的源数据集时存在局限性：

• 通过 SQL 转换或转换流创建

• 非物化

• 历史数据存储（类型 2）已关闭

这些数据集被认为在每次运行时都会更新，这可能会影响效率和成本。您可以通过以下方式缓解这种情况：

• 更改要物化的源数据集。

• 使用显式数据集转换

• 创建转换多个数据集的全局规则。

受支持的编码格式

您的文件必须采用 UTF-8 编码。若使用其他格式，可能会被错误解读。

受支持的字符

文件和文件夹名称可包含以下字符：

• [0-9]、[a-Z]、[A-Z]
• ! - _ . * ' ()

可能还支持其他特殊字符，但由于特殊字符的处理很重要，建议只使用上表中的字符。

关系

• 无法将两个数据集的数据关联起来。创建一个转换任务，在数据模型中定义关系，并将转换任务用做任务的源。

• 当两个数据集在数据模型中关联时，即使只选择了其中一个数据集，任务中也会同时提供这两个数据集。

更改连接或数据网关

如果更改了矢量连接或者矢量数据网关，则必须重新准备任务。

故障排除

文件知识超市无法识别移动至 OneDrive 的文件

可能的原因  

如果使用保留旧文件创建和修改日期的选项将文件移动或同步至 OneDrive，则文件不会被识别为新文件。

建议的操作  

将文件修改日期更改为当前日期。

使用 Pinecone 时发生运行时错误

可能的原因  

Pinecone 不支持元数据列中的 NULL 值。结果将是运行时错误。

建议的操作  

• 在知识市场之前的转换中，将 NULL 值转换成其他值，例如空字符串或单词 NULL。

• 使用另一矢量数据库。

• 不要将列用作元数据。