创建 Qlik Open Lakehouse 项目

创建 Qlik Open Lakehouse 管道项目，从任何数据源投影数据。以 Iceberg 开放表格式存储数据。

先决条件

要创建 Qlik Open Lakehouse 项目，您需要

• 网络集成，使 Qlik 能够代表您调配和管理计算资源。

• 配置为在 Iceberg 项目中运行数据存储任务的 Lakehouse 群集。

• 与数据目录的连接，以用作项目的数据目标，或必要的详细信息，从而可创建新连接。

支持的任务

Qlik Open Lakehouse 项目支持以下任务。

CDC 和 SaaS 应用程序源

• 湖泊登陆数据任务

  在 S3 中以 CSV 格式登陆来自任何 Qlik 支持的数据源（包括大容量数据流）的数据。

  有关更多信息，请参阅登陆数据到 Qlik Open Lakehouse。

• 存储数据任务

  存储数据任务消耗湖登陆任务在云中登陆的数据。该任务将数据写入 Iceberg 表，以便高效存储和查询。

• 有关更多信息，请参阅存储数据集。

• 镜像数据任务

  将 Iceberg 表从您的存储任务镜像到您的云数据仓库。用户可以通过外部数据表查询数据，而无需将数据迁移至您的云数据仓库。

数据流源

• 流媒体登陆数据任务

  在 S3 中以 Avro 格式登陆来自任何 Qlik 支持的数据流源的数据。

  有关更多信息，请参阅登陆流数据到 Qlik Open Lakehouse

• 流媒体转换数据任务

  流媒体转换数据任务使用由数据流登陆任务登陆到云中的事件。该任务将数据写入 Iceberg 表，以便高效存储和查询，并支持转换。

  有关更多信息，请参阅存储数据流数据集。

• 镜像数据任务

  将 Iceberg 表从您的数据流存储任务镜像到您的云数据仓库。用户可以通过外部数据表查询数据，而无需将数据迁移至您的云数据仓库。

创建 Qlik Open Lakehouse 项目的示例

下面的示例创建了一个Qlik Open Lakehouse 管道项目，从 CDC 源导入数据，并将其存储在 Iceberg 格式表中。此示例创建了一个简单的管道，您可通过加入更多数据源来扩展该管道。您可以添加镜像数据任务，在不复制数据的情况下于您的数据仓库中镜像您的数据表，或者将此项目作为需要在您的云数据仓库中转换数据的项目的源。

要创建 Qlik Open Lakehouse 项目，请执行以下操作：

1. 在数据集成 主页中，单击创建管道，并且对其进行配置：

• 名称：输入项目名称。

• 空间：选择项目所属空间。

• 描述：（可选）输入项目的描述。

2. 对于用例，选择数据管道。

3. 配置数据平台：

• 数据平台：从列表中选择 Qlik Open Lakehouse。

• 数据目录连接：在列表中选择现有连接，或单击新建以添加新的数据目录连接。

• 登陆目标连接：选择用于登陆数据的 S3 存储段，或单击新建以添加新的存储段位置。

• 存储计算群集：选择将运行存储任务的湖空间群集。

4. 创建项目

5. 关注引入数据向导中的步骤。有关详细信息，请参阅录入数据，其中提供了 CDC 和数据流源的说明。