跳到主要内容 跳到补充内容

步骤 4:创建 Qlik Open Lakehouse 项目

创建 Qlik Open Lakehouse 管道项目,从任何数据源投影数据。以 Iceberg 开放表格式存储数据。

先决条件

要创建 Qlik Open Lakehouse 项目,您需要

  • 网络集成,使 Qlik 能够代表您调配和管理计算资源。

  • 配置为在 Iceberg 项目中运行数据存储任务的 Lakehouse 群集。

  • 与数据目录的连接,以用作项目的数据目标,或必要的详细信息,从而可创建新连接。

支持的任务

Qlik Open Lakehouse 项目支持以下任务:

  • 湖泊登陆数据任务

    在 S3 中以 CSV 格式登陆来自任何 Qlik 支持的数据源(包括大容量数据流)的数据。

  • 存储数据任务

    存储数据任务消耗湖登陆任务在云中登陆的数据。该任务将数据写入 Iceberg 表,以便高效存储和查询。

  • 镜像数据任务

    从您的 Qlik Open Lakehouse 到 Snowflake 镜像 Iceberg 表。用户可以通过外部数据表查询数据,而无需将数据迁移至 Snowflake。

创建 Qlik Open Lakehouse 项目的示例

下面的示例创建了一个Qlik Open Lakehouse 管道项目,导入数据并将其存储在 Iceberg 格式表中。此示例创建了一个简单的管道,您可通过加入更多数据源来扩展该管道。您可以添加镜像数据任务,在不复制数据的情况下于 Snowflake 中镜像您的数据表,或者将此项目作为需要在 Snowflake 中转换数据的项目的投影源。

要创建 Qlik Open Lakehouse 项目,请执行以下操作:

  1. 数据集成 主页中,单击创建管道,并且对其进行配置:

    • 名称:输入项目名称。

    • 空间:选择项目所属空间。

    • 描述:(可选)输入项目的描述。

  2. 对于用例,选择数据管道

  3. 配置数据平台

    • 数据平台:从列表中选择 Qlik Open Lakehouse

    • 数据目录连接:在列表中选择现有连接,或单击新建以添加新的数据目录连接。

    • 登陆目标连接:选择用于登陆数据的 S3 存储段,或单击新建以添加新的存储段位置。

    • 存储计算群集:选择将运行存储任务的湖空间群集。

  4. 创建项目

  5. 关注引入数据向导中的步骤。有关更多信息,请参阅引入数据

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们!