步骤 4:创建 Qlik Open Lakehouse 项目
创建 Qlik Open Lakehouse 管道项目,从任何数据源投影数据。以 Iceberg 开放表格式存储数据。
先决条件
要创建 Qlik Open Lakehouse 项目,您需要
-
网络集成,使 Qlik 能够代表您调配和管理计算资源。
-
配置为在 Iceberg 项目中运行数据存储任务的 Lakehouse 群集。
-
与数据目录的连接,以用作项目的数据目标,或必要的详细信息,从而可创建新连接。
支持的任务
Qlik Open Lakehouse 项目支持以下任务:
-
湖泊登陆数据任务
在 S3 中以 CSV 格式登陆来自任何 Qlik 支持的数据源(包括大容量数据流)的数据。
-
存储数据任务
存储数据任务消耗湖登陆任务在云中登陆的数据。该任务将数据写入 Iceberg 表,以便高效存储和查询。
-
镜像数据任务
从您的 Qlik Open Lakehouse 到 Snowflake 镜像 Iceberg 表。用户可以通过外部数据表查询数据,而无需将数据迁移至 Snowflake。
创建 Qlik Open Lakehouse 项目的示例
下面的示例创建了一个Qlik Open Lakehouse 管道项目,导入数据并将其存储在 Iceberg 格式表中。此示例创建了一个简单的管道,您可通过加入更多数据源来扩展该管道。您可以添加镜像数据任务,在不复制数据的情况下于 Snowflake 中镜像您的数据表,或者将此项目作为需要在 Snowflake 中转换数据的项目的投影源。
要创建 Qlik Open Lakehouse 项目,请执行以下操作:
-
在数据集成 主页中,单击创建管道,并且对其进行配置:
-
名称:输入项目名称。
-
空间:选择项目所属空间。
-
描述:(可选)输入项目的描述。
-
对于用例,选择数据管道。
-
配置数据平台:
-
数据平台:从列表中选择 Qlik Open Lakehouse。
-
数据目录连接:在列表中选择现有连接,或单击新建以添加新的数据目录连接。
-
登陆目标连接:选择用于登陆数据的 S3 存储段,或单击新建以添加新的存储段位置。
-
存储计算群集:选择将运行存储任务的湖空间群集。
-
创建项目
-
关注引入数据向导中的步骤。有关更多信息,请参阅引入数据。