第 2 步:创建湖仓一体集群
湖仓一体集群定义了运行 Qlik Open Lakehouse 存储任务的计算环境。每个集群都指定了包括实例数量、机器类型和扩展策略在内的设置。
当您为 Qlik Open Lakehouse 管道项目创建网络集成时,系统会自动创建一个包含单个 AWS Spot 实例的集群。但是,您可以在管理和 数据集成 活动中心创建其他集群。
湖仓一体集群将管道链接到一组 AWS 实例,允许您通过将关键作业分配给高性能集群,并将非关键工作负载分配给具有成本效益的机器来优化工作负载。
虽然一个集群与单个 VPC 关联,但多个集群可以在同一个 VPC 内运行。此外,单个集群可以运行多个作业。在创建湖仓一体集群之前定义工作负载的计算要求会很有帮助。集群设置(包括扩展策略)可以根据需要进行修改,尽管某些更改可能需要滚动更新集群。有关编辑集群设置的更多信息,请参阅 管理湖空间群集
创建湖仓一体集群时,您需要指定 Qlik 预置的 Spot 和按需实例的数量。有关 Qlik 如何在您的集群中利用 Spot 和按需实例的更多信息,请参阅 湖仓一体集群(EC2 自动扩展组)
使用自定义映像是可选的。使用自定义映像时,需要 x86 映像,但建议同时使用 arm 和 x86 映像,以最大限度地提高 Spot 实例的可用性。有关更多信息,请参阅AMI 要求 。
集群功能
创建集群时,必须选择集群运行的工作负载类型:流式处理、CDC 或混合。通常,最佳实践是为流式处理和 CDC(数据库和 SaaS)源使用单独的集群。这可确保准确且最低的计费费用。但是,在某些用例中,混合工作负载是合适的,并且可以共享一个集群:
-
用于测试或评估计费量微不足道的小型项目。
-
如果非流式处理使用量极少,并且您不想配置和维护单独的集群。
先决条件
要创建湖仓一体集群,您需要:
-
当前租户内的网络集成。
-
访问网络集成的权限。
创建湖仓一体集群
要将集群添加到当前租户,请执行以下操作:
-
在管理活动中心,单击湖仓一体集群。选择湖仓一体集群选项卡,单击新建,然后单击湖仓一体集群,并对其进行配置:
-
名称:输入集群的名称。
-
网络集成:选择将部署集群的网络集成。
-
集成空间:选择集群将所属的空间,因为这不会从网络集成中继承。
-
选择工作负载的集群功能:
-
流式处理工作负载:从流式处理数据源摄取时选择此选项。
-
CDC 工作负载:从数据库和 SaaS 应用程序源摄取时选择此选项。
-
混合工作负载:在测试时选择混合工作负载,或者流式处理源的使用极少且工作负载主要由 CDC 源组成时选择此选项。
-
-
配置系列类型:
-
类型:选择实例类型。
-
大小:选择实例大小。
-
- 配置实例:
-
AWS 按需实例:输入此集群的 AWS 按需实例数量。
-
AWS Spot 实例:输入要使用的 Spot 实例的最小和最大数量。
- 从以下选项中为您的工作负载选择合适的策略:
-
低成本 – 针对低成本进行优化,尽管可能会导致偶尔出现高延迟。
-
低延迟 - 努力保持低延迟,同时允许短暂的、必要的峰值。
-
一致的低延迟 - 主动扩展以确保延迟保持在较低水平。
-
手动扩展 - 保留静态数量的实例,不进行自动扩展。
-
选择集群接收软件更新的方式:
-
早期推出:非常适合开发和暂存集群,以便在投入生产之前针对自定义设置和代码验证新版本。
-
后期推出:在成功的早期推出之后应用更新,建议用于生产环境。
-
为您想要包含的任何标签添加键和值,以帮助您识别、组织和管理资源。