AWS Kinesis Data Stream
连接到您的 Amazon Kinesis 服务,以在您的 Qlik Open Lakehouse 项目中用作数据源。Kinesis 连接只能与流式登陆任务和流式转换任务一起使用。
AWS Kinesis Data Stream 是一种完全托管的服务,用于持续捕获和处理实时数据流。在 Qlik Open Lakehouse 项目中,Kinesis 数据流可用作流式数据源,以将高速事件和记录摄取到 Apache Iceberg 表中。从数据流读取的数据通过流式登陆和流式转换任务进行处理,从而实现流式数据的近实时摄取、转换和存储,以开放、可查询的表格式,适用于下游分析和消费。数据流可以使用转换任务拆分为多个数据集。
先决条件
要创建与 Amazon Kinesis 服务的连接,您需要以下各项:
-
如果您正在使用基于角色的身份验证访问存储段,您需要:
-
访问您希望用于该连接的网络集成的权限。
-
ARN 角色,或者您可以在设置过程中创建一个。
-
-
如果您正在使用访问密钥身份验证来访问存储段,则需要:
-
您的 AWS 访问密钥 ID。
-
您的 AWS 秘文访问密钥。
-
设置 Kinesis 连接属性
要配置您的 Kinesis 连接,请执行以下操作:
-
在连接中单击创建连接。
-
选择要创建连接的 空间,或选择 创建新数据空间。
-
从 连接器 名称列表中选择 Kinesis,或使用 搜索 框。确保 类型 为 源 且 类别 为 流式传输。
-
选择您的 Kinesis 服务所在的 区域。
-
在身份验证类型中,选择连接方式并配置设置。
基于角色的
完成以下步骤以使用基于角色的身份验证。
创建 ARN 角色
-
为您的网络集成选择连接。
-
如果您已有 ARN 角色,请输入。
创建 AWS 角色
按照步骤创建 AWS 角色:
-
创建角色
-
在 AWS 控制台 中,转到 IAM。
-
在角色中,单击创建角色并进行配置:
-
受信任实体类型:选择自定义信任策略。
-
语句:将 创建 AWS 角色 Qlik Cloud 中创建的 信任实体 策略复制到 AWS 中的代码窗格。
-
创建角色。
-
-
创建内联策略
-
在AWS 控制台中,在角色中,点击您在步骤 1 中创建的角色。
-
在权限策略中,点击添加权限 > 创建内联策略。
-
复制Qlik Cloud中的代码,并将其粘贴到 AWS 中的策略中。
信息注释该代码授予 Kinesis 连接访问所选区域中所有 AWS 账户中的所有 Kinesis 数据流的权限。
-
-
复制 ARN 角色
-
在 AWS 控制台 的 角色 页面中,在 摘要 部分找到 ARN 值。
-
复制 ARN 并将其粘贴到 Qlik Cloud 中的 ARN 角色。
-
访问密钥
完成以下步骤以使用访问密钥验证您的连接:
-
访问密钥:输入您唯一的 AWS 访问密钥 ID 以用于身份验证。
-
秘密密钥:输入您的 AWS 秘密访问密钥以与您的访问密钥一起使用。
- 创建策略
-
在 AWS 控制台 中,转到 IAM。
-
导航到 策略> 创建策略。
-
在 Qlik Cloud 中,在 创建 AWS 角色 对话框中,复制策略。
-
在 AWS 中,在 策略编辑器 中,粘贴策略。
信息注释此代码授予 Kinesis 连接访问所选区域中所有 AWS 账户中的所有 Kinesis 数据流的权限。
-
-
将新策略附加到用户
-
将新策略附加到要为其提供访问权限的用户。
-
创建连接
配置安全方法后,请完成以下步骤以创建连接:
-
在 名称 中,输入连接的显示名称,例如,My Kinesis Streaming Source connection。
-
点击测试连接以验证凭据。
-
单击创建。