跳到主要内容 跳到补充内容

AWS Kinesis Data Stream

连接到您的 Amazon Kinesis 服务,以在您的 Qlik Open Lakehouse 项目中用作数据源。Kinesis 连接只能与流式登陆任务和流式转换任务一起使用。

AWS Kinesis Data Stream 是一种完全托管的服务,用于持续捕获和处理实时数据流。在 Qlik Open Lakehouse 项目中,Kinesis 数据流可用作流式数据源,以将高速事件和记录摄取到 Apache Iceberg 表中。从数据流读取的数据通过流式登陆和流式转换任务进行处理,从而实现流式数据的近实时摄取、转换和存储,以开放、可查询的表格式,适用于下游分析和消费。数据流可以使用转换任务拆分为多个数据集。

先决条件

要创建与 Amazon Kinesis 服务的连接,您需要以下各项:

  • 如果您正在使用基于角色的身份验证访问存储段,您需要:

    • 访问您希望用于该连接的网络集成的权限。

    • ARN 角色,或者您可以在设置过程中创建一个。

  • 如果您正在使用访问密钥身份验证来访问存储段,则需要:

    • 您的 AWS 访问密钥 ID。

    • 您的 AWS 秘文访问密钥。

设置 Kinesis 连接属性

要配置您的 Kinesis 连接,请执行以下操作:

  1. 连接中单击创建连接

  2. 选择要创建连接的 空间,或选择 创建新数据空间

  3. 连接器 名称列表中选择 Kinesis,或使用 搜索 框。确保 类型类别流式传输

  4. 选择您的 Kinesis 服务所在的 区域

  5. 身份验证类型中,选择连接方式并配置设置。

基于角色的

完成以下步骤以使用基于角色的身份验证。

创建 ARN 角色

  • 为您的网络集成选择连接。

  • 如果您已有 ARN 角色,请输入。

信息注释点击链接,单击此处获取指导,以显示有关创建 ARN 角色的以下说明。

创建 AWS 角色

按照步骤创建 AWS 角色:

  1. 创建角色

    • AWS 控制台 中,转到 IAM

    • 角色中,单击创建角色并进行配置:

      • 受信任实体类型:选择自定义信任策略

      • 语句:将 创建 AWS 角色 Qlik Cloud 中创建的 信任实体 策略复制到 AWS 中的代码窗格。

      • 创建角色。

  2. 创建内联策略

    • AWS 控制台中,在角色中,点击您在步骤 1 中创建的角色。

    • 权限策略中,点击添加权限 > 创建内联策略

    • 复制Qlik Cloud中的代码,并将其粘贴到 AWS 中的策略中。

      信息注释该代码授予 Kinesis 连接访问所选区域中所有 AWS 账户中的所有 Kinesis 数据流的权限。
  3. 复制 ARN 角色

    • AWS 控制台角色 页面中,在 摘要 部分找到 ARN 值。

    • 复制 ARN 并将其粘贴到 Qlik Cloud 中的 ARN 角色

访问密钥

完成以下步骤以使用访问密钥验证您的连接:

  • 访问密钥:输入您唯一的 AWS 访问密钥 ID 以用于身份验证。

  • 秘密密钥:输入您的 AWS 秘密访问密钥以与您的访问密钥一起使用。

信息注释点击链接,单击此处获取指导,以显示有关为角色创建策略的以下说明。
  1. 创建策略
    • AWS 控制台 中,转到 IAM

    • 导航到 策略创建策略

    • Qlik Cloud 中,在 创建 AWS 角色 对话框中,复制策略。

    • AWS 中,在 策略编辑器 中,粘贴策略。

      信息注释此代码授予 Kinesis 连接访问所选区域中所有 AWS 账户中的所有 Kinesis 数据流的权限。
  2. 将新策略附加到用户

    • 将新策略附加到要为其提供访问权限的用户。

创建连接

配置安全方法后,请完成以下步骤以创建连接:

  • 名称 中,输入连接的显示名称,例如,My Kinesis Streaming Source connection

  • 点击测试连接以验证凭据。

  • 单击创建

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们!