Fluxo de dados do AWS Kinesis

Conecte-se ao seu serviço Amazon Kinesis para usar como uma fonte de dados em seus projetos do Qlik Open Lakehouse. As conexões Kinesis só podem ser usadas com a tarefa de aterrisagem de streaming e a tarefa de transformação de streaming.

Um fluxo de dados do AWS Kinesis é um serviço totalmente gerenciado para capturar e processar continuamente fluxos de dados em tempo real. Em um projeto Qlik Open Lakehouse, um fluxo do Kinesis pode ser usado como uma fonte de dados de streaming para ingerir eventos e registros de alta velocidade em tabelas do Apache Iceberg. Os dados lidos do fluxo são processados através das tarefas de aterrisagem de streaming e de transformação de streaming, permitindo a ingestão, transformação e armazenamento quase em tempo real de dados de streaming em um formato de tabela aberto e consultável, adequado para análises e consumo downstream. Fluxos podem ser divididos em vários conjuntos de dados usando uma tarefa de transformação.

Pré-requisitos

Para criar uma conexão com seu serviço Amazon Kinesis, você precisa do seguinte:

• Se estiver usando a autenticação baseada em função para acessar o compartimento, você precisará:

  • Permissão para acessar a integração de rede que você deseja usar para a conexão.

  • A função ARN, ou você pode criar uma durante o processo de configuração.

• Se você estiver usando autenticação de chave de acesso para acessar o compartimento, precisará:

  • Seu ID da chave de acesso da AWS.

  • Sua chave de acesso secreto da AWS.

Configurando propriedades de conexão Kinesis

Para configurar sua conexão Kinesis, faça o seguinte:

1. Em Conexões, clique em Criar conexão.

2. Selecione o Espaço onde você deseja criar a conexão ou escolha Criar novo espaço de dados.

3. Selecione Kinesis na lista de nomes do Conector ou use a caixa Pesquisar. Certifique-se de que o Tipo seja Fonte e de que a Categoria seja Streaming.

4. Selecione a Região onde seu serviço Kinesis está hospedado.

5. Em Tipo de autenticação, selecione como você deseja se conectar e configure as configurações.

Baseado em função

Siga os passos abaixo para usar a autenticação baseada em funções.

Criar função ARN

• Selecione a Integração de rede para sua conexão.

• Insira sua função ARN, caso já a possua.

Criar uma função da AWS

Siga os passos para criar uma função do AWS:

1. Criar função

   • No Console do AWS, acesse IAM.

   • Em Funções, clique em Criar função e configure-a:

   • Tipo de entidade confiável: selecione Política de confiança personalizada.

   • Declaração: copie a política de Entidade confiável criada em Criar uma função do AWS no Qlik Cloud no painel de código na AWS.

   • Crie a função.

2. Criar política inline

   • No Console da AWS, em Funções, clique na função que você criou na Etapa 1.

   • Em Políticas de permissões, clique em Adicionar permissões > Criar política inline.

   • Copie o código no Qlik Cloud e cole-o na política na AWS.

     Nota informativaO código concede à conexão do Kinesis acesso a todos os fluxos do Kinesis em todas as contas da AWS na região selecionada.

3. Copiar função ARN

   • Na página Funções no console da AWS, localize o valor ARN na seção Resumo.

   • Copie o ARN e cole-o na função ARN no Qlik Cloud.

Chave de acesso

Conclua as seguintes etapas para usar uma chave de acesso para autenticar sua conexão:

• Chave de acesso: digite o ID exclusivo da chave de acesso da AWS a ser usado para autenticação.

• Chave secreta: digite sua chave de acesso secreta da AWS para usar com sua chave de acesso.

1. Criar política

   • No Console do AWS, acesse IAM.

   • Navegue até Políticas> Criar política.

   • No Qlik Cloud, no diálogo Criar uma função do AWS, copie a política.

   • No AWS, no Editor de políticas, cole a política.

     Nota informativaO código concede à conexão do Kinesis acesso a todos os fluxos do Kinesis em todas as contas da AWS na região selecionada.

2. Anexar nova política a um usuário

   • Anexe a nova política ao usuário ao qual você deseja conceder acesso.

Criar a conexão

Quando você tiver configurado seu método de segurança, conclua as seguintes etapas para criar sua conexão:

• Em Nome, insira o nome de exibição da conexão, por exemplo, My Kinesis Streaming Source connection.

• Clique em Testar conexão para validar as credenciais.

• Clique em Criar.