Fluxo de dados do AWS S3

Conecte-se ao seu fluxo de dados do AWS S3 para usá-lo como fonte de dados em seus projetos do Qlik Open Lakehouse. As conexões de fluxo de dados do AWS S3 só podem ser usadas com a tarefa de aterrisagem de streaming e a tarefa de transformação de streaming.

Ao contrário do ETL em lote tradicional do S3, esta implementação trata o S3 como uma fonte de streaming com monitoramento contínuo e ingestão de dados quase em tempo real. Você pode configurar fluxos para ingerir dados automaticamente de compartimentos S3 à medida que novos arquivos chegam. O fluxo de dados do AWS S3 permite configurar pipelines de dados de streaming do S3, incluindo correspondência de padrão de arquivo, configuração de esquema e opções de preenchimento retroativo inicial. O fluxo monitora continuamente o S3 e ingere novos dados quase em tempo real (em minutos) e é ideal para dados organizacionais, como logs, eventos, exportações de sistemas externos ou feeds de dados de parceiros.

Pré-requisitos

Para criar uma conexão com seu fluxo de dados do AWS S3, você precisa do seguinte:

• Se estiver usando a autenticação baseada em função para acessar o compartimento, você precisará:

  • Permissão para acessar a integração de rede que você deseja usar para a conexão.

  • A função ARN, ou você pode criar uma durante o processo de configuração. O cluster de integração de rede deve ter acesso à conta ARN S3.

• Se você estiver usando autenticação de chave de acesso para se conectar ao compartimento, precisará:

  • Seu ID da chave de acesso da AWS.

  • Sua chave de acesso secreto da AWS.

Configurando as propriedades de conexão do fluxo de dados S3

Para configurar sua conexão S3, faça o seguinte:

1. Em Conexões, clique em Criar conexão.

2. Selecione o Espaço onde você deseja criar a conexão ou escolha Criar novo espaço de dados.

3. Selecione S3 na lista de nomes do Conector ou use a caixa Pesquisar. Certifique-se de que o Tipo seja Fonte e de que a Categoria seja Streaming.

4. Em URI S3, insira o URI para seu compartimento S3 no formato, s3://<bucket-name>/<directory-name>.

   Para obter mais informações, consulte Exemplos de sintaxe.

5. Em Tipo de autenticação, selecione como você deseja se conectar e configure as configurações.

Baseado em função

Siga os passos abaixo para usar a autenticação baseada em funções.

Criar função ARN

• Integração de rede: selecione a integração de rede na lista.

• Função ARN: insira a função ARN criada na AWS. Isso deve estar no formato arn:aws:iam::{account number}:role/{role name}.

Criar uma função da AWS

Siga os passos para criar uma função do AWS:

1. Criar função

   • No Console do AWS, acesse IAM.

   • Em Funções, clique em Criar função e configure-a:

   • Tipo de entidade confiável: selecione Política de confiança personalizada.

   • Declaração: copie a política de Entidade confiável criada em Criar uma função do AWS no Qlik Cloud no painel de código na AWS.

   • Crie a função.

2. Criar política inline

   • No Console da AWS, em Funções, clique na função que você criou na Etapa 1.

   • Em Políticas de permissões, clique em Adicionar permissões > Criar política inline.

   • Copie o código no Qlik Cloud e cole-o na política na AWS.

3. Copiar função ARN

   • Na página Funções no console da AWS, localize o valor ARN na seção Resumo.

   • Copie o ARN e cole-o na função ARN no Qlik Cloud.

Chave de acesso

Conclua as seguintes etapas para usar uma chave de acesso para autenticar sua conexão:

• Chave de acesso: digite o ID exclusivo da chave de acesso da AWS a ser usado para autenticação.

• Chave secreta: digite sua chave de acesso secreta da AWS para usar com sua chave de acesso.

1. Criar política

   • No Console do AWS, acesse IAM.

   • Navegue até Políticas> Criar política.

   • No Qlik Cloud, no diálogo Criar uma função do AWS, copie a política.

   • No AWS, no Editor de políticas, cole a política.

2. Anexar nova política a um usuário

   • Anexe a nova política ao usuário ao qual você deseja conceder acesso.

Criar a conexão

Quando você tiver configurado seu método de segurança, conclua as seguintes etapas para criar sua conexão:

• Em Nome, insira o nome de exibição da conexão, por exemplo, My AWS S3 Streaming Source connection.

• Clique em Testar conexão para validar as credenciais.

• Clique em Criar.

Exemplos de sintaxe

Regras de nomenclatura do conjunto de dados de destino

O nome do conjunto de dados de destino deve:

• Ser único e não estar sendo usado por outros conjuntos de dados no catálogo de destino.

• Seguir as regras de nomenclatura do catálogo de destino:

  • Começar com uma letra (A–Z, a–z) ou sublinhado (_).

  • Conter apenas letras, sublinhados, dígitos (0–9) ou o cifrão ($).

  • Não exceder 255 caracteres, incluindo espaços.