Amazon S3 | Qlik Cloud Ajuda
Ir para conteúdo principal Pular para conteúdo complementar

Amazon S3

Última atualização: 30/09/2026

Amazon S3 pode ser usado como:

  • Uma área de teste na nuvem ao usar Databricks (opcional) ou Amazon Redshift (obrigatório) como destino de pipeline de dados. A área de teste na nuvem é onde os dados e as alterações são testados antes de serem aplicados e armazenados.
  • Uma área de preparação na nuvem ao usar projetos Qlik Open Lakehouse com fontes de CDC. Isso exige que o Gateway Data Movement e os clusters sejam capazes de ler e gravar no compartimento de aterrissagem. Para obter mais informações, consulte Etapa 1: Criar uma integração de rede.

  • Uma área de preparação na nuvem ao usar projetos Qlik Open Lakehouse com fontes de streaming. Isso exige que os clusters sejam capazes de ler e gravar no compartimento de aterrissagem. Para obter mais informações, consulte Etapa 1: Criar uma integração de rede.

  • Um destino em uma tarefa de replicação.

Permissões necessárias para aterrisar dados

  • Você deve ter um compartimento do Amazon S3 que seja acessível a partir do serviço ou da máquina utilizada para acessá-lo.

    Para obter informações sobre como se inscrever no Amazon S3, consulte http://aws.amazon.com/s3/.

  • Credenciais de acesso ao compartimento: anote o nome do compartimento, a chave de acesso e a chave de acesso secreta; você precisará fornecer essas informações nas configurações do conector para o Amazon S3.
  • Permissões de acesso ao compartimento: as seguintes permissões de acesso ao compartimento são necessárias:

     
    {
    	"Version": "2012-10-17",
    	"Statement": [
    	    {
    	     "Sid": "Stmt1497347821000",
    	     "Effect": "Allow",
    	     "Action": [
                    "s3:GetBucketLocation",
                    "s3:ListBucket"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME"
                ]
            },
            {
                "Sid": "Stmt1497344984000",
                "Effect": "Allow",
                "Action": [
                    "s3:PutObject",
                    "s3:GetObject",
                    "s3:DeleteObject"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
                ]
            }
        ]
    }
    

Em que YOUR_BUCKET_NAME é o nome do seu bucket e target_path é o local pretendido dos arquivos de destino no seu bucket.

Nota informativa

Se o caminho de destino for a raiz do bucket, basta especificar “/target_path” com uma string vazia.

Pré-requisitos para Qlik Data Gateway - Movimentação de dados

O Gateway Data Movement conecta-se ao AWS usando SSL. Isso requer que um certificado CA apropriado resida na máquina do Gateway Data Movement; caso contrário, a conexão falhará. A finalidade do certificado CA é autenticar a propriedade do certificado do servidor AWS.

Certifique-se de que o certificado CA necessário exista na seguinte localização na máquina Linux:

/etc/pki/tls/certs/ca-bundle.crt

Se não existir, a solução mais simples é copiar o pacote de certificados de outra máquina Linux.

Configurando as propriedades de conexão do Amazon S3

Para configurar o conector, faça o seguinte:

  1. Em Conexões, clique em Criar conexão.

  2. Selecione o conector de destino do Amazon S3 e forneça as seguintes configurações:

Destino de dados

Selecione um dos seguintes de acordo com o seu uso:

  • Movimentação de dados: Selecione ao usar Gateway Data Movement para acessar o destino Amazon S3.

  • Integração de rede: Selecione ao usar o Amazon S3 para armazenar os arquivos de metadados Qlik necessários para a integração de rede Qlik Open Lakehouse.

  • Ambos: Selecione quando ambos os itens acima forem verdadeiros.

Quando Movimentação de Dados ou Ambos estiver selecionado, selecione o Gateway Data Movement que deseja usar para acessar o destino.

Dependendo do seu caso de uso, será o mesmo Gateway Data Movement implantado para obter dados da fonte de dados ou de uma fonte diferente. Para obter informações sobre as possibilidades de implantação do Gateway Data Movement, consulte Casos de uso comuns.

Nota informativaRequer o Gateway Data Movement 2023.5.10 ou mais recente.

Quando Integração de rede ou Ambos estiver selecionado, selecione a Qlik Open Lakehouse integração de rede que você criou anteriormente.

Propriedades da conexão

  • Opções de acesso: Selecione uma das seguintes opções:

    • Par de chaves (o padrão)

      Use um par de chaves para acessar seu compartimento do Amazon S3. Ao selecionar esta opção, especifique o seguinte:

      • Chave de acesso: a chave de acesso do seu bucket do Amazon S3.
      • Chave secreta: A chave secreta do seu compartimento do Amazon S3.

    • IAM Roles Anywhere (sem suporte ao usar o Amazon S3 como área de preparação para o Databricks ou Qlik Open Lakehouse):

      O IAM Roles Anywhere pode ser configurado no console do IAM Roles Anywhere, via AWS CLI, ou usando o AWS SDK. O IAM Roles Anywhere permite que você use sua infraestrutura de chave privada (PKI) para gerar credenciais temporárias para acessar funções IAM de fora da AWS. Isso significa que você pode acessar recursos da AWS com segurança do Qlik Talend Data Integration sem ter que gerenciar credenciais de longo prazo.

      Ao selecionar esta opção, especifique o seguinte:

      • Arquivo de certificado: Caminho para o certificado público do Qlik Talend Data Integration na máquina do Gateway Data Movement no formato PEM. Este arquivo precisa ser assinado com o certificado CA configurado no console do IAM Roles Anywhere.
      • Arquivo de chave privada: Caminho para o arquivo de chave privada do Qlik Talend Data Integration na máquina do Gateway Data Movement no formato PEM.
      • Frase secreta da chave privada: A frase secreta da chave privada. Necessário apenas se o arquivo da chave privada estiver criptografado.
      • ARN da âncora de confiança: O ARN associado à âncora de confiança que você criou no console do IAM Roles Anywhere. Você estabelece confiança entre o IAM Roles Anywhere e sua autoridade de certificação (CA) criando uma âncora de confiança. Uma âncora de confiança é uma referência para a CA privada da AWS ou para um certificado de CA externo. Suas cargas de trabalho fora da AWS se autenticam com a âncora de confiança usando certificados emitidos pela CA confiável em troca de credenciais temporárias da AWS.
      • ARN do perfil: O ARN associado ao perfil que você criou no console do IAM Roles Anywhere. Para especificar quais funções o IAM Roles Anywhere assume e o que suas cargas de trabalho podem fazer com as credenciais temporárias, você cria um perfil. Em um perfil, você pode definir permissões com políticas gerenciadas do IAM para limitar as permissões para uma sessão criada.
      • ARN da função: O ARN associado à função que você criou no console do IAM Roles Anywhere. Uma função é uma identidade do IAM que você cria em sua conta com permissões específicas. Para que o IAM Roles Anywhere possa assumir uma função e fornecer credenciais temporárias da AWS, a função deve confiar no principal de serviço do IAM Roles Anywhere.

        O formato deve ser o seguinte:

        arn:aws:iam::<account-id>:role/<role-name-with-path>

      Para obter mais informações sobre o IAM Roles Anywhere, consulte:

      Estender as funções do AWS IAM para cargas de trabalho fora da AWS com o IAM Roles Anywhere

    • Funções do IAM para EC2

      Selecione este método se a máquina usada para acessar o Amazon S3 estiver configurada para autenticar usando uma função do IAM.

      Para obter informações sobre funções do IAM, consulte Funções do IAM.

      • Assumir função: Selecione esta opção para assumir a função do IAM de destino.

        Esta opção é opcional para os modos Movimentação de Dados, Integração de Rede e Ambos.

        Quando não estiver selecionado, a conexão usa a função do IAM associada à máquina EC2 relevante.

        Configure a política de confiança da função de destino para confiar na função aplicável de Data Access e/ou Data Movement para o modo de Uso selecionado.

        Especifique o seguinte:

        • ARN da função adicional: O ARN associado à função de destino.
        • ID externo da função adicional: Quando Assumir função estiver selecionado e Uso estiver definido como Integração de rede ou Ambos, clique em Carregar ID externo para recuperar o ID externo. Adicione o ID externo recuperado à política de confiança da função de destino adicional.

        Configure a política de confiança para confiar na função aplicável ao modo de Uso selecionado:

        • Modo Integração de rede: Confie na função de acesso a dados (função de servidor) usada pela sua integração de rede.
        • Modo Movimentação de Dados: Confie na função de Movimentação de Dados usada pelo Gateway Data Movement.
        • Modo Ambos: Confia tanto na função Data Access quanto na função Data Movement.
  • Nome do bucket: o nome do seu bucket do Amazon S3.

    Nota informativa

    A configuração padrão da região do bucket é detecção automática, o que elimina a necessidade de definir uma região específica. No entanto, devido a considerações de segurança, para algumas regiões (por exemplo, AWS GovCloud), pode ser necessário definir explicitamente a região. Nesse caso, você pode definir o código de região usando a propriedade interna regionCode.

    Para obter uma lista dos códigos de região, consulte a seção Disponibilidade da região em:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

    Para obter instruções sobre como definir propriedades internas, veja abaixo.

  • Use o AWS PrivateLink (não compatível como destino de aterrisagem para Qlik Open Lakehouse ): Selecione esta opção para se conectar a uma Amazon VPC e, em seguida, especifique a URL do endpoint da VPC (por exemplo, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

    Nota informativaA opção Usar AWS PrivateLink não é compatível ao usar um compartimento do Amazon S3 como área de teste para um destino do Databricks. Para obter informações sobre como configurar a conectividade com um destino do Databricks, consulte Databricks.

Criptografia de dados

Selecione uma das seguintes opções de criptografia:

  • Criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3).

    Esse é o padrão.

  • Criptografia do lado do servidor com chaves gerenciadas pelo AWS KMS (SSE-KMS).

    Esta opção também exige que você especifique seu ID da chave KMS.

    Para obter mais informações sobre os métodos de criptografia do lado do servidor disponíveis, consulte:

    Protegendo dados com criptografia do lado do servidor

  • Nenhum

Propriedades internas

Propriedades internas são para casos de uso especiais e, portanto, não são expostas na caixa de diálogo. Você só deve usá-las se instruído pelo Suporte da Qlik.

Use os botões Criar novo e Cancelar à direita dos campos para adicionar ou remover propriedades conforme necessário.

Nome

O nome de exibição da conexão.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento padrão de tipos de dados do Qlik Cloud para tipos de dados do Amazon S3.

Nota informativaOs mapeamentos do tipo de dados só são relevantes se a opção Criar arquivos de metadados na pasta de destino nas configurações da tarefa "Aterrisar dados no data lake" estiver habilitada.

Mapeamento de tipos de dados do Qlik Cloud para o Amazon S3

Tipos de dados do Qlik Cloud e do Amazon S3
Tipos de dados do Qlik Cloud Tipos de dados de destino do Amazon S3

DATE

DATE

TIME

TIME

DATETIME

DATETIME

BYTES

BYTES (comprimento)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

NUMERIC

NUMERIC (p,s)

STRING

STRING (comprimento)

WSTRING

STRING (comprimento)

CLOB

CLOB

NCLOB

NCLOB

BOOLEAN

BOOLEAN (1)

Mapeamento de tipos de dados do Qlik Cloud para Parquet

Quando Parquet for definido como o formato de arquivo, devido ao número limitado de tipos de dados compatíveis com o Parquet, os mapeamentos de tipos de dados serão os seguintes:

Mapeamentos de tipos de dados Parquet
Tipo de dados do Qlik Cloud Tipo primitivo Parquet Tipo lógico

BOOLEAN

BOOLEAN

INT1

INT32

INT(8, true)

INT2

INT32

INT(16, true)

INT4

INT32

INT8

INT64

UINT1

INT32

INT(8, false)

UINT2

INT32

INT(16, false)

UINT4

INT64

UINT8

INT64

INT(64, false)

REAL4

FLOAT

REAL8

DOUBLE

NUMERIC

FIXED_LEN_BYTE_ARRAY (16)

DECIMAL (precisão, escala)

STRING

BYTE_ARRAY

STRING

WSTRING

BYTE_ARRAY

STRING

BYTES

BYTE_ARRAY

BLOB

BYTE_ARRAY

CLOB

BYTE_ARRAY

STRING

NCLOB

BYTE_ARRAY

STRING

DATE

INT32

DATE

TIME

INT32

TIME (UTC=true, unit=MILLIS)

DATETIME

INT64

TIMESTAMP (UTC=true, unit=MICROS)

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo – um erro de digitação, uma etapa ausente ou um erro técnico – avise-nos!