Amazon S3

Amazon S3 pode ser usado como:

• Uma área de teste na nuvem ao usar Databricks (opcional) ou Amazon Redshift (obrigatório) como destino de pipeline de dados. A área de teste na nuvem é onde os dados e as alterações são testados antes de serem aplicados e armazenados.

• Um destino em uma tarefa de replicação.

  • Para obter uma explicação sobre como replicar dados para o Amazon S3 com assinaturas Standard, Premium e Enterprise, consulte Aterrisar ddados em um data lake com uma assinatura Standard, Premium ou Enterprise.
  • Para obter uma explicação sobre como replicar dados para o Amazon S3 com uma assinatura Starter, consulte Replicando dados com uma assinatura do Iniciante do Qlik Talend Cloud.

Permissões necessárias para aterrisar dados

• Você deve ter um compartimento do Amazon S3 que possa ser acessado pela máquina do Gateway Data Movement.

  Para obter informações sobre como se inscrever no Amazon S3, consulte http://aws.amazon.com/s3/.

• Credenciais de acesso ao compartimento: anote o nome do bucket, a a chave de acesso e a chave de acesso secreta; você precisará fornecer essas informações nas configurações do conector para Amazon S3.

• Permissões de acesso ao compartimento: as seguintes permissões de acesso ao compartimento são necessárias:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

Em que YOUR_BUCKET_NAME é o nome do seu bucket e target_path é o local pretendido dos arquivos de destino no seu bucket.

Pré-requisitos para Qlik Data Gateway - Data Movement

O Gateway Data Movement conecta-se ao AWS usando SSL. Isso requer que um certificado CA apropriado resida na máquina do Gateway Data Movement; caso contrário, a conexão falhará. A finalidade do certificado CA é autenticar a propriedade do certificado do servidor AWS.

Certifique-se de que o certificado CA necessário exista na seguinte localização na máquina Linux:

/etc/pki/tls/certs/ca-bundle.crt

Se não existir, a solução mais simples é copiar o pacote de certificados de outra máquina Linux.

Configurando as propriedades de conexão do Amazon S3

Para configurar o conector, faça o seguinte:

1. Em Conexões, clique em Criar conexão.

2. Selecione o conector de destino do Amazon S3 e forneça as seguintes configurações:

Destino de dados

Gateway de dados: Selecione o Data Movement gateway que você deseja usar para acessar o banco de dados de destino.

Dependendo do seu caso de uso, será o mesmo Data Movement gateway implantado para obter dados da fonte de dados ou de uma fonte diferente. Para obter informações sobre as possibilidades de implantação do Data Movement gateway, consulte Casos de uso comuns.

Propriedades da conexão

• Chave de acesso: a chave de acesso do seu bucket do Amazon S3.
• Chave secreta: a chave secreta do seu bucket do Amazon S3.

• Nome do bucket: o nome do seu bucket do Amazon S3.

  Nota informativa

  A configuração padrão da região do bucket é detecção automática, o que elimina a necessidade de definir uma região específica. No entanto, devido a considerações de segurança, para algumas regiões (por exemplo, AWS GovCloud), pode ser necessário definir explicitamente a região. Nesse caso, você pode definir o código de região usando a propriedade interna regionCode.

  Para obter uma lista dos códigos de região, consulte a seção Disponibilidade da região em:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Para obter instruções sobre como definir propriedades internas, veja abaixo.

• Use o AWS PrivateLink: Selecione isso para se conectar a uma Amazon VPC e, em seguida, especifique a URL do endpoint de VPC (por exemplo, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  Nota informativaA opção Usar AWS PrivateLink não é compatível ao usar um compartimento do Amazon S3 como área de teste para um destino do Databricks. Para obter informações sobre como configurar a conectividade com um destino do Databricks, consulte Databricks.

Propriedades internas

Propriedades internas são para casos de uso especiais e, portanto, não são expostas na caixa de diálogo. Você só deve usá-las se instruído pelo Suporte da Qlik.

Use os botões e à direita dos campos para adicionar ou remover propriedades conforme necessário.

Nome

O nome de exibição da conexão.

Mapeamento de tipo de dados

A tabela a seguir mostra o mapeamento padrão de tipos de dados do Qlik Cloud para tipos de dados do Amazon S3.

Mapeamento de tipos de dados do Qlik Cloud para o Amazon S3

Mapeamento de tipos de dados do Qlik Cloud para Parquet

Quando Parquet for definido como o formato de arquivo, devido ao número limitado de tipos de dados compatíveis com o Parquet, os mapeamentos de tipos de dados serão os seguintes: