Amazon S3
Amazon S3 pode ser usado como:
- Uma área de teste na nuvem ao usar Databricks (opcional) ou Amazon Redshift (obrigatório) como destino de pipeline de dados. A área de teste na nuvem é onde os dados e as alterações são testados antes de serem aplicados e armazenados.
-
Um destino em uma tarefa de replicação.
- Para obter uma explicação sobre como replicar dados para o Amazon S3 com assinaturas Standard, Premium e Enterprise, consulte Aterrisar ddados em um data lake com uma assinatura Standard, Premium ou Enterprise.
- Para obter uma explicação sobre como replicar dados para o Amazon S3 com uma assinatura Starter, consulte Replicando dados com uma assinatura do Iniciante do Qlik Talend Cloud.
Permissões necessárias para aterrisar dados
Você deve ter um compartimento do Amazon S3 que possa ser acessado pela máquina do Gateway Data Movement.
Para obter informações sobre como se inscrever no Amazon S3, consulte http://aws.amazon.com/s3/.
- Credenciais de acesso ao compartimento: anote o nome do compartimento, a chave de acesso e a chave de acesso secreta; você precisará fornecer essas informações nas configurações do conector para o Amazon S3.
Permissões de acesso ao compartimento: as seguintes permissões de acesso ao compartimento são necessárias:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Em que YOUR_BUCKET_NAME é o nome do seu bucket e target_path é o local pretendido dos arquivos de destino no seu bucket.
Se o caminho de destino for a raiz do bucket, basta especificar “/target_path” com uma string vazia.
Pré-requisitos para Qlik Data Gateway - Movimentação de dados
O Gateway Data Movement conecta-se ao AWS usando SSL. Isso requer que um certificado CA apropriado resida na máquina do Gateway Data Movement; caso contrário, a conexão falhará. A finalidade do certificado CA é autenticar a propriedade do certificado do servidor AWS.
Certifique-se de que o certificado CA necessário exista na seguinte localização na máquina Linux:
/etc/pki/tls/certs/ca-bundle.crt
Se não existir, a solução mais simples é copiar o pacote de certificados de outra máquina Linux.
Configurando as propriedades de conexão do Amazon S3
Para configurar o conector, faça o seguinte:
Em Conexões, clique em Criar conexão.
Selecione o conector de destino do Amazon S3 e forneça as seguintes configurações:
Destino de dados
Gateway de dados: Selecione o Gateway Data Movement que você deseja usar para acessar o banco de dados de destino.
Dependendo do seu caso de uso, será o mesmo Gateway Data Movement implantado para obter dados da fonte de dados ou de uma fonte diferente. Para obter informações sobre as possibilidades de implantação do Gateway Data Movement, consulte Casos de uso comuns.
Propriedades da conexão
Opções de acesso: Escolha uma das seguintes opções
Par de chaves (o padrão)
O par de chaves para acessar o seu compartimento do Amazon S3. Ao selecionar esta opção, especifique o seguinte:
- Chave de acesso: a chave de acesso do seu bucket do Amazon S3.
Chave secreta: a chave secreta do seu bucket do Amazon S3.
IAM Roles Anywhere (sem suporte ao usar o Amazon S3 como área de preparação para o Databricks):
O IAM Roles Anywhere pode ser configurado no console do IAM Roles Anywhere, via AWS CLI, ou usando o AWS SDK. O IAM Roles Anywhere permite que você use sua infraestrutura de chave privada (PKI) para gerar credenciais temporárias para acessar funções IAM de fora da AWS. Isso significa que você pode acessar recursos da AWS com segurança do Qlik Talend Data Integration sem ter que gerenciar credenciais de longo prazo.
Ao selecionar esta opção, especifique o seguinte:
- Arquivo de certificado: Caminho para o certificado público do Qlik Talend Data Integration na máquina do Gateway Data Movement no formato PEM. Este arquivo precisa ser assinado com o certificado CA configurado no console do IAM Roles Anywhere.
- Arquivo de chave privada: Caminho para o arquivo de chave privada do Qlik Talend Data Integration na máquina do Gateway Data Movement no formato PEM.
- Frase secreta da chave privada: A frase secreta da chave privada. Necessário apenas se o arquivo da chave privada estiver criptografado.
- ARN da âncora de confiança: O ARN associado à âncora de confiança que você criou no console do IAM Roles Anywhere. Você estabelece confiança entre o IAM Roles Anywhere e sua autoridade de certificação (CA) criando uma âncora de confiança. Uma âncora de confiança é uma referência para a CA privada da AWS ou para um certificado de CA externo. Suas cargas de trabalho fora da AWS se autenticam com a âncora de confiança usando certificados emitidos pela CA confiável em troca de credenciais temporárias da AWS.
- ARN do perfil: O ARN associado ao perfil que você criou no console do IAM Roles Anywhere. Para especificar quais funções o IAM Roles Anywhere assume e o que suas cargas de trabalho podem fazer com as credenciais temporárias, você cria um perfil. Em um perfil, você pode definir permissões com políticas gerenciadas do IAM para limitar as permissões para uma sessão criada.
ARN da função: O ARN associado à função que você criou no console do IAM Roles Anywhere. Uma função é uma identidade do IAM que você cria em sua conta com permissões específicas. Para que o IAM Roles Anywhere possa assumir uma função e fornecer credenciais temporárias da AWS, a função deve confiar no principal de serviço do IAM Roles Anywhere.
O formato deve ser o seguinte:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Para obter mais informações sobre o IAM Roles Anywhere, consulte:
Estender as funções do AWS IAM para cargas de trabalho fora da AWS com o IAM Roles Anywhere
Funções do IAM para EC2
Escolha este método se a máquina na qual o Gateway Data Movement está instalado estiver configurada para se autenticar usando uma função do IAM.
Para obter informações sobre funções do IAM, consulte Funções do IAM.
Nome do bucket: o nome do seu bucket do Amazon S3.
A configuração padrão da região do bucket é detecção automática, o que elimina a necessidade de definir uma região específica. No entanto, devido a considerações de segurança, para algumas regiões (por exemplo, AWS GovCloud), pode ser necessário definir explicitamente a região. Nesse caso, você pode definir o código de região usando a propriedade interna regionCode.
Para obter uma lista dos códigos de região, consulte a seção Disponibilidade da região em:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Para obter instruções sobre como definir propriedades internas, veja abaixo.
Use o AWS PrivateLink: Selecione isso para se conectar a uma Amazon VPC e, em seguida, especifique a URL do endpoint de VPC (por exemplo, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Criptografia de dados
Escolha uma das seguintes opções de criptografia:
Criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3).
Esse é o padrão.
Criptografia do lado do servidor com chaves gerenciadas pelo AWS KMS (SSE-KMS).
Esta opção também exige que você especifique seu ID da chave KMS.
Para obter mais informações sobre os métodos de criptografia do lado do servidor disponíveis, consulte:
- Nenhum
Propriedades internas
Propriedades internas são para casos de uso especiais e, portanto, não são expostas na caixa de diálogo. Você só deve usá-las se instruído pelo Suporte da Qlik.
Use os botões 
e 
à direita dos campos para adicionar ou remover propriedades conforme necessário.
Nome
O nome de exibição da conexão.
Mapeamento de tipo de dados
A tabela a seguir mostra o mapeamento padrão de tipos de dados do Qlik Cloud para tipos de dados do Amazon S3.
Mapeamento de tipos de dados do Qlik Cloud para o Amazon S3
| Tipos de dados do Qlik Cloud | Tipos de dados de destino do Amazon S3 |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES (comprimento) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIC | NUMERIC (p,s) |
STRING | STRING (comprimento) |
WSTRING | STRING (comprimento) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN (1) |
Mapeamento de tipos de dados do Qlik Cloud para Parquet
Quando Parquet for definido como o formato de arquivo, devido ao número limitado de tipos de dados compatíveis com o Parquet, os mapeamentos de tipos de dados serão os seguintes:
| Tipo de dados do Qlik Cloud | Tipo primitivo Parquet | Tipo lógico |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, false) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIC | FIXED_LEN_BYTE_ARRAY (16) | DECIMAL (precisão, escala) |
STRING | BYTE_ARRAY | STRING |
WSTRING | BYTE_ARRAY | STRING |
BYTES | BYTE_ARRAY | |
BLOB | BYTE_ARRAY | |
CLOB | BYTE_ARRAY | STRING |
NCLOB | BYTE_ARRAY | STRING |
DATE | INT32 | DATE |
TIME | INT32 | TIME (UTC=true, unit=MILLIS) |
DATETIME | INT64 | TIMESTAMP (UTC=true, unit=MICROS) |