Amazon S3
Amazon S3 se puede utilizar como:
- Un área de preparación en la nube cuando se utiliza Databricks (opcional) o Amazon Redshift (obligatorio) como destino de canalización de datos. El área de ensayo o preparación en la nube es donde se organizan los datos y los cambios antes de aplicarlos y almacenarlos.
-
Un destino en una tarea de replicación.
- Para obtener una explicación sobre cómo replicar datos en Amazon S3 con suscripciones Estándar, Premium y Enterprise, consulte Aterrizaje de datos en un data lake con una suscripción Estándar, Premium o Enterprise.
- Para obtener una explicación sobre cómo replicar datos en Amazon S3 con la suscripción Starter, consulte Replicación de datos con una suscripción a Qlik Talend Cloud Starter .
Permisos necesarios para aterrizar los datos en destino
Debe tener un depósito de Amazon S3 al que se pueda acceder desde la máquina de Data Movement gateway.
Para obtener información sobre cómo registrarse en Amazon S3, consulte http://aws.amazon.com/s3/.
- Credenciales de acceso al depósito: anote el nombre del depósito, la clave de acceso y la clave de acceso secreta: tendrá que proporcionarlos en la configuración de Amazon S3 conector.
Permisos de acceso al depósito: se requieren los siguientes permisos de acceso al depósito:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Donde YOUR_BUCKET_NAME es el nombre de su depósito y target_path es la ubicación prevista de los archivos de destino en su depósito.
Si la ruta de destino es la raíz del depósito, solo especifique “/target_path” con una cadena de texto vacía.
Requisitos previos de Pasarela de movimiento de datos de Qlik
Data Movement gateway se conecta a AWS mediante SSL. Esto requiere un certificado CA apropiado para residir en la máquina Data Movement gateway; de lo contrario, la conexión fallará. El propósito del certificado de CA es autenticar la propiedad del certificado del servidor de AWS.
Asegúrese de que el certificado de CA requerido exista en la siguiente ubicación en la máquina que tiene Linux instalado:
/etc/pki/tls/certs/ca-bundle.crt
Si no existe, la solución más sencilla es copiar el paquete de certificados desde otra máquina Linux.
Configuración de las propiedades de conexión de Amazon S3
Para configurar el conector, haga lo siguiente:
En Conexiones, haga clic en Crear conexión.
Seleccione el conector de destino Amazon S3 y luego proporcione la siguiente configuración:
Destino de datos
Pasarela de datos: Seleccione la Data Movement gateway que desee utilizar para acceder a la base de datos de destino.
En función del caso de uso, será la misma Data Movement gateway implementada para aterrizar los datos de la fuente de datos u otra distinta. Para más información sobre las posibilidades de implementación de Data Movement gateway, vea Casos de uso habituales.
Propiedades de conexión
Opciones de acceso: elija una de las siguientes
Par de claves (opción predeterminada)
El par de claves para acceder a su depósito (bucket) de Amazon S3. Cuando se selecciona esta opción, especifique lo siguiente:
- Clave de acceso: la clave de acceso a su depósito de Amazon S3.
Clave de secreto: La clave secreta de su depósito de Amazon S3.
IAM Roles Anywhere (no compatible al usar Amazon S3 como área de ensayo para Databricks):
IAM Roles Anywhere se puede configurar en la consola de IAM Roles Anywhere, a través de la CLI de AWS o usando el SDK de AWS. IAM Roles Anywhere le permite usar su infraestructura de clave pública (PKI) para generar credenciales temporales para acceder a roles de IAM desde fuera de AWS. Esto significa que puede acceder de forma segura a los recursos de AWS desde Qlik Talend Data Integration sin tener que gestionar credenciales a largo plazo.
Cuando se selecciona esta opción, especifique lo siguiente:
- Archivo del certificado: Ruta al certificado público Qlik Talend Data Integration en la máquina de Data Movement gateway en formato PEM. Este archivo debe firmarse con el certificado de CA configurado en la consola de IAM Roles Anywhere.
- Archivo de clave privada: Ruta al archivo de clave privada Qlik Talend Data Integration en la máquina donde está instalada Data Movement gateway, en formato PEM.
- Contraseña de clave privada: La contraseña de la clave privada. Solo es necesaria si el archivo de clave privada está cifrado.
- ARN del anclaje de confianza: El ARN asociado al anclaje de confianza que creó en la consola de IAM Roles Anywhere. Establece la confianza entre IAM Roles Anywhere y su autoridad de certificación (CA) mediante la creación de un ancla de confianza. Un ancla de confianza es una referencia a AWS Private CA o a un certificado de CA externo. Sus cargas de trabajo fuera de AWS se autentican con el ancla de confianza utilizando certificados emitidos por la CA de confianza a cambio de credenciales temporales de AWS.
- ARN del perfil: El ARN asociado al perfil que creó en la consola de IAM Roles Anywhere. Para especificar qué roles asume IAM Roles Anywhere y qué pueden hacer sus cargas de trabajo con las credenciales temporales, se crea un perfil. En un perfil, puede definir permisos con políticas administradas de IAM para limitar los permisos de una sesión creada.
ARN del rol: El ARN asociado al rol que creó en la consola de IAM Roles Anywhere. Un rol es una identidad de IAM que se crea en su cuenta con permisos específicos. Para que IAM Roles Anywhere pueda asumir un rol y entregar credenciales temporales de AWS, el rol debe confiar en el principal del servicio de IAM Roles Anywhere.
El formato debería ser el siguiente:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Para obtener más información sobre IAM Roles Anywhere, consulte:
Ampliar los roles de IAM de AWS a cargas de trabajo fuera de AWS con IAM Roles Anywhere
Roles de IAM para EC2
Elija este método si la máquina en la que Data Movement gateway está instalado está configurada para autenticarse utilizando un rol de IAM.
Para obtener información sobre los roles de IAM, consulte Roles de IAM.
Nombre del depósito: el nombre de su depósito de Amazon S3.
La configuración predeterminada de la región del depósito es la detección automática, lo que elimina la necesidad de establecer una región específica. Sin embargo, debido a consideraciones de seguridad, para algunas regiones (por ejemplo, AWS GovCloud), es posible que deba configurar explícitamente la región. En tal caso, puede configurar el código de región utilizando la propiedad interna regionCode.
Para obtener una lista de códigos de región, consulte la sección Disponibilidad por región en:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Para obtener instrucciones sobre cómo configurar propiedades internas, consulte a continuación.
Use AWS PrivateLink: Seleccione esta opción para conectarse a una VPC de Amazon y, a continuación, especifique la URL del punto de conexión de la VPC (por ejemplo, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Cifrado de datos
Elija una de las siguientes Opciones de cifrado:
Cifrado del lado del servidor con claves administradas por Amazon S3 (SSE-S3).
Esta es la opción predeterminada.
Cifrado del lado del servidor con claves administradas por AWS KMS (SSE-KMS)
Esta opción también requiere que especifique su ID de clave de KMS.
Para obtener más información sobre los métodos de cifrado del lado del servidor disponibles, consulte:
- Ninguna
Propiedades internas
Las propiedades internas son para casos de uso especiales y, por lo tanto, no se exponen en el cuadro de diálogo. Solo deberá usarlas si se lo indica el Soporte de Qlik.
Haga uso de los botones 
y 
a la derecha de los campos para agregar o eliminar propiedades según sea necesario.
Nombre
El nombre que mostrará la conexión.
Correspondencias entre tipos de datos
La tabla siguiente muestra la asignación predeterminada de correspondencias entre tipos de datos de Qlik Cloud y tipos de datos de Amazon S3.
Correspondencias entre tipos de datos de Qlik Cloud y de Amazon S3
| Tipos de datos en Qlik Cloud | Tipos de datos de destino Amazon S3 |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES (length) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIC | NUMERIC (p,s) |
STRING | STRING (Length) |
WSTRING | STRING (Length) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN (1) |
Asignación de tipos de datos de Qlik Cloud a Parquet
Cuando se establece Parquet como formato de archivo, debido al número limitado de tipos de datos compatibles con Parquet, las asignaciones de tipos de datos serán como se muestra en la siguiente tabla.
| Tipo de datos de Qlik Cloud | Tipo primitivo de Parquet | Tipo lógico |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, false) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIC | FIXED_LEN_BYTE_ARRAY (16) | DECIMAL (precision, scale) |
STRING | BYTE_ARRAY | STRING |
WSTRING | BYTE_ARRAY | STRING |
BYTES | BYTE_ARRAY | |
BLOB | BYTE_ARRAY | |
CLOB | BYTE_ARRAY | STRING |
NCLOB | BYTE_ARRAY | STRING |
DATE | INT32 | DATE |
TIME | INT32 | TIME (UTC=true, unit=MILLIS) |
DATETIME | INT64 | TIMESTAMP (UTC=true, unit=MICROS) |