Amazon S3

Amazon S3 se puede utilizar como:

• Un área de preparación en la nube cuando se utiliza Databricks (opcional) o Amazon Redshift (obligatorio) como destino de canalización de datos. El área de ensayo o preparación en la nube es donde se organizan los datos y los cambios antes de aplicarlos y almacenarlos.

• Un destino en una tarea de replicación.

  • Para obtener una explicación sobre cómo replicar datos en Amazon S3 con suscripciones Estándar, Premium y Enterprise, consulte Aterrizaje de datos en un data lake con una suscripción Estándar, Premium o Enterprise.
  • Para obtener una explicación sobre cómo replicar datos en Amazon S3 con la suscripción Starter, consulte Replicar datos con una suscripción Qlik Talend Cloud Starter.

Permisos necesarios para aterrizar los datos en destino

• Debe tener un depósito de Amazon S3 al que se pueda acceder desde la máquina de Data Movement gateway.

  Para obtener información sobre cómo registrarse en Amazon S3, consulte http://aws.amazon.com/s3/.

• Credenciales de acceso al depósito: Tome nota del nombre del depósito, la clave de acceso a la y la clave de acceso secreta; deberá proporcionarlos en la configuración del conector de Amazon S3.

• Permisos de acceso al depósito: se requieren los siguientes permisos de acceso al depósito:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

Donde YOUR_BUCKET_NAME es el nombre de su depósito y target_path es la ubicación prevista de los archivos de destino en su depósito.

Requisitos previos de Pasarela de datos de Qlik - Data Movement

Data Movement gateway se conecta a AWS mediante SSL. Esto requiere un certificado CA apropiado para residir en la máquina Data Movement gateway; de lo contrario, la conexión fallará. El propósito del certificado de CA es autenticar la propiedad del certificado del servidor de AWS.

Asegúrese de que el certificado de CA requerido exista en la siguiente ubicación en la máquina que tiene Linux instalado:

/etc/pki/tls/certs/ca-bundle.crt

Si no existe, la solución más sencilla es copiar el paquete de certificados desde otra máquina Linux.

Configuración de las propiedades de conexión de Amazon S3

Para configurar el conector, haga lo siguiente:

1. En Conexiones, haga clic en Crear conexión.

2. Seleccione el conector de destino Amazon S3 y luego proporcione la siguiente configuración:

Destino de datos

Pasarela de datos: Seleccione la Pasarela Data Movement que desee utilizar para acceder a la base de datos de destino.

En función del caso de uso que precise, será la misma Pasarela Data Movement implementada para transferir los datos desde la fuente de datos u otra distinta. Para más información sobre las posibilidades de implementación de la Pasarela Data Movement, vea Casos de uso habituales.

Propiedades de conexión

• Clave de acceso: La clave de acceso a su depósito de Amazon S3.
• Clave de secreto: La clave secreta de su depósito de Amazon S3.

• Nombre del depósito: el nombre de su depósito de Amazon S3.

  Nota informativa

  La configuración predeterminada de la región del depósito es la detección automática, lo que elimina la necesidad de establecer una región específica. Sin embargo, debido a consideraciones de seguridad, para algunas regiones (por ejemplo, AWS GovCloud), es posible que deba configurar explícitamente la región. En tal caso, puede configurar el código de región utilizando la propiedad interna regionCode.

  Para obtener una lista de códigos de región, consulte la sección Disponibilidad por región en:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Para obtener instrucciones sobre cómo configurar propiedades internas, consulte a continuación.

• Use AWS PrivateLink: Seleccione esta opción para conectarse a una VPC de Amazon y, a continuación, especifique la URL del punto de conexión de la VPC (por ejemplo, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  Nota informativaLa opción Usar AWSPrivateLink no se admite cuando se utiliza un depósito de Amazon S3 como área de preparación para un destino de Databricks. Para obtener información sobre cómo configurar la conectividad con un destino de Databricks, vea Databricks.

Propiedades internas

Las propiedades internas son para casos de uso especiales y, por lo tanto, no se exponen en el cuadro de diálogo. Solo deberá usarlas si se lo indica el Soporte de Qlik.

Haga uso de los botones y a la derecha de los campos para agregar o eliminar propiedades según sea necesario.

Nombre

El nombre que mostrará la conexión.

Correspondencias entre tipos de datos

La tabla siguiente muestra la asignación predeterminada de correspondencias entre tipos de datos de Qlik Cloud y tipos de datos de Amazon S3.

Correspondencias entre tipos de datos de Qlik Cloud y de Amazon S3

Correspondencias entre tipos de datos de Qlik Cloud y Parquet

Cuando se establece Parquet como formato de archivo, debido al número limitado de tipos de datos compatibles con Parquet, las asignaciones de tipos de datos serán como se muestra en la siguiente tabla.