Saltar al contenido principal Saltar al contenido complementario
Recursos de Qlik

Amazon Redshift

Puede usar Amazon Redshift como plataforma de datos de destino en una canalización de datos o en una tarea de replicación. En una canalización de datos, se pueden realizar varias operaciones ELT en la plataforma de destino, incluido el almacenamiento de datos, la transformación de datos, la creación de mercados de datos y el registro de datos. Una tarea de replicación, por otro lado, implica la replicación de datos directamente desde un sistema de origen a un sistema de destino con capacidades de transformación básicas, pero sin soporte para operaciones ELT.

Establecer Amazon Redshift como objetivo implica:

Crear una zona de preparación en la nube

Nota informativaSi está registrando datos existentes, no necesita crear un área de preparación en la nube.

Configurar una conexión a Amazon Redshift también requiere configurar la conectividad a un área de ensayo en la nube de Amazon S3, donde los datos y los cambios se organizan antes de aplicarlos y almacenarlos.

Para obtener información sobre cómo configurar una conexión a Amazon S3, vea Amazon S3.

Configurar una conexión a Amazon Redshift

Una vez que haya configurado la preparación, haga lo siguiente:

  1. En Conexiones, haga clic en Crear conexión.

  2. Seleccione el conector de destino Amazon Redshift y luego proporcione la siguiente configuración:

Destino de datos

Pasarela de datos

Nota informativaEste campo no está disponible con la suscripción Qlik Talend Cloud Starter porque Pasarela Data Movement no se admite con este nivel de suscripción.

Solo se requiere una Pasarela Data Movement si la base de datos de destino no está accesible desde Qlik Cloud y solo se puede acceder a ella mediante un vínculo privado (por ejemplo, si está ubicada localmente detrás de un firewall o en una nube privada virtual). En tal caso, seleccione la Pasarela Data Movement a través de la cual desea acceder a la base de datos de destino.

En función del caso de uso que precise, será la misma Pasarela Data Movement implementada para transferir los datos desde la fuente de datos u otra distinta.

Para obtener información sobre casos de uso de Pasarela Data Movement, consulte ¿Cuándo es obligatorio Pasarela Data Movement? y Casos de uso habituales.

Si es posible acceder directamente a la base de datos de destino desde Qlik Cloud, seleccione Ninguno.

Nota informativaAl acceder a la base de datos de destino mediante Pasarela Data Movement, también necesita instalar el controlador adecuado en el equipo de Pasarela Data Movement. Para más detalles, vea Configuración del driver o controlador a continuación.

Propiedades de conexión

  • Servidor: nombre de host del servidor de base de datos de Amazon Redshift.

  • Puerto: el puerto de acceso a la base de datos de Amazon Redshift. El valor predeterminado es 5439.

Propiedades de la cuenta

Nombre de usuario y Contraseña: el nombre de usuario y la contraseña de un usuario autorizado para acceder a la base de datos de Amazon Redshift.

Propiedades de la base de datos

  • Nombre de la base de datos: hay dos métodos que puede utilizar para especificar una base de datos:

    • Método 1 - Seleccionarlo de una lista: haga clic en Cargar bases de datos y seleccione una base de datos.
    • Método 2 - Manualmente: seleccione Insertar el nombre de la base de datos manualmente e indique el nombre de la base de datos.

Propiedades internas

Las propiedades internas son para casos de uso especiales y, por lo tanto, no se exponen en el cuadro de diálogo. Solo deberá usarlas si se lo indica el Soporte de Qlik.

Haga uso de los botones Crear nuevo y Cancelar a la derecha de los campos para agregar o eliminar propiedades según sea necesario.

Nombre

El nombre que mostrará la conexión.

Requisitos previos

Permisos requeridos

Otorgue los siguientes permisos en la base de datos Redshift:

  • Otorgue COPY
  • Otorgue INSERT
  • Otorgue UPDATE
  • Otorgue DELETE
  • Otorgue SELECT
  • Create Schema (solo es necesario si no existen esquemas y desea que Qlik Talend Data Integration los cree)
  • Otorgue CREATE TABLE
  • Otorgue ALTER TABLE
  • Otorgue DROP TABLE

Configuración del driver o controlador

Solo se requiere un controlador si accede a la base de datos a través de Pasarela Data Movement. En tal caso, es necesario instalar el controlador en la máquina de la Pasarela Data Movement.

Puede instalar el driver usando la utilidad de instalación del driver (recomendado) o manualmente. La instalación manual solo debe intentarse en el improbable caso de que encuentre un problema con la utilidad de instalación del driver.

Uso de la utilidad de instalación del driver para instalar el driver/controlador

Esta sección describe cómo instalar el driver necesario. El proceso implica ejecutar un script que descargará, instalará y configurará automáticamente el driver requerido. También puede ejecutar secuencias de script para actualizar y desinstalar el driver según sea necesario.

Preparar la instalación

  • Asegúrese de que Python 3.6 o posterior esté instalado en el servidor de la pasarela de Data Movement.

    Python viene preinstalado en la mayoría de las distribuciones de Linux. Puede verificar qué versión de Python está instalada en su sistema ejecutando el siguiente comando:

    python3 --version

Instalar el paquete de visualización driver

Para descargar e instalar el driver:

  1. Detenga el servicio Data Movement gateway:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme que el servicio se ha detenido:

    sudo systemctl status repagent

    El estado debería ser el siguiente:

    Active: inactive (dead) since <timestamp> ago

  3. En la máquina de la puerta de enlace de Data Movement, cambie el directorio de trabajo a:

    opt/qlik/gateway/movement/drivers/bin

  4. Ejecute el siguiente comando:

    Sintaxis:

    ./install redshift

    Si no logra descargar el driver (debido a restricciones de acceso o problemas técnicos), aparecerá un mensaje indicándole dónde puede descargar el driver y dónde copiarlo en la máquina de la puerta de enlace de Data Movement. Una vez hecho esto, ejecute nuevamente el comando install redshift.

    De lo contrario, se mostrará el EULA del driver.

  5. Puede realizar una de las acciones siguientes:

    • Pulse [Intro] repetidamente para desplazarse por el EULA.
    • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
    • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

  6. Puede realizar una de las acciones siguientes:

    • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
    • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.

    • Escriba "v" y pulse [Intro] para ver el EULA de nuevo.

    7. Se instalará el driver.

  7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

    sudo systemctl start repagent

  8. Opcionalmente, confirme que el servicio se ha iniciado:

    sudo systemctl status repagent

    El estado debería ser el siguiente:

    Active: active (running) since <timestamp> ago

Actualizar el driver

Ejecute el comando de actualización si desea desinstalar versiones anteriores del driver antes de instalar el driver provisto.

Para descargar y actualizar el driver:

  1. Detenga el servicio Data Movement gateway:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme que el servicio se ha detenido:

    sudo systemctl status repagent

    El estado debería ser el siguiente:

    Active: inactive (dead) since <timestamp> ago

  3. En la máquina de la puerta de enlace de Data Movement, cambie el directorio de trabajo a:

    opt/qlik/gateway/movement/drivers/bin

  4. Ejecute el siguiente comando:

    Sintaxis:

    ./update redshift

    Si no logra descargar el driver (debido a restricciones de acceso o problemas técnicos), aparecerá un mensaje indicándole dónde puede descargar el driver y dónde copiarlo en la máquina de la puerta de enlace de Data Movement. Una vez hecho esto, ejecute nuevamente el comando update redshift.

    De lo contrario, se mostrará el EULA del driver.

  5. Puede realizar una de las acciones siguientes:

    • Pulse [Intro] repetidamente para desplazarse por el EULA.
    • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
    • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

  6. Puede realizar una de las acciones siguientes:

    • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
    • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.
    • Escriba "v" y pulse [Intro] para ver el EULA desde el principio.

    7. El driver anterior se desinstalará y se instalará el nuevo driver.

  7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

    sudo systemctl start repagent

  8. Opcionalmente, confirme que el servicio se ha iniciado:

    sudo systemctl status repagent

    El estado debería ser el siguiente:

    Active: active (running) since <timestamp> ago

Desinstalar el driver

Ejecute el comando de desinstalación si desea desinstalar el driver.

Para desinstalar el driver:

  1. Detenga todas las tareas configuradas para utilizar este conector.

  2. En la máquina de la pasarela de Data Movement, cambie el directorio de trabajo a:

    opt/qlik/gateway/movement/drivers/bin

  3. Ejecute el siguiente comando:

    Sintaxis:

    ./uninstall redshift

    Se desinstalará el driver.

Instalar el controlador manualmente

Solo debe intentar instalar el driver manualmente si la instalación automática del driver no se realizó correctamente.

  1. Detenga el servicio Data Movement gateway:

    sudo systemctl stop repagent

  2. Opcionalmente, confirme que el servicio se ha detenido:

    sudo systemctl status repagent

    3. El estado debería ser el siguiente:

    Active: inactive (dead) since <timestamp> ago

  3. Descargue e instale las herramientas de cliente SQL de Linux necesarias para conectarse al clúster de Amazon Redshift. Pasarela de datos de Qlik - Data Movement requiere el controlador ODBC de Amazon Redshift (x64) 1.4.65.1000 únicamente.

    Descargue el controlador desde:

    https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.4.65.1000/AmazonRedshiftODBC-64-bit-1.4.65.1000-1.x86_64.rpm

    Después de instalar el controlador ODBC, edite el archivo /etc/odbcinst.ini de la siguiente manera:

    [ODBC Drivers]

    Amazon Redshift (x64)=Installed

    Y:

    [Amazon Redshift (x64)]

    Description=Amazon Redshift ODBC Driver (64-bit)

    Driver=/opt/amazon/redshiftodbc/lib/64/libamazonredshiftodbc64.so

  4. Inicie el servicio Data Movement gateway:

    sudo systemctl start repagent

  5. Opcionalmente, confirme que el servicio se ha iniciado:

    sudo systemctl status repagent

    El estado debería ser el siguiente:

    Active: active (running) since <timestamp> ago

Para obtener una lista de controladores compatibles con Amazon Redshift, consulte http://docs.aws.amazon.com/redshift/latest/mgmt/configure-odbc-connection.html.

Puerto

El puerto 5439 (clúster de Amazon Redshift) debe abrirse para la comunicación saliente.

Certificado CA

Data Movement gateway se conecta a AWS mediante SSL. Esto requiere un certificado CA apropiado para residir en la máquina Data Movement gateway; de lo contrario, la conexión fallará. El propósito del certificado de CA es autenticar la propiedad del certificado del servidor de AWS.

Asegúrese de que el certificado de CA requerido exista en la siguiente ubicación en la máquina que tiene Linux instalado:

/etc/pki/tls/certs/ca-bundle.crt

Si no existe, la solución más sencilla es copiar el paquete de certificados desde otra máquina Linux.

Requisitos previos generales y consideraciones

  • Si su fuente de datos tiene caracteres emoji de 4 bytes, utilice una transformación para convertir el tipo de datos de WSTRING(n) a WSTRING (n*2).

  • Asegúrese de que la configuración de hora y zona horaria en la máquina donde está instalado Data Movement gateway sea correcta. Esto es necesario para garantizar:

    • La correcta sincronización de las tareas Carga completa y CDC
    • La correlación del tiempo de registro de las transacciones con el tiempo real

  • No puede leer vistas en vivo y vistas de historial en Servicios de analítica de Qlik Cloud a partir de conjuntos de datos creados en un destino Amazon Redshift por Qlik Talend Data Integration.

Limitaciones y consideraciones

  • El conector de Amazon Redshift solo admite la autenticación estándar (nombre de usuario y contraseña).

Tipos de datos

La tabla siguiente muestra los tipos de datos Amazon Redshift de bases de datos admitidos al utilizar Qlik Cloud y la asignación predeterminada de tipos de datos de Qlik Cloud.

La información del tipo de datos nativo se conserva y se muestra en la columna Tipo de datos nativo en las vistas de conjuntos de datos. Si la columna no está visible, debe abrir el selector de columnas de la vista del conjunto de datos y seleccionar la columna Tipo de datos nativo.

Nota informativaEn Qlik Cloud, la longitud de la cadena está en caracteres, mientras que en Redshift, la longitud de varchar está en bytes. El número de bytes por carácter puede variar según los caracteres reales y la codificación. Qlik Cloud asume que la longitud es de 3 bytes por carácter. Esto significa que cuando defina wstring(10), la tabla se creará como varchar(30) en la práctica.
Tipos de datos que admite
Tipos de datos de Qlik Cloud Tipos de datos de Amazon Redshift

BOOLEAN

BOOLEAN

BYTES

VARBINARY(longitud)

DATE

DATE

TIME

VARCHAR (20)

DATETIME

Si la escala es => 0 y =< 6, entonces:

TIMESTAMP

Si la escala es => 7 y =< 12, entonces:

VARCHAR (37)

INT1

INT2

INT2

INT2

INT4

INT4

INT8

INT8

NUMERIC

Si la escala es => 0 y =< 37, entonces:

NUMERIC (precisión, escala)

Si la escala es => 38 y =< 127, entonces:

VARCHAR (longitud)

REAL4

FLOAT4

REAL8

FLOAT8

STRING

Si la longitud es => 1 y =< 65535, entonces:

VARCHAR (longitud en Bytes)

Si la longitud es => 65535 y =< 2147483647, entonces:

VARCHAR (65535)

UINT1

INT2

UINT2

INT4

UINT4

INT8

UINT8

NUMERIC (20,0)

WSTRING

Si la longitud es => 1 y =< 21845, entonces:

NVARCHAR (longitud en Bytes)

Si la longitud es => 21846 y =< 2147483647, entonces:

NVARCHAR (65535)

BLOB

VARBYTE (16777216)

NCLOB

VARCHAR (65535)

CLOB

VARCHAR (65535)

No se admiten los siguientes tipos de datos de SQL Server. Los datos no se leerán.

  • HLLSKETCH

Los siguientes tipos de datos se convierten a VARCHAR (65535):

  • GEOGRAPHY

  • GEOMETRY

¿Esta página le ha sido útil?

No dude en indicarnos en qué podemos mejorar si encuentra algún problema en esta página o su contenido, como, por ejemplo, errores tipográficos, pasos que falta o errores técnicos.

Deje aquí sus comentarios