Snowflake

Puede usar Snowflake como plataforma de datos de destino en una canalización de datos o en una tarea de replicación. En una canalización de datos, se pueden realizar varias operaciones ELT en la plataforma de destino, incluido el almacenamiento de datos, la transformación de datos, la creación de mercados de datos y el registro de datos. Una tarea de replicación, por otro lado, implica la replicación de datos directamente desde un sistema de origen a un sistema de destino con capacidades de transformación básicas, pero sin soporte para operaciones ELT.

Establecer Snowflake como objetivo implica:

• Configurar los Permisos requeridos en la base de datos.
• Instalar el controlador requerido. Tenga en cuenta que esto solo es necesario si se conecta a Snowflake a través de Pasarela Data Movement.
• Configurar una conexión a Snowflake

Configurar las propiedades de la conexión

Para configurar el conector, haga lo siguiente:

1. En Conexiones, haga clic en Crear conexión.

2. Seleccione el conector de destino Snowflake y luego proporcione la siguiente configuración:

Pasarela de datos de movimiento de datos

Pasarela de datos

Solo se requiere una Pasarela Data Movement si la base de datos de destino no está accesible desde Qlik Cloud y solo se puede acceder a ella mediante un vínculo privado (por ejemplo, si está ubicada o en una nube privada virtual). En tal caso, seleccione la Pasarela Data Movement a través de la cual desea acceder a la base de datos de destino.

En función del caso de uso que precise, será la misma Pasarela Data Movement implementada para transferir los datos desde la fuente de datos u otra distinta.

Para obtener información sobre casos de uso de Pasarela Data Movement, consulte ¿Cuándo es obligatorio Pasarela Data Movement? y Casos de uso habituales.

Si es posible acceder directamente a la base de datos de destino desde Qlik Cloud, seleccione Ninguno.

Propiedades de conexión

• Servidor: su URL para acceder a Snowflake. Por ejemplo, myaccount.snowflakecomputing.com.

• Puerto: el puerto a través del cual desea acceder a su base de datos de Snowflake. El valor predeterminado es 443.

Autenticación

Hay distintas formas de autentificar una conexión:

• Nombre de usuario y contraseña

• Par de claves

  Su base de datos Snowflake debe estar configurada para utilizar la autenticación por pares de claves. El proceso se describe en la documentación de Snowflake:

  • Configuración de la autenticación mediante par de claves

  Nota informativaSi utiliza Pasarela Data Movement, se requiere la versión 2024.5.14 o superior para utilizar la autenticación mediante par de claves.

Propiedades de la cuenta

Nombre de usuario y contraseña

Nombre de usuario y Contraseña: el nombre de usuario y la contraseña de un usuario autorizado para acceder a la base de datos de Snowflake.

Par de claves

Propiedades de la base de datos

• Almacén predeterminado: El nombre de su almacén de datos de Snowflake. Puede anularlo en la configuración de su proyecto.

• Nombre de la base de datos: hay dos métodos que puede utilizar para especificar una base de datos:

  • Método 1 - Seleccionarlo de una lista: haga clic en Cargar bases de datos y seleccione una base de datos.

  • Método 2 - Manualmente: Seleccione Insertar el nombre de la base de datos manualmente e indique el nombre de la base de datos.

Propiedades internas

Las propiedades internas son para casos de uso especiales y, por lo tanto, no se exponen en el cuadro de diálogo. Solo deberá usarlas si se lo indica el Soporte de Qlik.

Haga uso de los botones y a la derecha de los campos para agregar o eliminar propiedades según sea necesario.

Nombre

El nombre que mostrará la conexión.

Requisitos previos

Permisos requeridos

Se requieren los siguientes permisos:

Se requieren permisos si desea que los esquemas que no existen se creen automáticamente

• USAGE ON DATABASE
• CREATE SCHEMA ON DATABASE

Permisos necesarios si el esquema ya existe

• USAGE ON DATABASE
• USAGE ON SCHEMA
• CREATE FILE FORMAT ON SCHEMA
• CREATE STAGE ON SCHEMA
• CREATE TABLE ON SCHEMA

Configuración del driver o controlador

Solo se requiere un controlador si accede a la base de datos a través de Pasarela Data Movement.

Puede instalar el driver usando la utilidad de instalación del driver (recomendado) o manualmente. La instalación manual solo debe intentarse en el improbable caso de que encuentre un problema con la utilidad de instalación del driver.

Uso de la utilidad de instalación del driver para instalar el driver/controlador

Esta sección describe cómo instalar el driver necesario. El proceso implica descargar el driver, copiarlo en la carpeta requerida (ver a continuación) y ejecutar un script que lo instalará y configurará automáticamente. También puede ejecutar secuencias de script para actualizar y desinstalar el driver según sea necesario.

Preparar la instalación

• Asegúrese de que Python 3.6 o posterior esté instalado en el servidor de la pasarela de Data Movement.

  Python viene preinstalado en la mayoría de las distribuciones de Linux. Puede verificar qué versión de Python está instalada en su sistema ejecutando el siguiente comando:

  python3 --version

• Descargue el controlador ODBC de Snowflake "snowflake-odbc-<versión>.x86_64.rpm". Encontrará un enlace de descarga directa a la versión compatible en binary-artifacts, en /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml. Una vez completada la descarga, copie el archivo en:

  /opt/qlik/gateway/movement/drivers/snowflake

Instalar el paquete de visualización driver

Para el driver:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: inactive (dead) since <timestamp> ago

3. En la máquina de la puerta de enlace de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

4. Ejecute el siguiente comando:

   Sintaxis:

   ./install snowflake

   De lo contrario, se mostrará el EULA del driver.

5. Puede realizar una de las acciones siguientes:

   • Pulse [Intro] repetidamente para desplazarse por el EULA.
   • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
   • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

6. Puede realizar una de las acciones siguientes:

   • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
   • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.

   • Escriba "v" y pulse [Intro] para ver el EULA de nuevo.

Se instalará el driver.

7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Actualizar el driver

Ejecute el comando de actualización si desea desinstalar versiones anteriores del driver antes de instalar el driver provisto.

Para el driver:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: inactive (dead) since <timestamp> ago

3. En la máquina de la puerta de enlace de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

4. Ejecute el siguiente comando:

   Sintaxis:

   ./update snowflake

   De lo contrario, se mostrará el EULA del driver.

5. Puede realizar una de las acciones siguientes:

   • Pulse [Intro] repetidamente para desplazarse por el EULA.
   • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
   • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

6. Puede realizar una de las acciones siguientes:

   • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
   • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.
   • Escriba "v" y pulse [Intro] para ver el EULA desde el principio.

El driver anterior se desinstalará y se instalará el nuevo driver.

7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Desinstalar el driver

Ejecute el comando de desinstalación si desea desinstalar el driver.

Para desinstalar el driver:

1. Detenga todas las tareas configuradas para utilizar este conector.

2. En la máquina de la pasarela de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

3. Ejecute el siguiente comando:

   Sintaxis:

   ./uninstall snowflake

   Se desinstalará el driver.

Instalar el controlador manualmente

Solo debe intentar instalar el driver manualmente si la instalación automática del driver no se realizó correctamente.

Debe instalar tanto un controlador ODBC como un controlador JDBC.

Instalación del controlador ODBC

1. Una vez que haya instalado Pasarela Data Movement, descargue el archivo del conector snowflake-odbc-<version>x86_64.rpm disponible en binary-artifacts, en /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml, y cópielo en la máquina de Pasarela Data Movement.
2. Instale el controlador en la máquina de Pasarela Data Movement.

Instalación del controlador JDBC

1. Descargue el archivo snowflake-jdbc-<version>.jar disponible en binary-artifacts, en /opt/qlik/gateway/movement/drivers/manifests/snowflake.yaml, y cópielo en esta carpeta de la máquina de Pasarela Data Movement.

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Reinicie el servicio de Pasarela Data Movement y compruebe que se ha iniciado ejecutando los comandos descritos en Comandos de servicio de Pasarela Data Movement

Puerto

El puerto de firewall 443 debe abrirse para la comunicación saliente.

Optimización del rendimiento y uso de servicios en la nube

Limitaciones y consideraciones

Se aplican las siguientes limitaciones al mover datos a un destino Snowflake:

• No se admite la replicación de tablas con barras invertidas en sus nombres (por ejemplo, SPECIAL\\TABLE\N).

Tipos de datos

La tabla siguiente muestra los tipos de datos de Snowflake admitidos al utilizar Qlik Cloud y la asignación predeterminada de tipos de datos de Qlik Cloud.

La información del tipo de datos nativo se conserva y se muestra en la columna Tipo de datos nativo en las vistas de conjuntos de datos. Si la columna no está visible, debe abrir el selector de columnas de la vista del conjunto de datos y seleccionar la columna Tipo de datos nativo.

Tipos de datos que admite

Tipos de datos de Qlik Cloud	Tipos de datos de Snowflake
BOOLEAN	BOOLEAN
BYTES	BINARY (longitud en Bytes)
DATE	DATE
TIME	TIME (precisión)
DATETIME	TIMESTAMP_NTZ (precisión)
INT1	BYTEINT
INT2	SMALLINT
INT4	INTEGER
INT8	BIGINT
NUMERIC	NUMBER (precisión, escala)
REAL4	FLOAT4
REAL8	FLOAT8
UINT1	BYTEINT
UINT2	INTEGER
UINT4	INTEGER
UINT8	BIGINT
STRING	VARCHAR (longitud en Bytes)
WSTRING	NVARCHAR (longitud en Bytes)
BLOB	BINARY (8388608)
NCLOB	NVARCHAR (8388608)
CLOB	VARCHAR (8388608)