Azure Synapse Analytics

Puede utilizar Azure Synapse Analytics como plataforma de datos de destino en una canalización de datos. En una canalización de datos, se pueden realizar varias operaciones ELT en la plataforma de destino, incluido el almacenamiento de datos, la transformación de datos, la creación de mercados de datos y el registro de datos.

Establecer Azure Synapse Analytics como objetivo implica:

• Cumplir los requisitos previos
• Configurar una conexión a una zona de preparación en la nube (Azure Data Lake Storage). Esto no es necesario si está registrando datos existentes.
• Configurar una conexión a Azure Synapse Analytics

Creación de una zona de preparación en la nube

También necesita un área de preparación en la nube de Azure Data Lake Storage donde los datos y los cambios se almacenen allí antes de aplicarlos y guardarlos. Para obtener información sobre la configuración de una conexión con Azure Data Lake Storage, vea Azure Data Lake Storage.

Configuración de las propiedades de conexión de Azure Synapse Analytics

Una vez que haya proporcionado la configuración de destino de Azure Data Lake Storage, haga lo siguiente:

1. En Conexiones, haga clic en Crear conexión.

2. Seleccione el conector de destino Azure Synapse Analytics y luego proporcione la siguiente configuración:

Destino de datos

Pasarela de datos

Solo se requiere una Pasarela Data Movement si la base de datos de destino no está accesible desde Qlik Cloud y solo se puede acceder a ella mediante un vínculo privado (por ejemplo, si está ubicada o en una nube privada virtual). En tal caso, seleccione la Pasarela Data Movement a través de la cual desea acceder a la base de datos de destino.

En función del caso de uso que precise, será la misma Pasarela Data Movement implementada para transferir los datos desde la fuente de datos u otra distinta.

Para obtener información sobre casos de uso de Pasarela Data Movement, consulte ¿Cuándo es obligatorio Pasarela Data Movement? y Casos de uso habituales.

Si es posible acceder directamente a la base de datos de destino desde Qlik Cloud, seleccione Ninguno.

Propiedades de conexión

• Servidor: nombre de host para identificar la ubicación de la base de datos de Azure Synapse Analytics.

• Puerto: el puerto de acceso a la base de datos de Azure Synapse Analytics. El valor predeterminado es 1433.

Propiedades de la cuenta

Nombre de usuario y Contraseña: el nombre de usuario y la contraseña de un usuario autorizado para acceder a la base de datos de Azure Synapse Analytics.

Propiedades de la base de datos

• Nombre de la base de datos: hay dos métodos que puede utilizar para especificar una base de datos:

  • Método 1 - Seleccionarlo de una lista: Este método requiere crear el usuario en la base de datos maestra. Haga clic en Cargar bases de datos y seleccione una base de datos.
  • Método 2 - Manualmente: seleccione Insertar el nombre de la base de datos manualmente e indique el nombre de la base de datos.

Propiedades de la carga de datos

La credencial de SQL Server puede crearse automáticamente durante el tiempo de ejecución (el valor predeterminado) o puede utilizar una credencial existente. Realice una de las siguientes acciones, según proceda:

• Cuando la casilla Crear credencial de SQL Server está seleccionada (valor por defecto) la credencial de SQL Server se creará automáticamente durante el tiempo de ejecución. Especifique su clave de acceso en el campo Clave de acceso.
• Para utilizar una credencial existente, desactive la casilla Crear credencial de SQL Server y especifique el nombre de su credencial de SQL Server en el campo Nombre de la credencial.

Nombre

El nombre que mostrará la conexión.

Requisitos previos

Permisos

Es necesario conceder tanto permisos de almacenamiento como permisos de base de datos, como se describe a continuación.

Permisos de almacenamiento

El usuario especificado en el conector de Azure Synapse Analytics debe tener los siguientes permisos de almacenamiento.

• En el contenedor ADLS Gen2 Storage: LIST
• En la carpeta ADLS Gen2 Storage: READ, WRITE y DELETE
• En la configuración de Control de acceso (IAM) para el sistema de archivos ADLS Gen2, asigne el rol “Storage Blob Data Contributor” a Data Movement gateway (AD App ID). El rol puede tardar unos minutos en surtir efecto.

Permisos en la base de datos

El usuario especificado en el conector Azure Synapse Analytics debe tener concedidos los siguientes permisos en la base de datos:

• Permisos generales:

  • db_owner role

• Permisos de tabla:

  • SELECT, INSERT, UPDATE y DELETE
  • Carga masiva
  • CREATE, ALTER, DROP (si lo requiere la definición de la tarea)

Selección de base de datos

Para poder seleccionar una base de datos (haciendo clic en Cargar bases de datos en el cuadro de diálogo del conector), el usuario especificado en la configuración del conector debe haberse creado en la base de datos maestra.

Configuración del driver o controlador

Solo se requiere un controlador si accede a la base de datos a través de Pasarela Data Movement. En tal caso, es necesario instalar el controlador en la máquina de la Pasarela Data Movement.

Puede instalar el driver usando la utilidad de instalación del driver (recomendado) o manualmente. La instalación manual solo debe intentarse en el improbable caso de que encuentre un problema con la utilidad de instalación del driver.

Uso de la utilidad de instalación del driver para instalar el driver/controlador

Esta sección describe cómo instalar el driver necesario. El proceso implica ejecutar un script que descargará, instalará y configurará automáticamente el driver requerido. También puede ejecutar secuencias de script para actualizar y desinstalar el driver según sea necesario.

Preparar la instalación

• Asegúrese de que Python 3.6 o posterior esté instalado en el servidor de la pasarela de Data Movement.

  Python viene preinstalado en la mayoría de las distribuciones de Linux. Puede verificar qué versión de Python está instalada en su sistema ejecutando el siguiente comando:

  python3 --version

Instalar el paquete de visualización driver

Para descargar e instalar el driver:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: inactive (dead) since <timestamp> ago

3. En la máquina de la puerta de enlace de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

4. Ejecute el siguiente comando:

   Sintaxis:

   ./install sqlserver

   Si no logra descargar el driver (debido a restricciones de acceso o problemas técnicos), aparecerá un mensaje indicándole dónde puede descargar el driver y dónde copiarlo en la máquina de la puerta de enlace de Data Movement. Una vez hecho esto, ejecute nuevamente el comando install sqlserver.

   De lo contrario, se mostrará el EULA del driver.

5. Puede realizar una de las acciones siguientes:

   • Pulse [Intro] repetidamente para desplazarse por el EULA.
   • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
   • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

6. Puede realizar una de las acciones siguientes:

   • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
   • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.

   • Escriba "v" y pulse [Intro] para ver el EULA de nuevo.

Se instalará el driver.

7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Actualizar el driver

Ejecute el comando de actualización si desea desinstalar versiones anteriores del driver antes de instalar el driver provisto.

Para descargar y actualizar el driver:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: inactive (dead) since <timestamp> ago

3. En la máquina de la puerta de enlace de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

4. Ejecute el siguiente comando:

   Sintaxis:

   ./update sqlserver

   Si no logra descargar el driver (debido a restricciones de acceso o problemas técnicos), aparecerá un mensaje indicándole dónde puede descargar el driver y dónde copiarlo en la máquina de la puerta de enlace de Data Movement. Una vez hecho esto, ejecute nuevamente el comando update sqlserver.

   De lo contrario, se mostrará el EULA del driver.

5. Puede realizar una de las acciones siguientes:

   • Pulse [Intro] repetidamente para desplazarse por el EULA.
   • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
   • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

6. Puede realizar una de las acciones siguientes:

   • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
   • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.
   • Escriba "v" y pulse [Intro] para ver el EULA desde el principio.

El driver anterior se desinstalará y se instalará el nuevo driver.

7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Desinstalar el driver

Ejecute el comando de desinstalación si desea desinstalar el driver.

Para desinstalar el driver:

1. Detenga todas las tareas configuradas para utilizar este conector.

2. En la máquina de la pasarela de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

3. Ejecute el siguiente comando:

   Sintaxis:

   ./uninstall sqlserver

   Se desinstalará el driver.

Instalar el controlador manualmente

Solo debe intentar instalar el driver manualmente si la instalación automática del driver no se realizó correctamente.

Debe instalar tanto un controlador ODBC como un controlador JDBC.

Instalación del controlador ODBC

Una vez que haya instalado Pasarela Data Movement, descargue el controlador msodbcsql<versión>.x86_64.rpm. Encontrará un enlace de descarga directa a la versión compatible en binary-artifacts, en /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Una vez completada la descarga, copie el RPM a la máquina de Pasarela Data Movement.

En el servidor de Data Movement gateway, abra un símbolo del shell y haga lo siguiente:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

El estado debería ser el siguiente:

Active: inactive (dead) since <timestamp> ago

3. Instale el controlador (RPM).

4. Cambie el directorio de trabajo a <product_dir>/bin.

5. Copie la ubicación del controlador en el archivo site_arep_login.sh de la siguiente manera:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Esto agregará el controlador a "LD_LIBRARY_PATH" y actualizará la ubicación del controlador en el archivo site_arep_login.sh .

6. Opcionalmente, confirme que se copió la ubicación del controlador:

   cat site_arep_login.sh

7. Inicie el servicio Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

9. Data Movement gateway requiere la siguiente biblioteca ODBC: msodbcsql-18.1.so.1.1

   Para verificar qué versión de la biblioteca está instalada actualmente, lance el siguiente comando:

   ls /opt/microsoft/msodbcsql<version>/lib64/

   Si la biblioteca existente tiene un número de versión diferente (por ejemplo, libmsodbcsql-18.0.so.1.1), debe crear un enlace simbólico entre la biblioteca actual y la biblioteca requerida.

   Para hacer esto, ejecute los siguientes comandos:

   cd /opt/microsoft/msodbcsql<version>/lib64/
   ln -s existing_library_name msodbcsql-18.1.so.1.1

   donde existing_library_name es el nombre de la biblioteca actualmente instalada (por ejemplo, libmsodbcsql-18.0.so.1.1).

Instalación del controlador JDBC

1. Descargue el archivo mssql-jdbc-<version>.jar. Encontrará un enlace de descarga directa a la versión compatible en binary-artifacts en /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Una vez completada la descarga, copie el archivo JAR a la siguiente carpeta de la máquina de Pasarela Data Movement:

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Reinicie el servicio de Pasarela Data Movement ejecutando el comando descrito en Reiniciar el servicio

Puertos

• Cuando Data Movement gateway se ejecuta en una máquina fuera de Azure: abra el puerto 1433 para la comunicación saliente.
• Cuando Data Movement gateway se ejecuta en una máquina de AzureVM: abra el puerto 1433 para la comunicación saliente:
  • 1433
  • 11000-11999
  • 14000-14999

Limitaciones y consideraciones

Al utilizar Azure Synapse Analytics como destino, debe tener en cuenta las siguientes limitaciones y consideraciones:

• Las columnas de origen con tipos de datos CHAR/VARCHAR y una intercalación no latina (por ejemplo, "Chinese_PRC_CI_AS") deben asignarse a NVARCHAR.

• Manejo de columnas de origen vacías:

  • Cuando se transfiere (mover) una columna binaria de origen (por ejemplo, VARBINARY o BLOB) con un valor vacío, Qlik Talend Data Integration inserta un NULL en la columna de destino correspondiente.

  Nota informativaLos valores vacíos no son NULL, sino datos con longitud cero.
• No se admite el Mover de registros que superen 1 MB.
• Mover de datos con caracteres emoji de 4 bytes requiere que el tipo de datos sea una cadena ancha (por ejemplo, NCHAR/NVARCHAR/NCLOB) en el destino.

Tipos de datos

La tabla siguiente muestra los tipos de datos Azure Synapse Analytics de bases de datos admitidos al utilizar Qlik Cloud y la asignación predeterminada de tipos de datos de Qlik Cloud.

La información del tipo de datos nativo se conserva y se muestra en la columna Tipo de datos nativo en las vistas de conjuntos de datos. Si la columna no está visible, debe abrir el selector de columnas de la vista del conjunto de datos y seleccionar la columna Tipo de datos nativo.