Azure Synapse Analytics

Puede usar Azure Synapse Analytics como plataforma de datos de destino en una canalización de datos. En una canalización de datos, se pueden realizar varias operaciones en la plataforma de destino, incluido el aterrizaje de datos, el almacenamiento de datos, la transformación de datos, la creación de centros de datos y el registro de datos.

Esto implica:

• Cumplir los requisitos previos
• Configurar una conexión a una zona de preparación en la nube (Azure Data Lake Storage). Esto no es necesario si está registrando datos existentes.
• Configurar una conexión a Azure Synapse Analytics

Creación de una zona de preparación en la nube

También necesita un área de preparación en la nube de Azure Data Lake Storage donde los datos y los cambios se almacenen allí antes de aplicarlos y guardarlos. Para obtener información sobre la configuración de una conexión con Azure Data Lake Storage, vea Azure Data Lake Storage.

Configuración de las propiedades de conexión de Azure Synapse Analytics

Una vez que haya proporcionado las opciones de configuración del destino de Azure Data Lake Storage, seleccione el conector con el destino Azure Synapse Analytics y facilite los siguientes ajustes:

Destino de datos

Pasarela de datos: Solo se requiere una Pasarela de datos de movimiento de datos si la base de datos de destino no está accesible desde Qlik Cloud y solo se puede acceder a ella mediante un vínculo privado (por ejemplo, si está ubicada o en una nube privada virtual). En tal caso, seleccione la Pasarela de datos de movimiento de datos a través de la cual desea acceder a la base de datos de destino.

En función del caso de uso que precise, será la misma Pasarela de datos de movimiento de datos implementada para transferir los datos desde la fuente de datos u otra distinta. Para más información sobre las posibilidades de implementación de la Pasarela de datos de movimiento de datos, vea Casos de uso habituales.

Si es posible acceder directamente a la base de datos de destino desde Qlik Cloud, seleccione Ninguno.

Propiedades de conexión

• Servidor: Nombre de host para identificar la ubicación de la base de datos de Azure Synapse Analytics.

• Puerto: El puerto a través del cual acceder a su base de datos Azure Synapse Analytics. El valor predeterminado es 1433.

Propiedades de la cuenta

User Name y Password: El nombre de usuario y la contraseña de un usuario autorizado para acceder a la base de datos de Azure Synapse Analytics.

Propiedades de la base de datos

• Nombre de la base de datos: hay dos métodos que puede utilizar para especificar una base de datos:

  • Método 1 - Seleccionarlo de una lista: Este método requiere crear el usuario en la base de datos maestra. Haga clic en Cargar bases de datos y seleccione una base de datos.
  • Método 2 - Manualmente: seleccione Insertar el nombre de la base de datos manualmente e indique el nombre de la base de datos.

Propiedades de la carga de datos

La credencial de SQL Server puede crearse automáticamente durante el tiempo de ejecución (el valor predeterminado) o puede utilizar una credencial existente. Realice una de las siguientes acciones, según proceda:

• Cuando la casilla Crear credencial de SQL Server está seleccionada (valor por defecto) la credencial de SQL Server se creará automáticamente durante el tiempo de ejecución. Especifique su clave de acceso en el campo Clave de acceso.
• Para utilizar una credencial existente, desactive la casilla Crear credencial de SQL Server y especifique el nombre de su credencial de SQL Server en el campo Nombre de la credencial.

Nombre

El nombre que mostrará la conexión.

Requisitos previos

Permisos

Es necesario conceder tanto permisos de almacenamiento como permisos de base de datos, como se describe a continuación.

Permisos de almacenamiento

El usuario especificado en el conector de Azure Synapse Analytics debe tener los siguientes permisos de almacenamiento.

• En el contenedor de almacenamiento ADLS Gen2: LIST
• En la carpeta de almacenamiento ADLS Gen2: READ, WRITE y DELETE
• En la configuración de Control de acceso (IAM) para el sistema de archivos ADLS Gen2, asigne el rol “Storage Blob Data Contributor” a Data Movement gateway (AD App ID). El rol puede tardar unos minutos en surtir efecto.

Permisos en la base de datos

El usuario especificado en el conector Azure Synapse Analytics debe tener concedidos los siguientes permisos en la base de datos:

• Permisos generales:

  • db_owner role

• Permisos de tabla:

  • SELECT, INSERT, UPDATE y DELETE
  • Carga masiva
  • CREATE, ALTER, DROP (si lo requiere la definición de la tarea)

Selección de base de datos

Para poder seleccionar una base de datos (haciendo clic en Cargar bases de datos en el cuadro de diálogo del conector), el usuario especificado en la configuración del conector debe haberse creado en la base de datos maestra.

Configuración del driver o controlador

Solo se requiere un controlador si accede a la base de datos a través de Pasarela de datos de movimiento de datos. En tal caso, es necesario instalar el controlador en la máquina de la Pasarela de datos de movimiento de datos.

Puede instalar el driver usando la utilidad de instalación del driver (recomendado) o manualmente. La instalación manual solo debe intentarse en el improbable caso de que encuentre un problema con la utilidad de instalación del driver.

Uso de la utilidad de instalación del driver para instalar el driver/controlador

Esta sección describe cómo instalar el driver necesario. El proceso implica ejecutar un script que descargará, instalará y configurará automáticamente el driver requerido. También puede ejecutar secuencias de script para actualizar y desinstalar el driver según sea necesario.

Preparar la instalación

• Asegúrese de que Python 3.6 o posterior esté instalado en el servidor de la pasarela de Movimiento de datos.

  Python viene preinstalado en la mayoría de las distribuciones de Linux. Puede verificar qué versión de Python está instalada en su sistema ejecutando el siguiente comando:

  python3 --version

Instalar el paquete de visualización driver

Para descargar e instalar el driver:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: inactive (dead) since <timestamp> ago

3. En la máquina de la puerta de enlace de Movimiento de datos, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

4. Ejecute el siguiente comando:

   Sintaxis:

   ./install sqlserver

   Si no logra descargar el driver (debido a restricciones de acceso o problemas técnicos), aparecerá un mensaje indicándole dónde puede descargar el driver y dónde copiarlo en la máquina de la puerta de enlace de Movimiento de datos. Una vez hecho esto, ejecute nuevamente el comando install sqlserver.

   De lo contrario, se mostrará el EULA del driver.

5. Puede realizar una de las acciones siguientes:

   • Pulse [Intro] repetidamente para desplazarse por el EULA.
   • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
   • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

6. Puede realizar una de las acciones siguientes:

   • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
   • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.

   • Escriba "v" y pulse [Intro] para ver el EULA de nuevo.

Se instalará el driver.

7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Actualizar el driver

Ejecute el comando de actualización si desea desinstalar versiones anteriores del driver antes de instalar el driver provisto.

Para descargar y actualizar el driver:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: inactive (dead) since <timestamp> ago

3. En la máquina de la puerta de enlace de Movimiento de datos, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

4. Ejecute el siguiente comando:

   Sintaxis:

   ./update sqlserver

   Si no logra descargar el driver (debido a restricciones de acceso o problemas técnicos), aparecerá un mensaje indicándole dónde puede descargar el driver y dónde copiarlo en la máquina de la puerta de enlace de Movimiento de datos. Una vez hecho esto, ejecute nuevamente el comando update sqlserver.

   De lo contrario, se mostrará el EULA del driver.

5. Puede realizar una de las acciones siguientes:

   • Pulse [Intro] repetidamente para desplazarse por el EULA.
   • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
   • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

6. Puede realizar una de las acciones siguientes:

   • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
   • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.
   • Escriba "v" y pulse [Intro] para ver el EULA desde el principio.

El driver anterior se desinstalará y se instalará el nuevo driver.

7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Desinstalar el driver

Ejecute el comando de desinstalación si desea desinstalar el driver.

Para desinstalar el driver:

1. Detenga todas las tareas configuradas para utilizar este conector.

2. En la máquina de la pasarela de Movimiento de datos, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

3. Ejecute el siguiente comando:

   Sintaxis:

   ./uninstall sqlserver

   Se desinstalará el driver.

Instalar el controlador manualmente

Solo debe intentar instalar el driver manualmente si la instalación automática del driver no se realizó correctamente.

Debe instalar tanto un controlador ODBC como un controlador JDBC.

Instalación del controlador ODBC

Una vez que haya instalado Pasarela de datos de movimiento de datos, descargue el controlador msodbcsql<versión>.x86_64.rpm. Encontrará un enlace de descarga directa a la versión compatible en binary-artifacts, en /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Una vez completada la descarga, copie el RPM a la máquina de Pasarela de datos de movimiento de datos.

En el servidor de Data Movement gateway, abra un símbolo del shell y haga lo siguiente:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

El estado debería ser el siguiente:

Active: inactive (dead) since <timestamp> ago

3. Instale el controlador (RPM).

4. Cambie el directorio de trabajo a <product_dir>/bin.

5. Copie la ubicación del controlador en el archivo site_arep_login.sh de la siguiente manera:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Esto agregará el controlador a "LD_LIBRARY_PATH" y actualizará la ubicación del controlador en el archivo site_arep_login.sh .

6. Opcionalmente, confirme que se copió la ubicación del controlador:

   cat site_arep_login.sh

7. Inicie el servicio Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

9. Data Movement gateway requiere la siguiente biblioteca ODBC: msodbcsql-18.1.so.1.1

   Para verificar qué versión de la biblioteca está instalada actualmente, lance el siguiente comando:

   ls /opt/microsoft/msodbcsql<version>/lib64/

   Si la biblioteca existente tiene un número de versión diferente (por ejemplo, libmsodbcsql-18.0.so.1.1), debe crear un enlace simbólico entre la biblioteca actual y la biblioteca requerida.

   Para hacer esto, ejecute los siguientes comandos:

   cd /opt/microsoft/msodbcsql<version>/lib64/
   ln -s existing_library_name msodbcsql-18.1.so.1.1

   donde existing_library_name es el nombre de la biblioteca actualmente instalada (por ejemplo, libmsodbcsql-18.0.so.1.1).

Instalación del controlador JDBC

1. Descargue el archivo mssql-jdbc-<version>.jar. Encontrará un enlace de descarga directa a la versión compatible en binary-artifacts en /opt/qlik/gateway/movement/drivers/manifests/sqlserver.yaml. Una vez que se complete la descarga, copie el archivo JAR a la siguiente carpeta de la máquina de Pasarela de datos de movimiento de datos:

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Reinicie el servicio de Pasarela de datos de movimiento de datos ejecutando el comando descrito en Reiniciar el servicio

Puertos

• Cuando Data Movement gateway se ejecuta en una máquina fuera de Azure: abra el puerto 1433 para la comunicación saliente.
• Cuando Data Movement gateway se ejecuta en una máquina de AzureVM: abra el puerto 1433 para la comunicación saliente:
  • 1433
  • 11000-11999
  • 14000-14999

Limitaciones y consideraciones

Al utilizar Azure Synapse Analytics como destino, debe tener en cuenta las siguientes limitaciones y consideraciones:

• Las columnas de origen con tipos de datos CHAR/VARCHAR y una intercalación no latina (por ejemplo, "Chinese_PRC_CI_AS") deben asignarse a NVARCHAR.

• Manejo de columnas de origen vacías:

  • Cuando se transfiere (aterrizaje) una columna binaria de origen (por ejemplo, VARBINARY o BLOB) con un valor vacío, Data Movement gateway inserta un NULL en la columna de destino correspondiente.

  Nota informativaLos valores vacíos no son NULL, sino datos con longitud cero.
• No se admite el Aterrizaje de registros que superen 1 MB.
• Aterrizaje de datos con caracteres emoji de 4 bytes requiere que el tipo de datos sea una cadena ancha (por ejemplo, NCHAR/NVARCHAR/NCLOB) en el destino.

Tipos de datos

La tabla siguiente muestra los tipos de datos Azure Synapse Analytics de bases de datos admitidos al utilizar Qlik Cloud y la asignación predeterminada de tipos de datos de Qlik Cloud.

La información del tipo de datos nativo se conserva y se muestra en la columna Tipo de datos nativo en las vistas de conjuntos de datos. Si la columna no está visible, debe abrir el selector de columnas de la vista del conjunto de datos y seleccionar la columna Tipo de datos nativo.