Microsoft Fabric

Puede usar Microsoft Fabric como plataforma de datos de destino en una canalización de datos o en una tarea de replicación. En una canalización de datos, se pueden realizar varias operaciones ELT en la plataforma de destino, incluido el almacenamiento de datos, la transformación de datos, la creación de mercados de datos y el registro de datos. Una tarea de replicación, por otro lado, implica la replicación de datos directamente desde un sistema de origen a un sistema de destino con capacidades de transformación básicas, pero sin soporte para operaciones ELT.

Establecer Microsoft Fabric como objetivo implica:

• Cumplir los requisitos previos
• Configurar una conexión a una zona de preparación en la nube (Azure Data Lake Storage). Esto no es necesario si está registrando datos existentes.
• Configurar una conexión a Microsoft Fabric

Creación de una zona de preparación en la nube

También necesita un área de preparación en la nube de Azure Data Lake Storage donde los datos y los cambios se almacenen allí antes de aplicarlos y guardarlos. Para obtener información sobre la configuración de una conexión con Azure Data Lake Storage, vea Azure Data Lake Storage.

Configurar las propiedades de la conexión de Microsoft Fabric

Una vez que haya proporcionado la configuración de destino de Azure Data Lake Storage, haga lo siguiente:

1. En Conexiones, haga clic en Crear conexión.

2. Seleccione el conector de destino Microsoft Fabric y luego proporcione la siguiente configuración:

Destino de datos

Pasarela de datos

Solo se requiere una Pasarela Data Movement si la base de datos de destino no está accesible desde Qlik Cloud y solo se puede acceder a ella mediante un vínculo privado (por ejemplo, si está ubicada o en una nube privada virtual). En tal caso, seleccione la Pasarela Data Movement a través de la cual desea acceder a la base de datos de destino.

En función del caso de uso que precise, será la misma Pasarela Data Movement implementada para transferir los datos desde la fuente de datos u otra distinta.

Para obtener información sobre casos de uso de Pasarela Data Movement, consulte ¿Cuándo es obligatorio Pasarela Data Movement? y Casos de uso habituales.

Si es posible acceder directamente a la base de datos de destino desde Qlik Cloud, seleccione Ninguno.

Propiedades de conexión

• Servidor: El nombre del servidor Microsoft Fabric Data Warehouse que está utilizando.

Propiedades de la cuenta

Método de autenticación: Seleccione una de las siguientes opciones:

• Azure Active Directory Service Principal

  Luego proporcione su ID de cliente y Secreto de cliente en los campos designados.

• Azure Active Directory User Principal

  Luego proporcione un Nombre de usuario y Contraseña en los campos designados.

Propiedades de la base de datos

• Nombre de la base de datos: hay dos métodos que puede utilizar para especificar una base de datos:

  • Método 1 - Seleccionarlo de una lista: haga clic en Cargar bases de datos y seleccione una base de datos.
  • Método 2 - Manualmente: seleccione Insertar el nombre de la base de datos manualmente e indique el nombre de la base de datos.

Carga de datos

• SAS token: El token de SAS que utilizará Microsoft Fabric para acceder a la cuenta de almacenamiento ADLS. Esto no es necesario si está registrando datos existentes.

Nombre

El nombre que mostrará la conexión.

Requisitos previos

Permisos en la base de datos

Al usuario/principal de servicio de Azure Active Directory especificado en la sección ODBC Access de la configuración de Microsoft Fabric conector se le debe otorgar el rol de Colaborador.

Configuración del driver o controlador

Solo se requiere un controlador si accede a la base de datos a través de Pasarela Data Movement. En tal caso, es necesario instalar el controlador en la máquina de la Pasarela Data Movement.

Puede instalar el driver usando la utilidad de instalación del driver (recomendado) o manualmente. La instalación manual solo debe intentarse en el improbable caso de que encuentre un problema con la utilidad de instalación del driver.

Uso de la utilidad de instalación del driver para instalar el driver/controlador

Esta sección describe cómo instalar el driver necesario. El proceso implica ejecutar un script que descargará, instalará y configurará automáticamente el driver requerido. También puede ejecutar secuencias de script para actualizar y desinstalar el driver según sea necesario.

Preparar la instalación

• Asegúrese de que Python 3.6 o posterior esté instalado en el servidor de la pasarela de Data Movement.

  Python viene preinstalado en la mayoría de las distribuciones de Linux. Puede verificar qué versión de Python está instalada en su sistema ejecutando el siguiente comando:

  python3 --version

Instalar el paquete de visualización driver

Para descargar e instalar el driver:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: inactive (dead) since <timestamp> ago

3. En la máquina de la puerta de enlace de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

4. Ejecute el siguiente comando:

   Sintaxis:

   ./install fabric

   Si no logra descargar el driver (debido a restricciones de acceso o problemas técnicos), aparecerá un mensaje indicándole dónde puede descargar el driver y dónde copiarlo en la máquina de la puerta de enlace de Data Movement. Una vez hecho esto, ejecute nuevamente el comando install fabric.

   De lo contrario, se mostrará el EULA del driver.

5. Puede realizar una de las acciones siguientes:

   • Pulse [Intro] repetidamente para desplazarse por el EULA.
   • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
   • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

6. Puede realizar una de las acciones siguientes:

   • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
   • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.

   • Escriba "v" y pulse [Intro] para ver el EULA de nuevo.

Se instalará el driver.

7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Actualizar el driver

Ejecute el comando de actualización si desea desinstalar versiones anteriores del driver antes de instalar el driver provisto.

Para descargar y actualizar el driver:

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: inactive (dead) since <timestamp> ago

3. En la máquina de la puerta de enlace de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

4. Ejecute el siguiente comando:

   Sintaxis:

   ./update fabric

   Si no logra descargar el driver (debido a restricciones de acceso o problemas técnicos), aparecerá un mensaje indicándole dónde puede descargar el driver y dónde copiarlo en la máquina de la puerta de enlace de Data Movement. Una vez hecho esto, ejecute nuevamente el comando update fabric.

   De lo contrario, se mostrará el EULA del driver.

5. Puede realizar una de las acciones siguientes:

   • Pulse [Intro] repetidamente para desplazarse por el EULA.
   • Pulse la barra espaciadora repetidamente para desplazarse rápidamente por el EULA.
   • Pulse q para salir del texto de la licencia y ver las opciones de aceptación del EULA.

6. Puede realizar una de las acciones siguientes:

   • Escriba "y" y pulse [Intro] para aceptar el EULA y comenzar la instalación.
   • Escriba "n" y pulse [Intro] para rechazar el EULA y salir de la instalación.
   • Escriba "v" y pulse [Intro] para ver el EULA desde el principio.

El driver anterior se desinstalará y se instalará el nuevo driver.

7. Espere a que termine la instalación (indicado mediante la palabra "Completado") y luego inicie el servicio de Data Movement gateway:

   sudo systemctl start repagent

8. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Desinstalar el driver

Ejecute el comando de desinstalación si desea desinstalar el driver.

Para desinstalar el driver:

1. Detenga todas las tareas configuradas para utilizar este conector.

2. En la máquina de la pasarela de Data Movement, cambie el directorio de trabajo a:

   opt/qlik/gateway/movement/drivers/bin

3. Ejecute el siguiente comando:

   Sintaxis:

   ./uninstall fabric

   Se desinstalará el driver.

Instalar el controlador manualmente

Solo debe intentar instalar el driver manualmente si la instalación automática del driver no se realizó correctamente.

Debe instalar tanto un controlador ODBC como un controlador JDBC.

Instalación del controlador ODBC

Una vez que haya instalado Pasarela Data Movement, descargue el controlador msodbcsql<versión>.x86_64.rpm. Encontrará un enlace de descarga directa a la versión compatible en binary-artifacts, en /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml. Una vez completada la descarga, copie el RPM a la máquina de Pasarela Data Movement.

1. Detenga el servicio Data Movement gateway:

   sudo systemctl stop repagent

2. Opcionalmente, confirme que el servicio se ha detenido:

   sudo systemctl status repagent

El estado debería ser el siguiente:

Active: inactive (dead) since <timestamp> ago

3. Instale el controlador en la máquina de Data Movement gateway.

4. Copie la ubicación del controlador en el archivo site_arep_login.sh de la siguiente manera:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Ejemplo:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql17/lib64/" >> site_arep_login.sh

   Esto agregará el controlador a "LD_LIBRARY_PATH" y actualizará la ubicación del controlador en el archivo site_arep_login.sh .

5. Opcionalmente, confirme que se copió la ubicación del controlador:

   cat site_arep_login.sh

6. Inicie el servicio Data Movement gateway:

   sudo systemctl start repagent

7. Opcionalmente, confirme que el servicio se ha iniciado:

   sudo systemctl status repagent

   El estado debería ser el siguiente:

   Active: active (running) since <timestamp> ago

Instalación del controlador JDBC

1. Descargue los archivos JAR disponibles en binary-artifacts, en /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml: Luego copie los archivos a la siguiente carpeta en la máquina de Pasarela Data Movement:

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Reinicie el servicio de Pasarela Data Movement ejecutando el comando descrito en Reiniciar el servicio

Puertos

Abra el puerto 1433 para comunicación saliente.

Limitaciones y consideraciones

Las siguientes operaciones no se admiten y no se aplicarán al destino:

• Renombrar columna (RENAME column)
• Añadir/Soltar/Alterar columna (ADD/DROP/ALTER column)

No se admiten las columnas BLOB y BYTES. Si sus tablas de origen contienen columnas con estos tipos de datos, puede usar una transformación para convertirlas a STRING o excluirlas de la replicación.

Tipos de datos

La tabla siguiente muestra los tipos de datos Microsoft Fabric de bases de datos admitidos al utilizar Qlik Cloud y la asignación predeterminada de tipos de datos de Qlik Cloud.

La información del tipo de datos nativo se conserva y se muestra en la columna Tipo de datos nativo en las vistas de conjuntos de datos. Si la columna no está visible, debe abrir el selector de columnas de la vista del conjunto de datos y seleccionar la columna Tipo de datos nativo.