Actualizar y desinstalar Pasarela de datos de movimiento de datos

Mejoras

• Recuperación paralela de metadatos

  Se ha añadido la posibilidad de recuperar simultáneamente los metadatos de varias tablas.

• Mejoras en el rendimiento de la supervisión

  La información de supervisión de las tareas de aterrizaje y replicación se actualizará ahora cada 10 segundos (en lugar de cada 60 segundos), lo que proporciona una indicación más precisa de su estado actual.

• Incorporada una nueva región

  Japón ahora es compatible como región inquilina en Qlik Cloud.

Problemas resueltos

• El intervalo de reintentos entre la pasarela de datos y Qlik Cloud aumentaba continuamente, pero nunca se restablecía (a menos que se reiniciara el servicio).
• Al mover datos desde una fuente de aplicación SaaS, las tablas a veces entraban en un estado de error durante la recarga.

• Las tareas con una fuente MySQL a veces fallaban con el siguiente error durante el CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Anteriormente, los eventos de auditoría de CDC solo se registraban para las tareas de aterrizaje. Ahora, también se registrarán para las tareas de replicación.
• Al trasladar datos desde SQL Server (MS-CDC), las tareas con numerosas tablas tardaban a veces varias horas en iniciarse.

• Cuando la tabla de origen contenía columnas CLOB y el valor «Limitar tamaño LOB» superaba 10240, la replicación a Snowflake fallaba con el siguiente error:

  Invalid character length: 0

Soporte para instalar Pasarela de datos de movimiento de datos en Red Hat 9.x

Los clientes ya pueden instalar Pasarela de datos de movimiento de datos en Red Hat 9.x o en cualquier distribución de Linux correspondiente y compatible.

Configuración de Pasarela de datos de movimiento de datos

Cambios en los comandos de servicio de Pasarela de datos de movimiento de datos

Los comandos para detener, iniciar y comprobar el estado del servicio de Pasarela de datos de movimiento de datos han cambiado.

Comandos de servicio de Pasarela de datos de movimiento de datos

Cambios en la asignación de tipos de datos de Amazon Redshift

• El tipo de datos BOOLEAN, que se asignaba a VARCHAR(1) en Amazon Redshift, ahora se asignará a BOOLEAN.
• Los tipos de datos BYTES y BLOB, que se asignaban a VARCHAR(1) en Amazon Redshift, ahora se asignarán a VARBINARY (longitud).

Nuevas bases de datos, versiones de bases de datos y versiones de controladores compatibles

Esta sección detalla las nuevas bases de datos compatibles, las versiones de las bases de datos y las versiones de los controladores.

• Nuevas versiones y ediciones de fuentes de datos compatibles

  Ahora se admiten las siguientes versiones de fuentes de datos:

  • Azure Database for MySQL - Flexible Server (Compatible a través del conector de origen MySQL)
  • MariaDB 10.4 - 10.11 (anteriormente 10.4 y 10.5)

• Nuevas plataformas y ediciones de datos de destino compatibles

  Ahora se admiten las siguientes versiones de destino de datos:

  • Azure Database for MySQL - Flexible Server (Compatible a través del conector de destino MySQL)
  • Databricks: Databricks 13.3 LTS y Serverless SQL Warehouse

• Nueva versión del controlador SAP HANA compatible

  Los clientes con una fuente SAP HANA que deseen instalar Pasarela de datos de movimiento de datos en Red Hat Linux 9.x, deben instalar SAP HANA ODBC 64-bit Driver versión 2.0.19 o posterior.

Versiones de bases de datos que han dejado de ser compatibles

Esta sección ofrece información sobre las versiones de bases de datos que ya no son compatibles.

• Se ha interrumpido la compatibilidad con las siguientes versiones de fuentes de datos:

  • Oracle 11.x
  • SAP HANA 1.0

Problemas resueltos

• Instalar Pasarela de datos de movimiento de datos sin proporcionar una contraseña de servidor no permitiría configurar las URL del espacio inquilino y del proxy en un solo comando.
• Mover datos desde una fuente de datos de Salesforce (aplicación SaaS) imprimiría un gran número de advertencias redundantes, lo que afectaría al rendimiento de la carga de datos.
• Al recuperar cambios para una fuente de datos de aplicación SaaS, si se producía un error al recuperar cambios para una de las tablas, dicha tabla se suspendía y se eliminaba de la canalización. Ahora, al encontrar un error, la tarea intentará recuperar los cambios hasta por tres veces antes de suspender la tabla.

Nuevos destinos en lagos de datos para proyectos de replicación

Seguimos ampliando los destinos compatibles con el proyecto de replicación en Qlik Cloud Integración de datos. Además de Amazon S3, ahora puede elegir Azure Data Lake Storage (ADLS) y Google Cloud Storage (GCS) para entregas en lago de datos, como formatos de archivos Parquet, JSON o CSV.

Problemas resueltos:

• Conector de origen IBM DB2 para LUW

  La conexión a IBM DB2 para LUW solía fallar cuando el tamaño de los archivos necesarios para la conexión (como el certificado de cliente SSL y el archivo de almacén de claves) excedía los 4 KB.

• Controlador para conectores de origen IBM DB2 para LUW e IBM DB2 para z/OS

  La instalación del controlador DB2 fallaba al utilizar la utilidad de instalación del controlador.

Compatibilidad con Microsoft Fabric como objetivo de canalización de datos

Microsoft Fabric se une a la lista cada vez mayor de almacenes de datos que pueden usarse como objetivos en proyectos de canalización de datos.

Problemas resueltos:

Se actualizó la versión del controlador Snowflake en la utilidad de instalación del controlador.

Mayor compatibilidad con conexiones privadas

Se puede utilizar una conexión privada para garantizar que el tráfico de datos siga siendo seguro y conforme a las normas. Simplifica tanto la gestión de la red como la seguridad de su nube privada virtual VPC (Virtual Private Cloud) sin necesidad de abrir puertos de cortafuegos de entrada, dispositivos proxy o tablas de enrutamiento. Qlik Cloud Data Integration ya admite conexiones privadas a objetivos de canalización de datos Snowflake, Microsoft SQL Server y Amazon S3. Con esta versión, los clientes pueden utilizar además conexiones privadas al trasladar datos a Databricks, Microsoft Azure Synapse, Google BigQuery y Amazon Redshift.

Fuentes de datos basadas en PostgreSQL

• Todas las fuentes de datos basadas en PostgreSQL: compatibilidad con tipos de datos multirrango: Los siguientes tipos de datos multirrango ahora son compatibles con todas las fuentes de datos basadas en PostgreSQL (locales y en la nube).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Fuente de datos de AWS Aurora Cloud para PostgreSQL: compatibilidad con roles de no superusuario: El usuario especificado en el conector PostgreSQL ya no necesita tener el rol de superusuario para trasladar datos desde una fuente de datos de AWS Aurora Cloud para PostgreSQL. Esto es especialmente útil para organizaciones con políticas de seguridad corporativas que les impiden conceder acceso de superusuario a usuarios sin privilegios.

Fuente de datos Microsoft Azure SQL (MS-CDC): Compatibilidad con la replicación geográfica

Los clientes que trasladan datos desde una fuente de datos Microsoft Azure SQL (MS-CDC) ahora pueden utilizar una base de datos Geo Replica.

Fuente de datos Oracle: Compatibilidad con HSM (módulo de seguridad de hardware)

Qlik Cloud Integración de datos ahora admite la lectura de datos de espacios de tablas y columnas cifradas de Oracle durante CDC.

Nuevas regiones compatibles

Qlik Cloud Integración de datos ahora admite espacios empresariales inquilinos en las regiones de Alemania y Reino Unido.

Nuevas versiones compatibles y software de terceros

Esta sección enumera las versiones de controladores y bases de datos recientemente admitidas.

• Compatibilidad con más versiones de fuentes de datos. Ahora se admiten las siguientes versiones de fuentes de datos:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (cuando se trabaja con IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Compatibilidad con más versiones de plataformas de datos de destino. Ahora se admiten las siguientes versiones de destino de datos:

  • Databricks (almacenamiento en la nube): Databricks 12.2 LTS y Databricks SQL Serverless

• Versiones de controladores. Ahora se admiten las siguientes versiones del controlador ODBC:

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ e IBM DB2 for LUW
  • Simba ODBC driver 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64-bit 8.0.32

Controlador de Microsoft SQL Server: actualización requerida

Los clientes que transfieren datos hacia o desde Microsoft SQL Server deben actualizar la versión del controlador ODBC de SQL Server a 18.x o posterior. Tenga en cuenta que continuar utilizando el controlador ODBC de SQL Server 17.x puede generar errores de datos. La actualización del controlador se puede realizar utilizando la utilidad de instalación del controlador o manualmente. Para ver instrucciones, consulte la Configuración del controlador.

Versiones de bases de datos que han dejado de ser compatibles

Esta sección ofrece información sobre las versiones de bases de datos que ya no son compatibles.

• Versiones de fuentes de datos que han dejado de ser compatibles. Se ha interrumpido la compatibilidad con las siguientes versiones de fuentes de datos:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versiones de plataformas de datos de destino que han dejado de ser compatibles. Se ha interrumpido la compatibilidad con las siguientes versiones de destino de datos:

  • Databricks 9.1 LTS

2022.11.74

15 de agosto de 2023

Soporte a la replicación

Adoptamos un enfoque centrado en la nube que permite una rápida innovación y adopción. Sin embargo, eso no significa que estemos únicamente en la nube. Como parte de nuestro compromiso continuo de mejorar el valor a largo plazo que aportamos a nuestros clientes, nos complace anunciar el lanzamiento de un nuevo caso de uso de Replication al crear proyectos de datos. El nuevo caso de uso de Replication se suma a la capacidad que ya ofrecemos de crear canalizaciones de datos para todas sus necesidades de integración de datos, como la modernización de los almacenes de datos.

El proyecto de replicación admite la replicación de datos en tiempo real desde orígenes de datos admitidos a un destino admitido.

A partir de esta última versión, el primer objetivo que admite la replicación de datos en tiempo real es Microsoft SQL Server. Además de admitir Microsoft SQL Server en las instalaciones, también se admiten los siguientes proveedores de nube:

• Locales
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance y Microsoft Azure Database)

Objetivo de Microsoft Azure Synapse Analytics: se requiere actualización del controlador

Los clientes que transfieren datos a Microsoft Azure Synapse Analytics deben actualizar su versión del controlador ODBC de SQL Server a 18.x o posterior. Tenga en cuenta que continuar utilizando el controlador ODBC de SQL Server 17.x puede generar errores de datos. La actualización del controlador se puede realizar utilizando la utilidad de instalación del controlador o manualmente. Para ver instrucciones, consulte la Configuración del controlador.

Nueva opción "Cargar datos de fuente" para fuentes de aplicaciones SaaS

Se ha incorporado una nueva opción Cargar datos de fuente, que permite a los clientes leer sus datos directamente de la fuente de origen durante una Carga completa, en lugar de utilizar los datos almacenados en caché.

Para más información sobre esta opción, incluidos los casos de uso, vea Configuraciones de aterrizaje en destino.

Certificados de CA actualizados

Pasarela de datos de movimiento de datos 2022.11.74 incluye certificados de CA actualizados, que son necesarios para autenticar el espacio empresarial inquilino de Qlik Cloud. Los certificados de CA actualizados también brindan soporte para las regiones de Irlanda y Fráncfort. Por lo tanto, los clientes con espacios empresariales inquilinos de Qlik Cloud en Irlanda o Fráncfort que deseen utilizar Qlik Cloud Data Integration deben actualizar a esta versión.

Problema resuelto

Las tareas que transferían datos de una fuente de Oracle a veces fallaban cuando una tabla ancha contenía columnas sin usar o no compatibles, o columnas LOB que no estaban replicadas.

2022.11.70

28 de junio de 2023

Utilidad de instalación de controladores mejorada para clientes SAP

En versiones anteriores, los clientes necesitaban ejecutar el comando "source arep_login.sh" al instalar clientes SAP. A partir de esta versión, ya no es necesario ejecutar este comando.

Certificados de CA actualizados

Esta versión incluye certificados de CA actualizados, que son necesarios para autenticar el espacio empresarial inquilino de Qlik Cloud.

Problemas resueltos

• Cuando una tarea de replicación en Pasarela de datos de movimiento de datos falla y se recupera automáticamente, el estado recuperado no se comunica al activo de datos de ubicación de destino en Qlik Cloud.

• El cifrado de extremo a extremo para Pasarela de datos de movimiento de datos no estaba habilitado de forma predeterminada y era controlado por indicadores de tiempo de ejecución.

2022.11.63

2 de mayo de 2023

Utilidad de instalación de controladores

Esta versión incluye una utilidad de instalación de controladores que elimina la necesidad de instalar y configurar los controladores manualmente. La nueva utilidad acorta el proceso de instalación y reduce significativamente la posibilidad de error del usuario. Cuando se ejecuta la utilidad, el controlador requerido se descarga automáticamente, si es posible, y se instala. Si el controlador no se puede descargar (los controladores DB2 requieren inicio de sesión, por ejemplo), todo lo que necesita hacer es descargar el controlador, copiarlo en una carpeta específica en la máquina de la pasarela de movimiento de datos y ejecutar la utilidad.

Para ver un ejemplo del uso de la utilidad de instalación de controladores para instalar un controlador PostgreSQL, vea Requisitos previos

Plataforma de datos en la nube de Snowflake

El conector Snowflake ahora admite caracteres emoji de 4 bytes.

Compatibilidad con Azure Database for PostgreSQL: servidor flexible como fuente de datos

El conector de PostgreSQL ahora puede mover datos de Azure Database for PostgreSQL: servidor flexible.

Compatibilidad con Cloud SQL para PostgreSQL como fuente de datos

El conector de PostgreSQL ahora puede mover datos de Cloud SQL para PostgreSQL.

Compatibilidad con versiones de orígenes de datos

Esta versión ahora es compatible con las siguientes versiones nuevas de fuentes de datos:

• PostgreSQL 14
• DB2 (para IBM DB2 para z/OS) 12.1
• IBM DB2 para z/OS 2.5

Compatibilidad con versiones de plataformas de datos

Databricks 11.3 LTS

Se ha discontinuado el soporte para las siguientes versiones de fuentes de datos

Las siguientes versiones de fuentes de datos ya no son compatibles:

• DB2 (para IBM DB2 para z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemas resueltos

Esta versión resuelve los siguientes problemas:

• Fuente de datos Oracle: Al detener y reanudar una tarea, la tarea a veces fallaba con el error: "Error al establecer la posición de la transmisión en el contexto".
• Fuente SAP Application: Los cambios no se capturaban durante la tarea de ubicación de destino.