Actualizar y desinstalar Pasarela Data Movement

Esta versión resuelve los siguientes problemas:

Fuente Oracle

• Al utilizar el evento Rehacer 11.22, se podían producir fallos de INSERT al procesar múltiples INSERT en una página comprimida que no estaba comprimida antes de los INSERT.
• En casos excepcionales, el análisis incorrecto de eventos DELETE en el registro de rehacer generaba una advertencia: "El evento DELETE del registro de rehacer contiene una estructura desconocida" seguida de varios problemas.

Origen: SAP Extractor

Las instrucciones del archivo YAML se han actualizado para reflejar la versión correcta del conector SAP Java.

Destino de Snowflake

Al utilizar la pasarela Data Movement Gateway para conectarse al destino de Snowflake a través de un proxy, la conexión fallaba con el siguiente error:

500 Failed to connect to Data Movement Gateway

Problemas resueltos

• Fuente Oracle

  • A veces se producían fallos en múltiples operaciones INSERT cuando se usaba el evento Rehacer 11.22.

  • Tras actualizar Oracle 19g al parche de Julio 2024, a veces no se capturaban las operaciones de actualización UPDATE y se mostraba la siguiente advertencia:

    A compressed row cannot be parsed

• Destino Snowflake

  Al configurar los parámetros de la tarea para crear el esquema de la tabla de control, la tarea daba el siguiente error:

  Failed to delete directory

• CDC programado

  Cuando una tarea estaba programada para ejecutarse periódicamente, a veces daba el siguiente error:

  The task stopped abnormally

• Tareas de transformación y almacenamiento atascadas.

  Las tareas de transformación y almacenamiento en ocasiones permanecían en cola por un período de tiempo excesivamente largo.

• Gestor de metadatos

  Las tareas fallaban al usar el indicador de función use_manipulation_pk_for_apply con la replicación Almacenar cambios.

• El tiempo de espera prolongado provoca problemas con fuentes de aplicaciones SaaS.

  Se ha ampliado el tiempo de espera de S3 a 6 horas para evitar problemas derivados de tiempos de espera prolongados, como la pérdida del token para descargar los archivos.

Mejoras

• Se ha agregado la autenticación mediante par de claves al conector del objetivo en Snowflake.

  El par de claves proporciona un método de autenticación más robusto que el de usuario y contraseña para conectarse a Snowflake con sus cuentas de servicio. Este enfoque se recomienda para cargas de trabajo como la carga de datos (tareas de replicación o aterrizaje de datos) y transformaciones.

• Recuperar metadatos de múltiples tablas en paralelo.

  En versiones anteriores, al actualizar los metadatos de un conjunto de datos previo o recién añadido, a veces se producía un error. Esta mejora garantiza que se puedan recuperar metadatos de múltiples tablas en paralelo sin ningún problema.

Problemas resueltos

• Tipo de datos DECIMAL asociado erróneamente a STRING en Google BigQuery.

  Cuando una tabla de origen contenía una columna con un tipo de datos DECIMAL, por ejemplo, DECIMAL (38, 20), la preparación de la tarea de almacenamiento en Google BigQuery fallaba con el siguiente error (extracto):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  El problema se ha resuelto asignando el tipo de datos DECIMAL de origen a DECIMAL en Google BigQuery.

• Error de regla de esquema

  Después de realizar cambios en una regla de un esquema existente en una tarea de datos, se produciría el siguiente error:

  QRI SQL error not implemented

• Tabla /QTQVC/QRI ausente del transporte SAP

  Al preparar una tarea de ubicación de destino que se conectaba a una fuente de aplicación SAP, la tarea se completaba con éxito, pero se informaba del siguiente error en el archivo de registro repsrv.log:

  Invalid object name 'hk1./QTQVC/QRI'

Mejoras

• Compatibilidad con cambios de metadatos en tareas de replicación y aterrizaje de lagos (lake) sin necesidad de soltar y volver a crear todas las tablas

  Antes, cuando se producía un cambio en los metadatos, todas las tablas se eliminaban y se volvían a crear aunque el cambio de metadatos no afectara a todas las tablas. Ahora, solo se eliminan y se vuelven a crear las tablas modificadas, lo que mejora el rendimiento.

• Compatibilidad con la carga automática de nuevas tablas en tareas de replicación

  Las tablas creadas en la base de datos de origen durante la tarea de replicación de datos que coincidan con el patrón de inclusión, ahora se capturarán automáticamente durante la captura de datos de cambios (CDC).

• Mejoras del origen Microsoft SQL Server (MS-CDC)

  • Preservación de la marca de tiempo y del ID de transacción

    Antes, al leer varias transacciones de Microsoft SQL Server (MS-CDC), Qlik Talend Data Integration solo conservaba el ID de transacción y la marca de tiempo de la primera transacción. En el destino, esto daba la apariencia de que los registros formaban parte de una única transacción. Ahora, Qlik Talend Data Integration conserva el ID de transacción original y la marca de tiempo de cada registro individual. Esto beneficia a los clientes que desean aprovechar las columnas de cabecera ID de transacción y Marca de tiempo en las tablas de cambios.

  • Orden de bytes de ID de transacción

    Antes, los bytes del identificador de transacción se codificaban en orden inverso. A partir de esta versión, los bytes se codifican en el orden correcto. Los clientes de información que prefieran conservar el comportamiento existente pueden hacerlo utilizando parámetros internos. Para obtener más información, contacte con el soporte técnico de Qlik.

• Compatibilidad del almacenamiento en caché de la autenticación conectable SHA-2 con MySQL

  Qlik Talend Data Integration ahora admite el almacenamiento en caché de la autenticación conectable SHA-2 (caching_sha2_password) cuando se trabaja con fuentes o destinos MySQL, ya sea en las instalaciones o en la nube. En versiones anteriores, solo se admitía la autenticación conectable nativa (mysql_native_password).

• Cambios en la asignación de tipos de datos de Amazon Redshift

  Los tipos de datos BYTES y BLOB se asociarán ahora a VARBYTE en Amazon Redshift en lugar de a VARCHAR.

Plataformas, puntos de conexión y versiones de reciente certificación

• Fuentes de datos

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 para z/OS 3.1

• Plataformas de destino

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Controladores

  • Controlador SQL Server ODBC 18.3

Finalización del soporte

Se ha interrumpido la compatibilidad con las siguientes versiones de bases de datos:

• Todas las versiones y controladores de Oracle anteriores a Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 para LUW 10.5
• IBM DB2 para z/OS: z/OS 2.3

Problemas resueltos

• Fuente SAP (aplicación)

  Cuando un cambio de documento de clúster capturado borraba todas las filas de todas sus tablas capturadas, se producía una operación DELETE no realizada y se encontraban mensajes de aserción innecesarios.

• Vulnerabilidad de seguridad

  Actualizada Microsoft Authentication Library para Java (MSAL4J) y Bouncy Castle a versiones sin vulnerabilidades conocidas.

• Destino de Snowflake

  • La tarea fallaba a veces cuando se utilizaba el almacenamiento interno Snowflake.
  • La tarea fallaba cuando el nombre del esquema de destino era Katakana japonés.

• Fuente Oracle

  Al reanudar una tarea con una fuente Oracle, la tarea continuaba esperando un registro de rehacer activado borrado en lugar de fallar con un error apropiado.

Mejoras

• Esquema de metadatos de Snowflake

  A partir de esta versión, se creará el esquema de metadatos de Snowflake (para archivos preparados) si no existe.

Problemas resueltos

• Tras realizar un cambio en una regla de Renombrar conjunto de datos (que concatenaba el nombre de la tabla con el nombre del esquema) y agregarse una vista a la tarea de aterrizaje, la operación Preparar fallaba con el siguiente error:

  QRI SQL error not implemented.

• Se actualizó el componente java_file_factory a una versión sin vulnerabilidades conocidas.
• Se actualizó org.postgresql:postgresql a una versión sin vulnerabilidades conocidas.
• Al mover datos a SQL Server, la operación de preparación fallaba cuando los nombres de índice excedían los 128 caracteres. El problema se resolvió modificando la lógica para crear nombres de índice más cortos.

• Al mover datos desde SQL Server, un nombre de columna que faltaba en las definiciones de la tabla ocasionaba un bucle de notificación infinito en el archivo repsrv.log, dando el siguiente mensaje:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Mejoras

• Recuperación paralela de metadatos

  Se ha añadido la posibilidad de recuperar simultáneamente los metadatos de varias tablas.

• Mejoras en el rendimiento de la supervisión

  La información de supervisión de las tareas de aterrizaje y replicación se actualizará ahora cada 10 segundos (en lugar de cada 60 segundos), lo que proporciona una indicación más precisa de su estado actual.

• Incorporada una nueva región

  Japón ahora es compatible como región inquilina en Qlik Cloud.

Problemas resueltos

• El intervalo de reintentos entre la pasarela de datos y Qlik Cloud aumentaba continuamente, pero nunca se restablecía (a menos que se reiniciara el servicio).
• Al mover datos desde una fuente de aplicación SaaS, las tablas a veces entraban en un estado de error durante la recarga.

• Las tareas con una fuente MySQL a veces fallaban con el siguiente error durante el CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Anteriormente, los eventos de auditoría de CDC solo se registraban para las tareas de aterrizaje. Ahora, también se registrarán para las tareas de replicación.
• Al trasladar datos desde SQL Server (MS-CDC), las tareas con numerosas tablas tardaban a veces varias horas en iniciarse.

• Cuando la tabla de origen contenía columnas CLOB y el valor «Limitar tamaño LOB» superaba 10240, la replicación a Snowflake fallaba con el siguiente error:

  Invalid character length: 0

Soporte para instalar Pasarela Data Movement en Red Hat 9.x

Los clientes ya pueden instalar Pasarela Data Movement en Red Hat 9.x o en cualquier distribución de Linux correspondiente y compatible.

Configuración de Pasarela Data Movement

Cambios en los comandos de servicio de Pasarela Data Movement

Los comandos para detener, iniciar y comprobar el estado del servicio de Pasarela Data Movement han cambiado.

Comandos de servicio de Pasarela Data Movement

Cambios en la asignación de tipos de datos de Amazon Redshift

• El tipo de datos BOOLEAN, que se asignaba a VARCHAR(1) en Amazon Redshift, ahora se asignará a BOOLEAN.
• Los tipos de datos BYTES y BLOB, que se asignaban a VARCHAR(1) en Amazon Redshift, ahora se asignarán a VARBINARY (longitud).

Nuevas bases de datos, versiones de bases de datos y versiones de controladores compatibles

Esta sección detalla las nuevas bases de datos compatibles, las versiones de las bases de datos y las versiones de los controladores.

• Nuevas versiones y ediciones de fuentes de datos compatibles

  Ahora se admiten las siguientes versiones de fuentes de datos:

  • Azure Database for MySQL - Flexible Server (Compatible a través del conector de origen MySQL)
  • MariaDB 10.4 - 10.11 (anteriormente 10.4 y 10.5)

• Nuevas plataformas y ediciones de datos de destino compatibles

  Ahora se admiten las siguientes versiones de destino de datos:

  • Azure Database for MySQL - Flexible Server (Compatible a través del conector de destino MySQL)
  • Databricks: Databricks 13.3 LTS y Serverless SQL Warehouse

• Nueva versión del controlador SAP HANA compatible

  Los clientes con una fuente SAP HANA que deseen instalar Pasarela Data Movement en Red Hat Linux 9.x, deben instalar SAP HANA ODBC 64-bit Driver versión 2.0.19 o posterior.

Versiones de bases de datos que han dejado de ser compatibles

Esta sección ofrece información sobre las versiones de bases de datos que ya no son compatibles.

• Se ha interrumpido la compatibilidad con las siguientes versiones de fuentes de datos:

  • Oracle 11.x
  • SAP HANA 1.0

Problemas resueltos

• Instalar Pasarela Data Movement sin proporcionar una contraseña de servidor no permitiría configurar las URL del espacio inquilino y del proxy en un solo comando.
• Mover datos desde una fuente de datos de Salesforce (aplicación SaaS) imprimiría un gran número de advertencias redundantes, lo que afectaría al rendimiento de la carga de datos.
• Al recuperar cambios para una fuente de datos de aplicación SaaS, si se producía un error al recuperar cambios para una de las tablas, dicha tabla se suspendía y se eliminaba de la canalización. Ahora, al encontrar un error, la tarea intentará recuperar los cambios hasta por tres veces antes de suspender la tabla.

Nuevos destinos en lagos de datos para proyectos de replicación

Seguimos ampliando los destinos compatibles con el proyecto de replicación en Qlik Cloud Integración de datos. Además de Amazon S3, ahora puede elegir Azure Data Lake Storage (ADLS) y Google Cloud Storage (GCS) para entregas en lago de datos, como formatos de archivos Parquet, JSON o CSV.

Problemas resueltos:

• Conector de origen IBM DB2 para LUW

  La conexión a IBM DB2 para LUW solía fallar cuando el tamaño de los archivos necesarios para la conexión (como el certificado de cliente SSL y el archivo de almacén de claves) excedía los 4 KB.

• Controlador para conectores de origen IBM DB2 para LUW e IBM DB2 para z/OS

  La instalación del controlador DB2 fallaba al utilizar la utilidad de instalación del controlador.

Compatibilidad con Microsoft Fabric como objetivo de canalización de datos

Microsoft Fabric se une a la lista cada vez mayor de almacenes de datos que pueden usarse como objetivos en proyectos de canalización de datos.

Problemas resueltos:

Se actualizó la versión del controlador Snowflake en la utilidad de instalación del controlador.

Mayor compatibilidad con conexiones privadas

Se puede utilizar una conexión privada para garantizar que el tráfico de datos siga siendo seguro y conforme a las normas. Simplifica tanto la gestión de la red como la seguridad de su nube privada virtual VPC (Virtual Private Cloud) sin necesidad de abrir puertos de cortafuegos de entrada, dispositivos proxy o tablas de enrutamiento. Qlik Cloud Data Integration ya admite conexiones privadas a objetivos de canalización de datos Snowflake, Microsoft SQL Server y Amazon S3. Con esta versión, los clientes pueden utilizar además conexiones privadas al trasladar datos a Databricks, Microsoft Azure Synapse, Google BigQuery y Amazon Redshift.

Fuentes de datos basadas en PostgreSQL

• Todas las fuentes de datos basadas en PostgreSQL: compatibilidad con tipos de datos multirrango: Los siguientes tipos de datos multirrango ahora son compatibles con todas las fuentes de datos basadas en PostgreSQL (locales y en la nube).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Fuente de datos de AWS Aurora Cloud para PostgreSQL: compatibilidad con roles de no superusuario: El usuario especificado en el conector PostgreSQL ya no necesita tener el rol de superusuario para trasladar datos desde una fuente de datos de AWS Aurora Cloud para PostgreSQL. Esto es especialmente útil para organizaciones con políticas de seguridad corporativas que les impiden conceder acceso de superusuario a usuarios sin privilegios.

Fuente de datos Microsoft Azure SQL (MS-CDC): Compatibilidad con la replicación geográfica

Los clientes que trasladan datos desde una fuente de datos Microsoft Azure SQL (MS-CDC) ahora pueden utilizar una base de datos Geo Replica.

Fuente de datos Oracle: Compatibilidad con HSM (módulo de seguridad de hardware)

Qlik Cloud Integración de datos ahora admite la lectura de datos de espacios de tablas y columnas cifradas de Oracle durante CDC.

Nuevas regiones compatibles

Qlik Cloud Integración de datos ahora admite espacios empresariales inquilinos en las regiones de Alemania y Reino Unido.

Nuevas versiones compatibles y software de terceros

Esta sección enumera las versiones de controladores y bases de datos recientemente admitidas.

• Compatibilidad con más versiones de fuentes de datos. Ahora se admiten las siguientes versiones de fuentes de datos:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (cuando se trabaja con IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Compatibilidad con más versiones de plataformas de datos de destino. Ahora se admiten las siguientes versiones de destino de datos:

  • Databricks (almacenamiento en la nube): Databricks 12.2 LTS y Databricks SQL Serverless

• Versiones de controladores. Ahora se admiten las siguientes versiones del controlador ODBC:

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ e IBM DB2 for LUW
  • Simba ODBC driver 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64-bit 8.0.32

Controlador de Microsoft SQL Server: actualización requerida

Los clientes que transfieren datos hacia o desde Microsoft SQL Server deben actualizar la versión del controlador ODBC de SQL Server a 18.x o posterior. Tenga en cuenta que continuar utilizando el controlador ODBC de SQL Server 17.x puede generar errores de datos. La actualización del controlador se puede realizar utilizando la utilidad de instalación del controlador o manualmente. Para ver instrucciones, consulte la Configuración del controlador.

Versiones de bases de datos que han dejado de ser compatibles

Esta sección ofrece información sobre las versiones de bases de datos que ya no son compatibles.

• Versiones de fuentes de datos que han dejado de ser compatibles. Se ha interrumpido la compatibilidad con las siguientes versiones de fuentes de datos:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versiones de plataformas de datos de destino que han dejado de ser compatibles. Se ha interrumpido la compatibilidad con las siguientes versiones de destino de datos:

  • Databricks 9.1 LTS

2022.11.74

15 de agosto de 2023

Soporte a la replicación

Adoptamos un enfoque centrado en la nube que permite una rápida innovación y adopción. Sin embargo, eso no significa que estemos únicamente en la nube. Como parte de nuestro compromiso continuo de mejorar el valor a largo plazo que aportamos a nuestros clientes, nos complace anunciar el lanzamiento de un nuevo caso de uso de Replication al crear proyectos de datos. El nuevo caso de uso de Replication se suma a la capacidad que ya ofrecemos de crear canalizaciones de datos para todas sus necesidades de integración de datos, como la modernización de los almacenes de datos.

El proyecto de replicación admite la replicación de datos en tiempo real desde orígenes de datos admitidos a un destino admitido.

A partir de esta última versión, el primer objetivo que admite la replicación de datos en tiempo real es Microsoft SQL Server. Además de admitir Microsoft SQL Server en las instalaciones, también se admiten los siguientes proveedores de nube:

• Locales
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance y Microsoft Azure Database)

Objetivo de Microsoft Azure Synapse Analytics: se requiere actualización del controlador

Los clientes que transfieren datos a Microsoft Azure Synapse Analytics deben actualizar su versión del controlador ODBC de SQL Server a 18.x o posterior. Tenga en cuenta que continuar utilizando el controlador ODBC de SQL Server 17.x puede generar errores de datos. La actualización del controlador se puede realizar utilizando la utilidad de instalación del controlador o manualmente. Para ver instrucciones, consulte la Configuración del controlador.

Nueva opción "Cargar datos de fuente" para fuentes de aplicaciones SaaS

Se ha incorporado una nueva opción Cargar datos de fuente, que permite a los clientes leer sus datos directamente de la fuente de origen durante una Carga completa, en lugar de utilizar los datos almacenados en caché.

Para más información sobre esta opción, incluidos los casos de uso, vea Configuraciones de aterrizaje en destino.

Certificados de CA actualizados

Pasarela Data Movement 2022.11.74 incluye certificados de CA actualizados, que son necesarios para autenticar el espacio empresarial inquilino de Qlik Cloud. Los certificados de CA actualizados también brindan soporte para las regiones de Irlanda y Fráncfort. Por lo tanto, los clientes con espacios empresariales inquilinos de Qlik Cloud en Irlanda o Fráncfort que deseen utilizar Qlik Cloud Data Integration deben actualizar a esta versión.

Problema resuelto

Las tareas que transferían datos de una fuente de Oracle a veces fallaban cuando una tabla ancha contenía columnas sin usar o no compatibles, o columnas LOB que no estaban replicadas.

2022.11.70

28 de junio de 2023

Utilidad de instalación de controladores mejorada para clientes SAP

En versiones anteriores, los clientes necesitaban ejecutar el comando "source arep_login.sh" al instalar clientes SAP. A partir de esta versión, ya no es necesario ejecutar este comando.

Certificados de CA actualizados

Esta versión incluye certificados de CA actualizados, que son necesarios para autenticar el espacio empresarial inquilino de Qlik Cloud.

Problemas resueltos

• Cuando una tarea de replicación en Pasarela Data Movement falla y se recupera automáticamente, el estado recuperado no se comunica al activo de datos de ubicación de destino en Qlik Cloud.

• El cifrado de extremo a extremo para Pasarela Data Movement no estaba habilitado de forma predeterminada y era controlado por indicadores de tiempo de ejecución.

2022.11.63

2 de mayo de 2023

Utilidad de instalación de controladores

Esta versión incluye una utilidad de instalación de controladores que elimina la necesidad de instalar y configurar los controladores manualmente. La nueva utilidad acorta el proceso de instalación y reduce significativamente la posibilidad de error del usuario. Cuando se ejecuta la utilidad, el controlador requerido se descarga automáticamente, si es posible, y se instala. Si el controlador no se puede descargar (los controladores DB2 requieren inicio de sesión, por ejemplo), todo lo que necesita hacer es descargar el controlador, copiarlo en una carpeta específica en la máquina de la pasarela de movimiento de datos y ejecutar la utilidad.

Para ver un ejemplo del uso de la utilidad de instalación de controladores para instalar un controlador PostgreSQL, vea Requisitos previos

Plataforma de datos en la nube de Snowflake

El conector Snowflake ahora admite caracteres emoji de 4 bytes.

Compatibilidad con Azure Database for PostgreSQL: servidor flexible como fuente de datos

El conector de PostgreSQL ahora puede mover datos de Azure Database for PostgreSQL: servidor flexible.

Compatibilidad con Cloud SQL para PostgreSQL como fuente de datos

El conector de PostgreSQL ahora puede mover datos de Cloud SQL para PostgreSQL.

Compatibilidad con versiones de orígenes de datos

Esta versión ahora es compatible con las siguientes versiones nuevas de fuentes de datos:

• PostgreSQL 14
• DB2 (para IBM DB2 para z/OS) 12.1
• IBM DB2 para z/OS 2.5

Compatibilidad con versiones de plataformas de datos

Databricks 11.3 LTS

Se ha discontinuado el soporte para las siguientes versiones de fuentes de datos

Las siguientes versiones de fuentes de datos ya no son compatibles:

• DB2 (para IBM DB2 para z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemas resueltos

Esta versión resuelve los siguientes problemas:

• Fuente de datos Oracle: Al detener y reanudar una tarea, la tarea a veces fallaba con el error: "Error al establecer la posición de la transmisión en el contexto".
• Fuente SAP Application: Los cambios no se capturaban durante la tarea de ubicación de destino.