Actualizar y desinstalar Data Movement gateway

Problemas resueltos

• Incorporación de estadísticas de carga completa parcial

• Databricks Lakehouse (Delta) / Databricks (Cloud Storage) – La prueba de conexión ODBC falla con el proxy (Nombre de usuario/Contraseña) en todos los entornos de pruebas

• Databricks Lakehouse (Delta) Volume - Eliminar el directorio falla debido al error "CLOUD_FILE_NOT_FOUND"

• Para el modo de aplicación, la tarea de solo carga completa debe habilitar DDL

• El destino de SAP Aplicación crea un carácter especial en los datos al cargarlos en el formato de datos de Snowflake

• El destino S3 de Carga completa prepara registros duplicados en el mismo archivo json o en diferentes archivos json con el extractor SAP de origen

• Falta el mensaje de error pertinente cuando la tabla está suspendida

• La tarea de SAP ODP del destino OData se ha completado, pero la carga completa no ha finalizado

• Compatibilidad con SQL Server 2012 (omitir la comprobación de Always-Encrypted)

• Restringir LOCAL INFILE solo al modo de carga para destinos MySQL/MemSQL (corrección de LFI)

• Origen SAPDB – Pueden producirse datos erróneos (datos omitidos, duplicados) en una tabla cuando otra tabla recibe el comando LOAD TABLE.

• Compatibilidad con el cambio de longitud de tipo de datos en Databricks delta

• BigQuery Streaming - Valores nulos truncados en campos de tipo de datos STRING al concatenar caracteres

• La búsqueda de LOB de PostgreSQL falla si la clave principal contiene TIMESTAMPTZ

• Cuando la llamada a DBCC en el Deferred Constructor de SQL Server devuelve un error recuperable, debemos reconectarnos y reintentar una vez, debido al posible tiempo de espera agotado

• Origen HANA, el tipo de datos DECIMAL en el destino descarta valores de escala, lo que provoca una discrepancia de datos

• Origen SAP ODP en la versión 2025.11 si se utiliza la opción INCLUDE para el patrón de selección de tabla. La carga completa tarda más horas en completarse.

• SQL Server Always Encrypted: la tabla entra en suspensión en cualquier tarea hacia cualquier destino debido a un archivo CSV corrupto

• Compatibilidad con la reversión al punto de guardado en SAP HANA

• La tarea falla con un problema de Token Expire al trabajar con la autenticación de entidad de servicio de Azure Active Directory

• No se pudo ejecutar el activo. El mensaje de error debería mostrar la tabla que falta en el registro.

• Redshift: la longitud de la columna no es compatible

• Los desencadenadores se están eliminando de forma incorrecta

• Es posible que las operaciones de actualización de Oracle en filas comprimidas no incluyan el valor de una columna de clave principal en After Image, lo que provoca que se utilice un valor NULL en el destino

• Tarea de aterrizaje: la eliminación y adición de la misma tabla no crea la tabla _ct si se elimina manualmente de la DB de destino

• Incorporación del indicador UTC para el valor de columna datatime en archivos Parquet de S3

• Faltan registros al desasociar/volver a asociar el destino tras un error de búsqueda de LOB

• DB2 Z/os está en verde, pero no se transfieren cambios

• DataBricks Delta reemplaza el cero binario en cadenas de caracteres por un espacio

• alternateBackupFolderTransportCommand no conserva las mayúsculas y minúsculas

• SAP HANA Full Record Mode - los desencadenadores podrían fallar si QTREP/TRAN_LOG se llena

• No se puede utilizar la carga paralela en la tabla SAP VBRP para Databricks Lakehouse (Delta)

• Databricks (Cloud Storage) reemplaza el cero binario en cadenas de caracteres por un espacio

• SAPDB - una nueva aparición de tablas con valores NULL en la clave principal para algunos eventos

• Bloqueo en la búsqueda de LOB cuando el orden de las columnas en SAP y en las tablas backend es diferente

• Error al convertir un archivo csv a parquet

• Al usar Oracle Standby, se omitió la secuencia de Online redo log, lo que provocó pérdida de datos

• SAPDB - Bloqueo de la tarea en la búsqueda de LOB cuando aún no se habían leído los metadatos requeridos

• Lectura de Oracle desde el Online redo log con Redo aún no preparado.

• Oracle 26ai + cifrado TDE: análisis incorrecto del log REDO de los cambios cifrados de CDC

• Añadir compatibilidad con la región de Canadá

• Admitir la conexión proxy https

• Al usar la pasarela de enlace de datos administrada, el paquete de diagnóstico solo incluye el último registro

• Origen de SQL Server (MS-CDC) – Se generó una consulta de cambios no válida para columnas de geometría cuando se configura una transformación de cambio de nombre de columna

• Origen de Stitch – Los archivos de tablas de seguimiento de cambios no se cerraban cuando se iniciaba o finalizaba la Carga completa

• Origen y destino de Teradata – Se ha actualizado la documentación de configuración del controlador

• Seguridad – Se ha actualizado netty-codec-http a 4.1.136.Final

• Seguridad – Se ha actualizado lz4-java a 1.11.1

• Seguridad – Se actualizó jackson-core a 2.18.8

• Seguridad – Se actualizó jetty-security a 12.1.10

• Seguridad – Se actualizó Log4j en los extremos de origen SAP ODP y Salesforce

• Compatibilidad con errorMessage para fullLoadPartial

• La tarea de destino de Snowflake mostraba muchos errores "Object '<>."attrep_status"' does not exist or not authorized.".

Problemas resueltos

• Problema de sintaxis en la tabla de control attrep_history en Databricks y Snowflake

  Tras actualizar a Data Movement gateway 2025.11.40, las operaciones INSERT en la tabla de control attrep_history daban como resultado un error de sintaxis.

• Fuente Oracle

  La selección de tabla get_table_list falló con el código de error de Oracle '1406' al recuperar los metadatos de la tabla en entornos de Oracle Autonomous Database con la compresión habilitada.

• Fallo del activo de Replicate

  Mensajes de error mejorados para mostrar el nombre de la tabla que falta en el registro cuando una tarea de aterrizaje no se puede ejecutar debido a la falta de una tabla.

• Tarea de aterrizaje: tabla de seguimiento de cambios

  Al eliminar y volver a agregar un conjunto de datos en una tarea de aterrizaje, ya no se creaba la tabla de seguimiento de cambios si se había eliminado manualmente de la base de datos de destino.

• Origen de SQL Server: compatibilidad con Always-Encrypted

  Se ha añadido compatibilidad con SQL Server 2012 (mediante una propiedad interna) al omitir la comprobación de validación de Always-Encrypted, que no se admite en versiones de SQL Server anteriores a 2016.

• SQL Server Always Encrypted

  Se ha corregido un problema por el cual las tablas entraban en suspensión en cualquier tarea para cualquier destino debido al manejo de archivos CSV corruptos al utilizar columnas de Always Encrypted.

• Seguridad

  Se ha actualizado la biblioteca libcurl para abordar la vulnerabilidad CVE-2025-14819.

• Datos registrados con un nombre de base de datos que contiene un guión

  Se solucionó un problema por el que la preparación de la tarea de los datos registrados fallaba cuando los nombres de las bases de datos contenían guiones.

• Destino de Snowflake - tiempo de espera de COPY INTO

  Se solucionaron los errores de tiempo de espera que se producían durante el paso "COPY INTO" al cargar grandes conjuntos de datos en Snowflake.

Cambio de marca del controlador de Databricks

Para armonizar con Databricks, se ha cambiado el nombre del controlador que permite trabajar con el conector de Databricks.

Compatibilidad con nuevas versiones de controladores de Snowflake y Google BigQuery

Esta versión introduce compatibilidad con las siguientes versiones de controladores:

• Snowflake: Controlador ODBC de Snowflake 3.15.0 (64 bits)

• Google BigQuery: Versión 3.1.6.1026 del controlador ODBC de Simba

Compatibilidad con el tipo de datos VARIANT de Databricks

A partir de esta versión, los siguientes tipos de datos se asociarán al tipo de datos VARIANT nativo de Databricks:

• STRING

• WSTRING

• NCLOB

• CLOB

Problemas resueltos

• Origen IBM DB2 para iSeries

  Después de reanudar una tarea, la captura de cambios de una tabla que contenía columnas decimales binarias provocaba que la tarea se bloqueara.

• Origen PostgreSQL - problema de CDC

  Después de reanudar una tarea que no capturó ningún cambio durante el minuto anterior a su detención, no se capturaba ningún cambio.

• Conector SSH - Problema de prueba de conexión

  Al hacer clic en Probar conexión en el conector SSH, no se devolvían errores relacionados con la conectividad SSH cuando había problemas con SSH.

• Destino Snowflake - Problema de streaming de Snowpipe

  Al usar Snowpipe Streaming como método de carga, la carga de tablas muy grandes consumía una cantidad excesiva de memoria, lo que finalmente provocaba que la tarea fallara y entrara en un bucle de carga y fallo.

• Origen de Microsoft SQL Server (basado en registros) - Error poco claro

  Al especificar una carpeta de copia de seguridad alternativa que no contenía los registros requeridos, la tarea se detenía con un mensaje poco claro en lugar de emitir una advertencia y continuar.

• Seguridad

  El componente org.apache.logging.log4j:log4j-core se actualizó a la versión 2.25.3 debido a vulnerabilidades conocidas en las versiones instaladas.

• Fuente SAP ODP - problema de filtrado

  El filtro SAP ODP no pasaba a SAP cuando se definía en un extractor que se ejecutaba en modo solo CDC.

• Fuente SAP ODATA - problema de filtrado

  Definir más de un rango de filtrado en una sola columna hacía que la Carga completa fallara.

Compatibilidad ampliada con las cargas en paralelo

La función de carga en paralelo ahora es compatible con el destino de Databricks.

Replicar segmentos de conjuntos de datos en paralelo

Tabla de control de historial de DDL: destinos recién admitidos

La tabla de control attrep_ddl_history (historial de DDL) contiene un historial de cambios de DDL que ocurrieron en el origen durante la replicación al destino.

Ahora se admiten los siguientes puntos de conexión de destino:

• Google BigQuery
• Google Cloud AlloyDB para PostgreSQL
• Google Cloud SQL para PostgreSQL
• PostgreSQL (en las propias instalaciones)

Historial de DDL

Mejoras en la columna de encabezado “[header]__change_mask”

Al usar Tablas de cambios con formato Parquet, la columna de encabezado [header]__change_mask ahora rellena con ceros a la izquierda (en lugar de a la derecha), para alinearse con la regla little endian de almacenar bytes en orden inverso.

Puntos de conexión de destino afectados:

• Amazon S3

• Google Cloud Storage

Tablas de cambios

Nuevas versiones compatibles de fuentes de datos y destinos

• Destino de Kafka: 4.0.x

• Origen de IBM z/OS: 3.2

Nuevas versiones de controlador compatibles

• Controlador ODBC de Microsoft 18.5
• MySQL 8.4

Finalización de vida útil de Microsoft Azure Database for MySQL y Microsoft Azure Database for PostgreSQL

Se ha interrumpido la compatibilidad con Microsoft Azure Database for MySQL y Microsoft Azure Database for PostgreSQL, que han sido oficialmente retirados por Microsoft.

Versiones de fuente de datos y destino al final de su vida útil

• Destino de Databricks: 10.4 LTS y 11.3 LTS

• MariaDB origen y destino: 10.5

• PostgreSQL origen y destino: 13.x

• MySQL origen y destino: 8.1

Versiones de controlador al final de su vida útil

• Controlador ODBC de Microsoft 18.3

Problemas resueltos

• Fuente SAP (aplicación)

  Las tareas configuradas para usar un origen SAP (Aplicación) con un proceso de backend que generaba eventos autoconfirmados, a veces fallaban después de recargar una tabla.

• Destino de Base de datos SQL de Microsoft Azure

  En la replicación homogénea, cuando se trabajaba en modo “Aplicación transaccional” o en modo “Aplicación optimizada por lotes” que cambiaba a modo uno a uno, se producía un error de “0 filas afectadas” cuando una columna DATETIME formaba parte de la clave principal en el destino.

• Fuente Oracle

  La tarea de Oracle falla en Carga completa cuando una tabla contiene una columna "long raw" y el tamaño máximo de LOB es mayor o igual que 64K.

• Origen del extractor SAP - Bucle de descarga debido a la cancelación de CDC

  Durante una recarga de tabla, los trabajos de SAP CDC de larga duración a veces se cancelan. Esto daba lugar a un estado de error recuperable en el que la descarga nunca se completó.

• Seguridad

  Los siguientes componentes se actualizaron debido a vulnerabilidades conocidas:

  • JRE actualizado de 17.0.17 a 17.0.18

  • org.eclispe.jetty:jetty-io actualizado de 11.0.25 a 11.0.26

  • org.apache.logging.log4j:log4j-core actualizado de 2.23.1 a 2.25.3

• SAP ODP

  Se producía el siguiente error durante CDC cuando se definía un filtro para una tabla:

  Invalid value for parameter "I_DIMNAME"

• SAP Extractor

  Delta dejaba de funcionar si la tarea se detenía y reanudaba mientras una de las tablas estaba en estado de carga.

• Origen en aplicación SaaS (Informes de Workday)

  • Durante la carga completa, al conectarse a la carpeta de ensayo de S3, la tarea a veces daba el siguiente error:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    El problema se resolvió implementando un mecanismo de reintentos múltiples para conectarse a la carpeta S3 cuando la primera conexión no tiene éxito.

  • Se requeriría el privilegio CREATE SCHEMA incluso cuando el esquema ya existiera.

• Destino de Microsoft SQL Server

  A veces se producía una pérdida de datos en las columnas LOB y una replicación de datos incorrecta durante CDC cuando el tamaño de LOB se configuraba como ilimitado en la configuración de la tarea.

• Destino PostgreSQL

  La imposibilidad de cargar el archivo CSV en la tabla Net Changes devolvía un error recuperable (lo que resultaba en un bucle infinito) en lugar de cambiar a la aplicación uno por uno.

• Replicación de MySQL a MySQL

  Cuando el esquema del origen y destino estaban en la misma instancia de MySQL y la replicación incluía una tabla de control, la tarea a veces fallaba dando un error: "Process crashed with signal 11".

• Origen PostgreSQL

  Durante el CDC, la tarea a veces leía las mismas entradas WAL una y otra vez, lo que resultaba en que no se capturaban datos.

• Origen Microsoft SQL Server

  • Se producía un error al descomprimir un registro de transacciones que contenía bloques cifrados. El problema se resolvió al dejar el registro comprimido en tales casos.

  • Se mostraban errores de redundancia al usar una carpeta de copia de seguridad alternativa, debido a una comprobación de validación innecesaria para archivos existentes.

  • La tarea a veces se bloqueaba después de invocar a DBCC Lookup.

Compatibilidad con el conector de destino Kafka

La nueva versión de Data Movement gateway admite el conector de destino de Kafka. Replique sus datos sin esfuerzo desde cualquier fuente compatible directamente en Kafka local o Amazon MSK, garantizando transferencias fiables y tolerantes a fallos que mantienen sus aplicaciones ágiles y bien informadas. Ya sea que esté manteniendo la coherencia de los datos entre sistemas o impulsando el análisis, este conector ofrece replicación de baja latencia con una configuración mínima.

Para más información, vea Destino Kafka.

Problemas resueltos

• Fallo de la tarea de replicación de origen MySQL a destino MySQL

  Al replicar un conjunto de datos de un esquema MySQL a un esquema MySQL diferente que se ejecuta en la misma instancia de servidor MySQL, e incluyendo una tabla de control en la replicación, CDC fallaba y daba el siguiente error:

  Process crashed with signal 11

• Conector de extractor SAP: Tabla suspendida al reanudar una tarea

  Reanudar una tarea mientras una tabla todavía estaba en carga completa provocaba que el trabajo de extracción fallara y la tabla se suspendiera.

Problemas resueltos

• Destino PostgreSQL - Comportamiento de error incorrecto

  La imposibilidad de cargar el archivo CSV en la tabla Qlik Net Changes devolvía un error recuperable (lo que resultaba en un bucle infinito) en lugar de cambiar a la aplicación uno por uno.

• Conectores Lite de aplicaciones SaaS

  Durante la carga completa, las tareas a veces fallaban dando el siguiente error debido a que Amazon rechazaba activamente la conexión:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  El problema se resolvió al implementar un mecanismo de reintento con un máximo de tres reintentos antes de que ocurra el error.

• Origen de Microsoft SQL Server - Error de descompresión de registro

  Se producía un error al descomprimir un registro de transacciones que contenía bloques cifrados. El problema se resolvió al dejar el registro comprimido en tales casos.

• Origen de Netsuite Suite Analytics - Error de reanudación de CDC

  Al reanudar una tarea CDC después de realizar un cambio en el origen, la tarea a veces fallaba con el siguiente error:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Origen Microsoft SQL Server - Errores de falsedad

  Se mostraban errores de redundancia al usar una carpeta de copia de seguridad alternativa, debido a una comprobación de validación innecesaria para archivos existentes.

Compatibilidad con claves principales de Databricks

A partir de esta versión, la tarea de datos creará una clave principal en las tablas Delta de Databricks de destino, utilizando la palabra clave RELY. Aunque Databricks no aplica restricciones de clave principal, se asume que las claves principales con la palabra clave RELY no tienen duplicados y, por lo tanto, Databricks puede utilizarlas para la optimización de consultas.

Requisitos:

• Debe seleccionar un Catálogo en la configuración del conector

• Databricks 14.2 o posterior

Mejoras en los tipos de datos

• Origen IBM DB2 for iSeries: Se ha añadido compatibilidad con los siguientes tipos de datos: BINARY-DECIMAL y ZONED-DECIMAL

• Destino de Databricks: En versiones anteriores, BYTES se asignaba a STRING. A partir de esta versión, se asignará a VARCHAR (Longitud en bytes)

• Destino de Google Cloud BigQuery: el subtipo JSON ahora es compatible con el destino de Google Cloud BigQuery

Origen basado en PostgreSQL: las tablas particionadas ahora son compatibles de manera predeterminada

La replicación (carga completa y CDC) de particiones y subparticiones (y sub-subparticiones) desde orígenes de datos basados en PostgreSQL ahora es compatible por defecto.

Destino de Google Cloud BigQuery: compatibilidad con el manejo de errores de truncamiento de datos

El destino de Google Cloud BigQuery ahora admite el manejo de errores de truncamiento de datos. Si se produce un error de truncamiento de datos, ahora puede elegir si registrará el registro en la tabla de control de excepciones (predeterminado), ignorar el registro, suspender la tabla o detener la tarea.

Nuevas versiones compatibles

Ahora se admiten las siguientes versiones de puntos de conexión de origen y destino:

• MariaDB (local) y Amazon RDS para MariaDB: 11.4

• MySQL (on-premises), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL y Microsoft Azure Database for MySQL - Flexible Server: 8.4

• PostgreSQL (on-premises), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL y Microsoft Azure Database for PostgreSQL - Flexible Server: 17.x

Nuevas versiones de controlador compatibles

IBM Data Server Client 11.5.9 ahora es compatible con los siguientes orígenes de DB2:

• IBM DB2 for LUW

• IBM DB2 para z/OS

Versiones de origen y controlador al final de su vida útil

• Orígenes y destinos al final de su vida útil: se ha interrumpido la compatibilidad con Microsoft Azure Database for MySQL y Microsoft Azure Database for PostgreSQL, que han sido oficialmente retirados por Microsoft.

• Versiones de origen al final de su vida útil: Se ha interrumpido la compatibilidad con IBM DB2 for iSeries 7.2, que ha llegado al final de su vida útil (EOL).

• Versiones de controlador al final de su vida útil: se ha interrumpido la compatibilidad con IBM Data Server Client 11.5.6.

Problemas resueltos

• Soporte HSTS

  HSTS no estaba habilitado en la máquina de Pasarela de movimiento de datos de Qlik.

• Fallo en la instalación de Data Movement gateway

  La instalación de Data Movement gateway en Redhat versión 9.7 fallaba con un error de "OPENSSL_3.4.0 no encontrado".

• Origen de PostgreSQL 15.7 - No se capturaron datos durante CDC

  Durante CDC, la tarea seguía leyendo las mismas entradas WAL y procesando la misma posición de flujo.

• SAP ODP - Fallo de CDC

  Después de que una tarea de CDC se detuviera durante los cambios (debido a un problema de conectividad, por ejemplo), reanudar la tarea a veces daba errores de longitud de fila.

• Faltan registros de conexión de origen

  Los registros de conexión de origen no estaban disponibles tras ejecutar una tarea que utilizaba un conector Preview o Lite.

• Supervisión - Faltaba información

  La pestaña Monitor no mostraba un mensaje de error cuando una tabla se suspendía durante la etapa CDC de una tarea de carga completa y CDC.

Soporte para crear almacenes de conocimiento en Databricks

Anteriormente, los almacenes de conocimiento solo eran compatibles con Snowflake. Ahora, también puede crear y ejecutar almacenes de conocimiento y almacenes de conocimiento basados en archivos en Databricks.

Problemas resueltos:

Las tareas fallaban de manera intermitente durante la preparación dando el siguiente error:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Problemas resueltos:

Cuando la propiedad interna del esquema de metadatos se definía con caracteres especiales, la tarea fallaba durante el CDC.

Problemas resueltos:

• Alertas de producción en la región central de la UE: EU-Central-1

  Los clientes de la región EU-Central-1 experimentaban frecuentes alertas de producción cuando utilizaban Data Movement gateway.

• Fuente de datos Jira: tabla atascada

  Al replicar datos desde Jira, la tabla USERS se quedaba atascada en el estado En cola en la primera ejecución, mientras que las demás tablas completaban la carga correctamente.

• Seguimiento del error

  En el monitor de tareas faltaba la supervisión de CDC.

• Fallo de replicación de Oracle a Oracle

  Las tareas de replicación de Oracle a Oracle fallaban a veces debido a un cálculo incorrecto de la longitud de la cadena.

• Seguridad

  El componente del servidor Java (sqlite-jdbc) se actualizó a 3.47.0 debido a una vulnerabilidad conocida en versiones anteriores.

• Error al iniciar una tarea

  A veces se producía un error "No hay licencia para la base de datos" cuando se iniciaba una tarea en modo reanudación por primera vez, sin haberla iniciado previamente.

• Problema del conector de Salesforce con nuevos conjuntos de datos

  Al añadir nuevos conjuntos de datos a una tarea de destino/aterrizaje con una fuente de datos de Salesforce, la tarea fallaba dando el error: "'La tabla no existe'".

Problemas resueltos:

• Error de conexión en las tareas de almacenamiento

  Las tareas de almacenamiento fallaban con un error de conexión que obligaba a reiniciar la pasarela.

• Fallo en la instalación del controlador DB2

  La instalación del controlador DB2 fallaba cuando el acceso a la carpeta /tmp estaba restringido.

• Tiempo de conexión excesivo a Qlik Cloud

  Tras actualizar a la versión 2024.11.65 de Data Movement gateway, la conexión a Qlik Cloud tardaba un tiempo excesivo. El problema se resolvió añadiendo un token de cancelación con un tiempo de espera de dos minutos.

• El servicio se bloqueaba tras la actualización

  Tras actualizar a Data Movement gateway 2024.11.67, el servicio de proveedor de datos externo (utilizado por los conectores Lite) se bloqueaba debido a restricciones de acceso en la carpeta /tmp.

• Correcciones de seguridad

  Los siguientes componentes fueron sustituidos por versiones posteriores debido a vulnerabilidades conocidas:

  • SQLite 3.49.1

  • Motor de ejecución Java 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Almacenes de conocimiento: recurso compartido de archivos (SMB)

  La conexión a SMB fallaba con el siguiente error:

  SmbConnection' object has no attribute 'docs_path'

• Error de preparación

  Cuando se preparaba una tarea por segunda vez y se producía un DDL después de la primera preparación, la operación de preparación fallaba a veces, dando el siguiente error (extracto):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problema con la vista previa de datos

  La opción de previsualización de datos no funcionaba cuando se utilizaba un destino Microsoft SQL Server.

Mejoras:

• Se ha mejorado la compatibilidad con Qlik Cloud Government DoD

  Esta versión agrega soporte para usar Data Movement gateway con Qlik Cloud Government DoD.

Mejoras:

• Controlar cuándo se activará la política de gestión de errores en la tabla

  Se ha añadido una nueva opción: Número de reintentos antes de devolver un error de tabla a los ajustes de gestión de errores de tabla para las tareas de replicación y ubicación de destino. Anteriormente, cuando se producía un error en la tabla, esta se suspendía o la tarea se detenía (según la acción de gestión de errores seleccionada). Esto provocaba a veces la suspensión de las tablas durante la ventana de mantenimiento de la aplicación SaaS. Con esta nueva opción, ahora se puede especificar cuántos reintentos deberá experimentar la tabla antes de que se active la política de gestión de errores de la tabla. Esta opción es especialmente útil si su aplicación SaaS se somete a un mantenimiento periódico, ya que puede anular el número predeterminado de reintentos (3) para que el mantenimiento pueda completarse sin activar la política de gestión de errores de la tabla.

  Gestión de errores de tabla

  Nota informativaEsta opción solo se mostrará para las tareas configuradas con un conector de aplicaciones SaaS Lite o Estándar.

• La vista previa de datos incluye ahora tipos de datos de columna

  Al previsualizar una transformación de SQL, los resultados incluirán ahora los tipos de datos de las columnas.

  Vista previa de los datos

Mejoras:

• Sustitución y purga de los archivos de registro de replicación

  Se ha implementado una política de sustitución y purga para los archivos de registro de replicación en el equipo de la puerta de enlace. La política de sustitución evitará que los archivos de registro sean demasiado grandes (lo que repercute en el rendimiento y el análisis), mientras que la política de purga evitará que se acumulen y consuman un espacio excesivo en disco.

Problemas resueltos:

• Estado incorrecto de la tabla tras la recarga

  Al recargar una tabla suspendida, el estado de la tabla mostrado en el monitor a veces era incorrecto.

• Agotamiento del tiempo de espera de la operación de preparación

  Al preparar una tarea de destino/aterrizaje tras añadir un conjunto de datos, a veces se producía un agotamiento del tiempo de espera en la fase de catalogación de activos. Esto provocaría el fallo de la operación Preparar.

Este parche resuelve los siguientes problemas:

• Fallo de preparación al añadir una nueva tabla

  Al añadir una nueva tabla a una tarea de replicación y hacer clic en Preparar, a veces se producía el siguiente error:

  Prepare data task failed: Object reference not set to an instance of an object.

• Vulnerabilidades resueltas

  Los siguientes archivos de configuración de Data Movement gateway se actualizaron a versiones sin vulnerabilidades conocidas:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-contexto-<version>.jar

Este parche resuelve los siguientes problemas:

• Fallo de conexión de IBM DB2 para LUW

  Tras actualizar a Data Movement gateway 2024.11.54, la conexión a la base de datos fallaba.

• Error de preparación

  La tarea de preparación de datos fallaba cuando la tarea se configuraba con una fuente de aplicación SaaS y un destino Google BigQuery.

• Las tareas con fuentes basadas en Java fallan tras la actualización

  Las tareas con fuentes de datos basadas en Java fallaban tras actualizar a Data Movement gateway 2024.11.54.

• Objetivo Snowflake: Las tareas pasaban a veces al modo "uno a uno" durante el CDC

  Durante el CDC, cuando una columna STRING de una tabla de origen superaba los 65 536 bytes, los datos se truncaban en la columna STRING de destino. La tarea pasaría entonces al modo de aplicación "uno a uno".

• Seguridad

  Los archivos java_file_factory.jar y arep-google-cloud.jar se actualizaron a versiones sin vulnerabilidades conocidas.

Este parche resuelve los siguientes problemas:

• Carga completa ignorando los ajustes de la tarea

  Durante la Carga completa, la tarea soltaba y volvía a crear las tablas de destino, aunque la tarea estuviera configurada con Si la tabla de destino ya existe: Ignorar

• Recuento incorrecto de registros

  Tras detener y preparar una tarea de replicación existente con el modo de replicación establecido en Carga completa y aplicar cambios, el recuento de registros CDC procesados aumentaba, lo que daba como resultado un recuento incorrecto.

• Conector fuente JIRA

  Cuando se añadía un nuevo conjunto de datos a una tarea existente, la tarea fallaba con el siguiente error:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Fallo en la conexión de prueba

  La conexión de prueba a fuentes basadas en SAP y SQL fallaba.

• Actualizar

  Después de actualizar la pasarela, a veces las tareas no se reanudaban según lo esperado.

Soporte para la transmisión de Snowpipe

Anteriormente, la Carga masiva era el único método disponible para cargar datos en Snowflake. Ahora, los clientes pueden utilizar la Carga masiva o la Transmisión de Snowpipe para embarcar o replicar sus datos en Snowflake.

Las ventajas de la Transmisión de Snowpipe frente a la Carga masiva incluyen:

• Menos costoso: como la transmisión de Snowpipe no utiliza el almacén de Snowflake, los costes operativos deberían ser significativamente más baratos, aunque esto dependerá de su caso de uso específico.
• Latencia reducida: como los datos se transmiten directamente a las tablas de destino (en lugar de pasar por una fase intermedia), la replicación desde la fuente de datos al destino debería ser más rápida.

Problemas resueltos

Este parche resuelve los siguientes problemas:

• Microsoft Fabric: problema de conexión

  Al buscar bases de datos mediante el conector Microsoft Fabric, se producía el siguiente error (extracto):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  El problema estaba causado por una incompatibilidad con el controlador JDBC 12.9.0-preview.jar, que se instaló con la utilidad de configuración del controlador. La utilidad se ha actualizado para instalar un controlador compatible.

• Fallo en el reinicio del servidor de Java

  Tras actualizar Data Movement gateway o reiniciar el servicio de Data Movement gateway, el servidor de Java (necesario para conectores basados en Java como SAP ODP) no se iniciaba.

• Refuerzo de la seguridad

  • El cifrado de extremo a extremo no se aplicaba mutuamente a las cargas útiles de comandos de registro que devolvían registros alojados por el cliente desde el centro de actividades Administración Qlik Cloud.

  • La versión de SQLite utilizada por Data Movement gateway se actualizó debido a una vulnerabilidad con la versión 3.42.0(CVE-2023-7104).

  • El archivo com.h2database utilizado por Data Movement gateway se actualizó debido a una vulnerabilidad con la versión h2-2.1.212(CVE-2022-45868).

Este parche resuelve el siguiente problema al mover datos de una fuente de datos de IBM DB2 para iSeries:

Cuando se utiliza iSeries Access ODBC Driver 07.01.026 o posterior, la tarea fallaba durante el CDC con un error "Error parsing".

Estándar

Compatibilidad de OAuth con el destino Databricks

Los clientes ya pueden conectarse al destino de Databricks utilizando la autenticación de OAuth, que es el método que Databricks recomienda para la autenticación de cuentas. La autenticación mediante token de acceso personal seguirá estando disponible por compatibilidad con versiones anteriores por ahora, pero se considera menos segura que OAuth.

Problemas resueltos

• Problema de carga paralela

  Cuando se definía un conjunto de datos con carga paralela y posteriormente se desactivaba la carga completa, la tarea seguía realizando una carga completa de ese conjunto de datos, incluso cuando se reanudaba desde la fecha-hora.

2024.11.24

Parche

Este parche resuelve los siguientes problemas:

• Fuente SAP ODP: fallo en la generación de metadatos

  La generación de metadatos no se completaba bien para las tablas que tenían un punto en su nombre (por ejemplo, Deprec.Area).

• Recuperación de tareas

  Las tareas solo se recuperaban una vez si fallaban durante la Carga completa debido a un problema en el entorno. Ahora se recuperarán el número de veces definido en Configuración > Manejo de errores > Errores de entorno > Número máximo de reintentos.

Mejoras

Certificación de conmutación por error de PostgreSQL

El trabajo con una base de datos secundaria después de la conmutación por error se ha certificado con las siguientes fuentes de datos (a todas ellas se puede acceder mediante el conector de fuentes PostgreSQL):

• Google Cloud SQL para PostgreSQL
• Amazon RDS para PostgreSQL
• PostgreSQL (en las propias instalaciones)

Vea también: Configuración de la conmutación por error

Mejora del rendimiento de MySQL

En versiones anteriores, cuando se utilizaba un terminal de conexión de origen basado en MySQL en una tarea que estaba configurada con un tamaño de LOB limitado, Data Movement gateway utilizaba la búsqueda de origen para leer las columnas LOB. Ahora, Data Movement gateway leerá las columnas LOB directamente de binlog, mejorando así el rendimiento.

Cambios en los tipos de datos asociados

Se han asociado las columnas LOB para el destino de Amazon Redshift y Snowflake.

Destino Amazon Redshift

• BLOB se asocia ahora a VARBYTE(16777216)
• NCLOB se asocia ahora a NVARCHAR(65535)
• CLOB se asocia ahora a NVARCHAR(65535)

Destino Snowflake

• BLOB se asocia ahora a BINARY (8388608)
• NCLOB se asocia ahora a NVARCHAR(16777216)
• CLOB se asocia ahora a VARCHAR(16777216)

Nuevos tipos de datos admitidos

• Fuente IBM DB2 para LUW

  Ahora se admite el tipo de datos BOOLEAN (desde DB2 para LUW 11.5).

• Destino Google BigQuery

  Ahora se admite el tipo de datos BIGNUMERIC.

Compatibilidad ampliada con destinos para la tabla de control del historial de DDL

En versiones anteriores de Data Movement gateway, la tabla de control Historial de DDL solo era compatible con los destinos Databricks y Microsoft Fabric. Esta versión introduce la compatibilidad con los siguientes conectores de destinos adicionales:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Vea también: Historial de DDL

Compatibilidad para utilizar un no-superusuario con Google Cloud SQL para PostgreSQL

A partir de esta versión, ahora es posible especificar una cuenta de no superusuario al replicar desde Google Cloud SQL para PostgreSQL

Vea también: Utilizar una cuenta sin el rol de superusuario

Nuevas plataformas certificadas y versiones de controladores

• Destino Databricks

  15.4 LTS

• Origen y destino Oracle

  23ai

  Nota informativa

  • El origen y el destino de Oracle 23ai solo se certifican mediante Oracle Standard Edition.
  • La fuente Oracle 23ai solo es compatible con la encriptación de TDE.

• Actualización del controlador Databricks

  Al trasladar datos a Databricks, ahora se requiere Simba Spark ODBC Driver 2.8.2 o posterior. Los clientes deben ejecutar la utilidad de instalación del controlador o instalarlo manualmente.

  Vea también: Configuración del controlador

Finalización del soporte

Se ha interrumpido la compatibilidad con las siguientes versiones de bases de datos:

• PostgreSQL 12.x
• IBM DB2 para z/OS: z/OS 2.4
• Databricks 9.1

Problemas resueltos

• Conector SAP HANA (Database): Fallo al crear la tabla __CT table

  Cuando el modo de replicación se configuraba en Almacenar cambios y la tabla contenía una columna .INCLUDE, la tarea fallaba al crear la tabla __CT table en el destino.

• Tarea de aterrizaje en un lago de datos: daba un error engañoso

  La tarea fallaba y se mostraba el error "No hay licencia para la base de datos" cuando la clave secreta de Azure Data Lake Storage había caducado.

• Conector de destino de Amazon S3: los archivos antiguos no se eliminaban

  Los archivos antiguos no se borraban al ejecutar una nueva tarea. Esto podría hacer que la tarea fallara debido a registros duplicados o a registros no coincidentes.

   

• Fuente SAP HANA (Database): Fallo de conexión debido a una tabla definida por el usuario

  Al seleccionar una tabla definida por el usuario para la replicación se producía un error de "función no admitida: no se puede seleccionar el tipo definido por el usuario". El problema se solucionó excluyendo las tablas definidas por el usuario (que no son compatibles) del selector de tablas.

• Conector de destino Microsoft Fabric: error de recuperación

  A veces se producía un error de "Conversión fallida" tras recuperarse de un error de conexión ocurrido durante el CDC.

• Conector de destino Databricks: fallo de CDC al trabajar sin soporte LOB

  Al desactivar el soporte de LOB, CDC fallaba con un "no hay suficientes columnas de datos" al intentar insertar el cambio en la tabla __CT table. Este error se producía al trabajar en el modo "Almacenar cambios", que es el único disponible para las tareas de destino/aterrizaje.

• Fuente MySQL a destino Snowflake: Fallo CDC

  Durante el CDC, al replicar una columna "NOT NULL" con tipo de datos mediumtext, la tarea fallaba a veces con el siguiente error:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Conector de destino Microsoft Fabric: Error de truncamiento

  Al insertar una columna VARCHAR, se producía el siguiente error de truncado:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  El problema se resolvió multiplicando la columna VARCHAR en Microsoft Fabric.

Nuevas características

Se ha agregado compatibilidad para especificar propiedades de conexión ODBC y JDBC adicionales al conector de destino de Snowflake.

Para más información, vea Propiedades de conexión adicionales.

Problemas resueltos

• Los metadatos no se actualizan

  Cuando se alteraba una clave primaria en el origen, los metadatos de destino no se actualizaban tras una recarga.

• Destino Amazon S3

  Al crear y ejecutar una nueva tarea, los archivos sobrantes de tareas anteriores no se borraban de la ubicación de las tablas.

• Fuente SAP HANA

  Al intentar conectarse a una fuente SAP HANA utilizando un CDC basado en registros se producía el siguiente error:

  Cannot select user-defined type

2024.5.41

Parche

Este parche resuelve los siguientes problemas:

• Amazon S3, Google Cloud Storage y destinos Qlik Cloud: citar valores de cadena vacíos

  Las cadenas vacías se entrecomillarán ahora en el archivo CSV para diferenciarlas de los valores NULL.

• Destino Databricks: desajuste de datos

  En determinados escenarios se producía un desajuste entre los datos de origen y los de destino.

• Destino Databricks: fallo de CDC ocasionado por desactivar el soporte LOB

  Desactivar el soporte LOB en la tarea de destino/aterrizaje provocaba que el CDC fallara con el siguiente error (extracto):

  Cannot write to '<name>__ct', not enough data columns

• Destino Microsoft Fabric: un error de conexión provocaba un fallo de CDC

  La aplicación de cambios en el destino tras recuperarse de un error de conexión a veces fallaba con un error de "Conversión fallida".

2024.5.35

Parche

Este parche resuelve los siguientes problemas:

• Problema de conversión de tipo de datos en Microsoft Fabric

  Durante una tarea de almacenamiento, el tipo de datos NVARCHAR(3500) se convertía incorrectamente en VARCHAR(10500) en lugar de VARCHAR(8000) (el máximo permitido), lo que provocaba un error.

• Fuente IBM DB2 para LUW: Compatibilidad con el tipo de datos GRAPHIC con la página de códigos 941 (japonés)

  Cuando la tabla de datos fuente contenía un tipo de datos GRÁFICO con la página de códigos 941 (japonés), se producía el siguiente error (extracto):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Parche

Tras actualizar el nombre de usuario y la contraseña en el conector de origen de Workday Reports y volver a cargar la tarea, se producía un error de "Nombre de usuario o contraseña no válidos" aunque las credenciales fueran correctas. Este problema ya está resuelto.

Parche

Este parche resuelve los siguientes problemas:

Seguridad

Oracle Java Standard Edition 17.0.8, que se suministra con Data Movement gateway tiene varias vulnerabilidades conocidas. Este parche sustituye la versión 17.0.8 por la 17.0.12, con lo que se resuelven los problemas.

Fuente Salesforce

Durante el CDC, por cada cambio se añadirían varias operaciones INSERT a la tabla _ct asociada (en lugar de una sola). Esto aumentaría significativamente el número de registros en la tabla _ct.

Estándar

Parche

Este parche resuelve los siguientes problemas:

Vulnerabilidad del controlador JDBC de Snowflake

El 14 de agosto de 2024, Snowflake emitió un aviso de seguridad sobre los controladores JDBC de Snowflake >= 3.2.6 y <= 3.19.1, algunos de los cuales se utilizaban con versiones anteriores de Data Movement gateway. La vulnerabilidad se ha parcheado en Snowflake JDBC Driver 3.20, que es la versión que se instala ahora con la utilidad de instalación del controlador. Los clientes actuales deben actualizar su controlador lo antes posible, siguiendo el procedimiento de Actualización del controlador descrito en Configuración del controlador.

Fuente Oracle

• Al utilizar el evento Rehacer 11.22, se podían producir fallos de INSERT al procesar múltiples INSERT en una página comprimida que no estaba comprimida antes de los INSERT.
• En casos excepcionales, el análisis incorrecto de eventos DELETE en el registro de rehacer generaba una advertencia: "El evento DELETE del registro de rehacer contiene una estructura desconocida" seguida de varios problemas.

Origen: SAP Extractor

Las instrucciones del archivo YAML se han actualizado para reflejar la versión correcta del conector SAP Java.

Destino de Snowflake

Al utilizar Data Movement gateway para conectarse al destino de Snowflake a través de un proxy, la conexión fallaba dando el siguiente error:

500 Failed to connect to Data Movement Gateway

Parche

Parche

Problemas resueltos

• Fuente Oracle

  • A veces se producían fallos en múltiples operaciones INSERT cuando se usaba el evento Rehacer 11.22.

  • Tras actualizar Oracle 19g al parche de Julio 2024, a veces no se capturaban las operaciones de actualización UPDATE y se mostraba la siguiente advertencia:

    A compressed row cannot be parsed

• Destino Snowflake

  Al configurar los parámetros de la tarea para crear el esquema de la tabla de control, la tarea daba el siguiente error:

  Failed to delete directory

• CDC programado

  Cuando una tarea estaba programada para ejecutarse periódicamente, a veces daba el siguiente error:

  The task stopped abnormally

• Tareas de transformación y almacenamiento atascadas.

  Las tareas de transformación y almacenamiento en ocasiones permanecían en cola por un período de tiempo excesivamente largo.

• Gestor de metadatos

  Las tareas fallaban al usar el indicador de función use_manipulation_pk_for_apply con la replicación Almacenar cambios.

• El tiempo de espera prolongado provoca problemas con fuentes de aplicaciones SaaS.

  Se ha ampliado el tiempo de espera de S3 a 6 horas para evitar problemas derivados de tiempos de espera prolongados, como la pérdida del token para descargar los archivos.

Estándar

Mejoras

• Se ha agregado la autenticación mediante par de claves al conector del objetivo en Snowflake.

  El par de claves proporciona un método de autenticación más robusto que el de usuario y contraseña para conectarse a Snowflake con sus cuentas de servicio. Este enfoque se recomienda para cargas de trabajo como la carga de datos (tareas de replicación o aterrizaje de datos) y transformaciones.

• Recuperar metadatos de múltiples tablas en paralelo.

  En versiones anteriores, al actualizar los metadatos de un conjunto de datos previo o recién añadido, a veces se producía un error. Esta mejora garantiza que se puedan recuperar metadatos de múltiples tablas en paralelo sin ningún problema.

Problemas resueltos

• Tipo de datos DECIMAL asociado erróneamente a STRING en Google BigQuery.

  Cuando una tabla de origen contenía una columna con un tipo de datos DECIMAL, por ejemplo, DECIMAL (38, 20), la preparación de la tarea de almacenamiento en Google BigQuery fallaba con el siguiente error (extracto):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  El problema se ha resuelto asignando el tipo de datos DECIMAL de origen a DECIMAL en Google BigQuery.

• Error de regla de esquema

  Después de realizar cambios en una regla de un esquema existente en una tarea de datos, se produciría el siguiente error:

  QRI SQL error not implemented

• Tabla /QTQVC/QRI ausente del transporte SAP

  Al preparar una tarea de ubicación de destino que se conectaba a una fuente de aplicación SAP, la tarea se completaba con éxito, pero se informaba del siguiente error en el archivo de registro repsrv.log:

  Invalid object name 'hk1./QTQVC/QRI'

Estándar

Mejoras

• Compatibilidad con cambios de metadatos en tareas de replicación y aterrizaje de lagos (lake) sin necesidad de soltar y volver a crear todas las tablas

  Antes, cuando se producía un cambio en los metadatos, todas las tablas se eliminaban y se volvían a crear aunque el cambio de metadatos no afectara a todas las tablas. Ahora, solo se eliminan y se vuelven a crear las tablas modificadas, lo que mejora el rendimiento.

• Compatibilidad con la carga automática de nuevas tablas en tareas de replicación

  Las tablas creadas en la base de datos de origen durante la tarea de replicación de datos que coincidan con el patrón de inclusión, ahora se capturarán automáticamente durante la captura de datos de cambios (CDC).

• Mejoras del origen Microsoft SQL Server (MS-CDC)

  • Preservación de la marca de tiempo y del ID de transacción

    Antes, al leer varias transacciones de Microsoft SQL Server (MS-CDC), Qlik Talend Data Integration solo conservaba el ID de transacción y la marca de tiempo de la primera transacción. En el destino, esto daba la apariencia de que los registros formaban parte de una única transacción. Ahora, Qlik Talend Data Integration conserva el ID de transacción original y la marca de tiempo de cada registro individual. Esto beneficia a los clientes que desean aprovechar las columnas de cabecera ID de transacción y Marca de tiempo en las tablas de cambios.

  • Orden de bytes de ID de transacción

    Antes, los bytes del identificador de transacción se codificaban en orden inverso. A partir de esta versión, los bytes se codifican en el orden correcto. Los clientes de información que prefieran conservar el comportamiento existente pueden hacerlo utilizando parámetros internos. Para obtener más información, contacte con el soporte técnico de Qlik.

• Compatibilidad del almacenamiento en caché de la autenticación conectable SHA-2 con MySQL

  Qlik Talend Data Integration ahora admite el almacenamiento en caché de la autenticación conectable SHA-2 (caching_sha2_password) cuando se trabaja con fuentes o destinos MySQL, ya sea en las instalaciones o en la nube. En versiones anteriores, solo se admitía la autenticación conectable nativa (mysql_native_password).

• Cambios en la asignación de tipos de datos de Amazon Redshift

  Los tipos de datos BYTES y BLOB se asociarán ahora a VARBYTE en Amazon Redshift en lugar de a VARCHAR.

Plataformas, puntos de conexión y versiones de reciente certificación

• Fuentes de datos

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 para z/OS 3.1

• Plataformas de destino

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Controladores

  • Controlador SQL Server ODBC 18.3

Finalización del soporte

Se ha interrumpido la compatibilidad con las siguientes versiones de bases de datos:

• Todas las versiones y controladores de Oracle anteriores a Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 para LUW 10.5
• IBM DB2 para z/OS: z/OS 2.3

Problemas resueltos

• Fuente SAP (aplicación)

  Cuando un cambio de documento de clúster capturado borraba todas las filas de todas sus tablas capturadas, se producía una operación DELETE no realizada y se encontraban mensajes de aserción innecesarios.

• Vulnerabilidad de seguridad

  Actualizada Microsoft Authentication Library para Java (MSAL4J) y Bouncy Castle a versiones sin vulnerabilidades conocidas.

• Destino de Snowflake

  • La tarea fallaba a veces cuando se utilizaba el almacenamiento interno Snowflake.
  • La tarea fallaba cuando el nombre del esquema de destino era Katakana japonés.

• Fuente Oracle

  Al reanudar una tarea con una fuente Oracle, la tarea continuaba esperando un registro de rehacer activado borrado en lugar de fallar con un error apropiado.

Estándar

Mejoras

• Esquema de metadatos de Snowflake

  A partir de esta versión, se creará el esquema de metadatos de Snowflake (para archivos preparados) si no existe.

Problemas resueltos

• Tras realizar un cambio en una regla de Renombrar conjunto de datos (que concatenaba el nombre de la tabla con el nombre del esquema) y agregarse una vista a la tarea de aterrizaje, la operación Preparar fallaba con el siguiente error:

  QRI SQL error not implemented.

• Se actualizó el componente java_file_factory a una versión sin vulnerabilidades conocidas.
• Se actualizó org.postgresql:postgresql a una versión sin vulnerabilidades conocidas.
• Al mover datos a SQL Server, la operación de preparación fallaba cuando los nombres de índice excedían los 128 caracteres. El problema se resolvió modificando la lógica para crear nombres de índice más cortos.

• Al mover datos desde SQL Server, un nombre de columna que faltaba en las definiciones de la tabla ocasionaba un bucle de notificación infinito en el archivo repsrv.log, dando el siguiente mensaje:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Estándar

Mejoras

• Recuperación paralela de metadatos

  Se ha añadido la posibilidad de recuperar simultáneamente los metadatos de varias tablas.

• Mejoras en el rendimiento de la supervisión

  La información de supervisión de las tareas de aterrizaje y replicación se actualizará ahora cada 10 segundos (en lugar de cada 60 segundos), lo que proporciona una indicación más precisa de su estado actual.

• Incorporada una nueva región

  Japón ahora es compatible como región inquilina en Qlik Cloud.

Problemas resueltos

• El intervalo de reintentos entre la pasarela de datos y Qlik Cloud aumentaba continuamente, pero nunca se restablecía (a menos que se reiniciara el servicio).
• Al mover datos desde una fuente de aplicación SaaS, las tablas a veces entraban en un estado de error durante la recarga.

• Las tareas con una fuente MySQL a veces fallaban con el siguiente error durante el CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Anteriormente, los eventos de auditoría de CDC solo se registraban para las tareas de aterrizaje. Ahora, también se registrarán para las tareas de replicación.
• Al trasladar datos desde SQL Server (MS-CDC), las tareas con numerosas tablas tardaban a veces varias horas en iniciarse.

• Cuando la tabla de origen contenía columnas CLOB y el valor «Limitar tamaño LOB» superaba 10240, la replicación a Snowflake fallaba con el siguiente error:

  Invalid character length: 0

Estándar

Soporte para instalar Data Movement gateway en Red Hat 9.x

Los clientes ya pueden instalar Data Movement gateway en Red Hat 9.x o en cualquier distribución de Linux correspondiente y compatible.

Configuración de Data Movement gateway

Cambios en los comandos de servicio de Data Movement gateway

Los comandos para detener, iniciar y comprobar el estado del servicio de Data Movement gateway han cambiado.

Comandos de servicio de Data Movement gateway

Cambios en la asignación de tipos de datos de Amazon Redshift

• El tipo de datos BOOLEAN, que se asignaba a VARCHAR(1) en Amazon Redshift, ahora se asignará a BOOLEAN.
• Los tipos de datos BYTES y BLOB, que se asignaban a VARCHAR(1) en Amazon Redshift, ahora se asignarán a VARBINARY (longitud).

Nuevas bases de datos, versiones de bases de datos y versiones de controladores compatibles

Esta sección detalla las nuevas bases de datos compatibles, las versiones de las bases de datos y las versiones de los controladores.

• Nuevas versiones y ediciones de fuentes de datos compatibles

  Ahora se admiten las siguientes versiones de fuentes de datos:

  • Azure Database for MySQL - Flexible Server (Compatible a través del conector de origen MySQL)
  • MariaDB 10.4 - 10.11 (anteriormente 10.4 y 10.5)

• Nuevas plataformas y ediciones de datos de destino compatibles

  Ahora se admiten las siguientes versiones de destino de datos:

  • Azure Database for MySQL - Flexible Server (Compatible a través del conector de destino MySQL)
  • Databricks: Databricks 13.3 LTS y Serverless SQL Warehouse

• Nueva versión del controlador SAP HANA compatible

  Los clientes con una fuente SAP HANA que deseen instalar Data Movement gateway en Red Hat Linux 9.x, deben instalar SAP HANA ODBC 64-bit Driver versión 2.0.19 o posterior.

Versiones de bases de datos que han dejado de ser compatibles

Esta sección ofrece información sobre las versiones de bases de datos que ya no son compatibles.

• Se ha interrumpido la compatibilidad con las siguientes versiones de fuentes de datos:

  • Oracle 11.x
  • SAP HANA 1.0

Problemas resueltos

• Instalar Data Movement gateway sin proporcionar una contraseña de servidor no permitiría configurar las URL del espacio inquilino y del proxy en un solo comando.
• Mover datos desde una fuente de datos de Salesforce (aplicación SaaS) imprimiría un gran número de advertencias redundantes, lo que afectaría al rendimiento de la carga de datos.
• Al recuperar cambios para una fuente de datos de aplicación SaaS, si se producía un error al recuperar cambios para una de las tablas, dicha tabla se suspendía y se eliminaba de la canalización. Ahora, al encontrar un error, la tarea intentará recuperar los cambios hasta por tres veces antes de suspender la tabla.

Estándar

Nuevos destinos de lagos de datos para proyectos de replicación

Seguimos ampliando los destinos compatibles con el proyecto de replicación en Qlik Cloud Integración de datos. Además de Amazon S3, ahora puede elegir Azure Data Lake Storage (ADLS) y Google Cloud Storage (GCS) para entregas en lago de datos, como formatos de archivos Parquet, JSON o CSV.

Problemas resueltos:

• Conector de origen IBM DB2 para LUW

  La conexión a IBM DB2 para LUW solía fallar cuando el tamaño de los archivos necesarios para la conexión (como el certificado de cliente SSL y el archivo de almacén de claves) excedía los 4 KB.

• Controlador para conectores de origen IBM DB2 para LUW e IBM DB2 para z/OS

  La instalación del controlador DB2 fallaba al utilizar la utilidad de instalación del controlador.

Estándar

Compatibilidad con Microsoft Fabric como objetivo de canalización de datos

Microsoft Fabric se une a la lista cada vez mayor de almacenes de datos que pueden usarse como objetivos en proyectos de canalización de datos.

Problemas resueltos:

Se actualizó la versión del controlador Snowflake en la utilidad de instalación del controlador.

Estándar

Mayor compatibilidad con conexiones privadas

Se puede utilizar una conexión privada para garantizar que el tráfico de datos siga siendo seguro y conforme a las normas. Simplifica tanto la gestión de la red como la seguridad de su nube privada virtual VPC (Virtual Private Cloud) sin necesidad de abrir puertos de cortafuegos de entrada, dispositivos proxy o tablas de enrutamiento. Qlik Cloud Data Integration ya admite conexiones privadas a objetivos de canalización de datos Snowflake, Microsoft SQL Server y Amazon S3. Con esta versión, los clientes pueden utilizar además conexiones privadas al trasladar datos a Databricks, Microsoft Azure Synapse, Google BigQuery y Amazon Redshift.

Fuentes de datos basadas en PostgreSQL

• Todas las fuentes de datos basadas en PostgreSQL: compatibilidad con tipos de datos multirrango: Los siguientes tipos de datos multirrango ahora son compatibles con todas las fuentes de datos basadas en PostgreSQL (locales y en la nube).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Fuente de datos de AWS Aurora Cloud para PostgreSQL: compatibilidad con roles de no superusuario: El usuario especificado en el conector PostgreSQL ya no necesita tener el rol de superusuario para trasladar datos desde una fuente de datos de AWS Aurora Cloud para PostgreSQL. Esto es especialmente útil para organizaciones con políticas de seguridad corporativas que les impiden conceder acceso de superusuario a usuarios sin privilegios.

Fuente de datos Microsoft Azure SQL (MS-CDC): Compatibilidad con la replicación geográfica

Los clientes que trasladan datos desde una fuente de datos Microsoft Azure SQL (MS-CDC) ahora pueden utilizar una base de datos Geo Replica.

Fuente de datos Oracle: Compatibilidad con HSM (módulo de seguridad de hardware)

Qlik Cloud Integración de datos ahora admite la lectura de datos de espacios de tablas y columnas cifradas de Oracle durante CDC.

Nuevas regiones compatibles

Qlik Cloud Integración de datos ahora admite espacios empresariales inquilinos en las regiones de Alemania y Reino Unido.

Nuevas versiones compatibles y software de terceros

Esta sección enumera las versiones de controladores y bases de datos recientemente admitidas.

• Compatibilidad con más versiones de fuentes de datos. Ahora se admiten las siguientes versiones de fuentes de datos:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (cuando se trabaja con IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Compatibilidad con más versiones de plataformas de datos de destino. Ahora se admiten las siguientes versiones de destino de datos:

  • Databricks (almacenamiento en la nube): Databricks 12.2 LTS y Databricks SQL Serverless

• Versiones de controladores. Ahora se admiten las siguientes versiones del controlador ODBC:

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ e IBM DB2 for LUW
  • Simba ODBC driver 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64-bit 8.0.32

Controlador de Microsoft SQL Server: actualización requerida

Los clientes que transfieren datos hacia o desde Microsoft SQL Server deben actualizar la versión del controlador ODBC de SQL Server a 18.x o posterior. Tenga en cuenta que continuar utilizando el controlador ODBC de SQL Server 17.x puede generar errores de datos. La actualización del controlador se puede realizar utilizando la utilidad de instalación del controlador o manualmente. Para ver instrucciones, consulte la Configuración del controlador.

Versiones de bases de datos que han dejado de ser compatibles

Esta sección ofrece información sobre las versiones de bases de datos que ya no son compatibles.

• Versiones de fuentes de datos que han dejado de ser compatibles. Se ha interrumpido la compatibilidad con las siguientes versiones de fuentes de datos:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versiones de plataformas de datos de destino que han dejado de ser compatibles. Se ha interrumpido la compatibilidad con las siguientes versiones de destino de datos:

  • Databricks 9.1 LTS

2022.11.74

Estándar

15 de agosto de 2023

Soporte a la replicación

Adoptamos un enfoque centrado en la nube que permite una rápida innovación y adopción. Sin embargo, eso no significa que estemos únicamente en la nube. Como parte de nuestro compromiso continuo de mejorar el valor a largo plazo que aportamos a nuestros clientes, nos complace anunciar el lanzamiento de un nuevo caso de uso de Replication al crear proyectos de datos. El nuevo caso de uso de Replication se suma a la capacidad que ya ofrecemos de crear canalizaciones de datos para todas sus necesidades de integración de datos, como la modernización de los almacenes de datos.

El proyecto de replicación admite la replicación de datos en tiempo real desde orígenes de datos admitidos a un destino admitido.

A partir de esta última versión, el primer objetivo que admite la replicación de datos en tiempo real es Microsoft SQL Server. Además de admitir Microsoft SQL Server en las instalaciones, también se admiten los siguientes proveedores de nube:

• Locales
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance y Microsoft Azure Database)

Objetivo de Microsoft Azure Synapse Analytics: se requiere actualización del controlador

Los clientes que transfieren datos a Microsoft Azure Synapse Analytics deben actualizar su versión del controlador ODBC de SQL Server a 18.x o posterior. Tenga en cuenta que continuar utilizando el controlador ODBC de SQL Server 17.x puede generar errores de datos. La actualización del controlador se puede realizar utilizando la utilidad de instalación del controlador o manualmente. Para ver instrucciones, consulte la Configuración del controlador.

Nueva opción "Cargar datos de fuente" para fuentes de aplicaciones SaaS

Se ha incorporado una nueva opción Cargar datos de fuente, que permite a los clientes leer sus datos directamente de la fuente de origen durante una Carga completa, en lugar de utilizar los datos almacenados en caché.

Para más información sobre esta opción, incluidos los casos de uso, vea Configuraciones de aterrizaje en destino.

Certificados de CA actualizados

Data Movement gateway 2022.11.74 incluye certificados de CA actualizados, que son necesarios para autenticar el espacio empresarial inquilino de Qlik Cloud. Los certificados de CA actualizados también brindan soporte para las regiones de Irlanda y Fráncfort. Por lo tanto, los clientes con espacios empresariales inquilinos de Qlik Cloud en Irlanda o Fráncfort que deseen utilizar Qlik Cloud Data Integration deben actualizar a esta versión.

Problema resuelto

Las tareas que transferían datos de una fuente de Oracle a veces fallaban cuando una tabla ancha contenía columnas sin usar o no compatibles, o columnas LOB que no estaban replicadas.

2022.11.70

Estándar

28 de junio de 2023

Se ha mejorado la utilidad de instalación de controladores para clientes SAP

En versiones anteriores, los clientes necesitaban ejecutar el comando "source arep_login.sh" al instalar clientes SAP. A partir de esta versión, ya no es necesario ejecutar este comando.

Certificados de CA actualizados

Esta versión incluye certificados de CA actualizados, que son necesarios para autenticar el espacio empresarial inquilino de Qlik Cloud.

Problemas resueltos

• Cuando una tarea de replicación en Data Movement gateway falla y se recupera automáticamente, el estado recuperado no se comunica al activo de datos de ubicación de destino en Qlik Cloud.

• El cifrado de extremo a extremo para Data Movement gateway no estaba habilitado de forma predeterminada y era controlado por indicadores de tiempo de ejecución.

2022.11.63

Estándar

2 de mayo de 2023

Utilidad de instalación de controladores

Esta versión incluye una utilidad de instalación de controladores que elimina la necesidad de instalar y configurar los controladores manualmente. La nueva utilidad acorta el proceso de instalación y reduce significativamente la posibilidad de error del usuario. Cuando se ejecuta la utilidad, el controlador requerido se descarga automáticamente, si es posible, y se instala. Si el controlador no se puede descargar (los controladores DB2 requieren inicio de sesión, por ejemplo), todo lo que necesita hacer es descargar el controlador, copiarlo en una carpeta específica en la máquina de la pasarela de movimiento de datos y ejecutar la utilidad.

Para ver un ejemplo del uso de la utilidad de instalación de controladores para instalar un controlador PostgreSQL, vea Requisitos previos

Plataforma de datos en la nube de Snowflake

El conector Snowflake ahora admite caracteres emoji de 4 bytes.

Compatibilidad con Azure Database for PostgreSQL: servidor flexible como fuente de datos

El conector de PostgreSQL ahora puede mover datos de Azure Database for PostgreSQL: servidor flexible.

Compatibilidad con Cloud SQL para PostgreSQL como fuente de datos

El conector de PostgreSQL ahora puede mover datos de Cloud SQL para PostgreSQL.

Compatibilidad con versiones de orígenes de datos

Esta versión ahora es compatible con las siguientes versiones nuevas de fuentes de datos:

• PostgreSQL 14
• DB2 (para IBM DB2 para z/OS) 12.1
• IBM DB2 para z/OS 2.5

Compatibilidad con versiones de plataformas de datos

Databricks 11.3 LTS

Se ha discontinuado el soporte para las siguientes versiones de fuentes de datos

Las siguientes versiones de fuentes de datos ya no son compatibles:

• DB2 (para IBM DB2 para z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemas resueltos

Esta versión resuelve los siguientes problemas:

• Fuente de datos Oracle: Al detener y reanudar una tarea, la tarea a veces fallaba con el error: "Error al establecer la posición de la transmisión en el contexto".
• Fuente SAP Application: Los cambios no se capturaban durante la tarea de ubicación de destino.