Mise à niveau et désinstallation de Passerelle de déplacement des données

Problèmes résolus

• Agrégation des statistiques de Chargement complet partiel

• Databricks Lakehouse (Delta) / Databricks (Cloud Storage) – Échec de la connexion test ODBC avec un proxy (nom d'utilisateur/mot de passe) sur tous les environnements intermédiaires

• Databricks Lakehouse (Delta) Volume - Échec de suppression du répertoire en raison de l'erreur CLOUD_FILE_NOT_FOUND

• Pour le mode application, la tâche de Chargement complet uniquement doit activer le DDL

• Création par la cible SAP Application d'un caractère spécial dans les données lors du chargement au format de données Snowflake

• Préparation par la cible S3 Chargement complet d'enregistrements en double sur les mêmes fichiers json ou sur des fichiers json différents avec un SAP Extractor source

• Absence de message d'erreur pertinent lorsque la table est suspendue

• Job SAP ODP cible OData terminé, mais sans achèvement de Chargement complet

• Support de SQL Server 2012 (ignorer la vérification Always-Encrypted)

• Limitation de LOCAL INFILE au mode charger uniquement pour les cibles MySQL/MemSQL (correctif LFI)

• Source SAPDB – Des données incorrectes (données manquantes, doublons) peuvent survenir pour une table lorsqu'une autre table reçoit la commande LOAD TABLE.

• Support de la modification de la longueur du type de données dans Databricks delta

• BigQuery Streaming – Valeurs nulles tronquées dans les champs de type de données STRING lors de la concaténation de caractères

• Échec de la recherche de LOB PostgreSQL si la clé primaire contient TIMESTAMPTZ

• Lorsqu'un appel DBCC dans SQL Server Deferred Constructor renvoie une erreur récupérable, nous devons nous reconnecter une fois et réessayer, en raison du possible délai d'expiration

• Source HANA, type de données DECIMAL dans la cible supprimant les valeurs d'échelle, ce qui entraîne une incohérence des données

• Source SAP ODP dans la version 2025.11 si l'option INCLUDE a été utilisée pour le modèle de sélection de tables. Le Chargement complet met plus de temps à se terminer.

• SQL Server Always Encrypted : la table passe en mode suspension dans n'importe quelle tâche vers n'importe quelle cible en raison d'un fichier CSV endommagé

• Support de rollback to savepoint SAP HANA

• Échec d'une tâche en raison d'un problème d'expiration de jeton lors de l'utilisation de l'authentification par un principal de service Azure Active Directory

• Échec d'exécution de la ressource. Le message d'erreur devrait afficher la table manquante dans le journal.

• Redshift - la longueur de colonne n'est pas supportée

• Les déclencheurs sont abandonnés de manière incorrecte

• Il peut arriver que les opérations Update Oracle sur les lignes compressées n'incluent pas de valeur de colonne de clé primaire dans l'image suivante, entraînant l'utilisation d'une valeur NULL dans la cible

• Tâche de dépôt temporaire - le retrait et l'ajout de la même table ne créent pas la table _ct si elle est abandonnée manuellement de la BdD cible

• Ajout d'un indicateur UTC pour la valeur de colonne datatime dans les fichiers S3 Parquet

• Enregistrements manquants lors du détachement/rattachement de la cible après une erreur de recherche de LOB

• DB2 Z/os est vert, mais aucune modification n'est transférée

• DataBricks Delta remplace le zéro binaire des chaînes de caractères par un espace

• La commande alternateBackupFolderTransportCommand ne conserve pas la casse

• Mode Enregistrement complet SAP HANA - il se peut que les déclencheurs échouent si QTREP/TRAN_LOG est plein

• Impossible d'utiliser le chargement parallèle sur la table SAP VBRP pour Databricks Lakehouse (Delta)

• DataBricks (Cloud Storage) remplace le zéro binaire des chaînes de caractères par un espace

• SAPDB - nouvelle occurrence de tables présentant des valeurs NULL dans la clé primaire pour certains événements

• Plantage lors de la recherche de LOB lorsque l'ordre des colonnes dans SAP et dans les tables backend est différent

• Erreur lors de la conversion du fichier csv en fichier parquet

• Lors de l'utilisation de Standby Oracle, omission de la séquence Online redo log entraînant une perte de données

• SAPDB - Plantage de la tâche lors de la recherche de LOB lorsque les métadonnées requises n'étaient pas encore lues

• Lecture Oracle à partir d'Online redo log alors que Redo n'est pas encore préparé.

• Oracle 26ai + chiffrement TDE - Analyse incorrecte du REDO log de modifications CDC chiffrées

• Ajout du support de la région Canada

• Support de la connexion proxy https

• Lors de l'utilisation d'une passerelle gérée, le package de diagnostic inclut uniquement le dernier log

• Source SQL Server (MS-CDC) – Requête de modification non valide générée pour les colonnes de géométrie lorsqu'une transformation de renommage de colonne est configurée

• Source Stitch – Fichiers de table de suivi des modifications non fermés au démarrage ou à la fin de Chargement complet

• Source et cible Teradata – Mise à jour de la documentation de configuration du pilote

• Sécurité – Mise à jour de netty-codec-http vers 4.1.136.Final

• Sécurité – Mise à jour de lz4-java vers 1.11.1

• Sécurité – Mise à jour de jackson-core vers 2.18.8

• Sécurité – Mise à jour de jetty-security vers 12.1.10

• Sécurité – Mise à jour de Log4j dans les points de terminaison sources SAP ODP et Salesforce

• Support de errorMessage pour fullLoadPartial

• La tâche cible Snowflake affichait de nombreuses erreurs « Object '<>."attrep_status"' does not exist or not authorized » (L'objet '<>."attrep_status"' n'existe pas ou n'est pas autorisé).

Problèmes résolus

• Problème de syntaxe dans la table de contrôle attrep_history sur Databricks et Snowflake

  Après la mise à niveau vers Passerelle de déplacement des données 2025.11.40, les opérations INSERT dans la table de contrôle attrep_history entraînaient une erreur de syntaxe.

• Source Oracle

  La sélection de table get_table_list échouait en affichant le code d'erreur Oracle 1406 lors de la récupération des métadonnées de table dans les environnements Oracle Autonomous Database avec la compression activée.

• Échec de la ressource Replicate

  Amélioration du message d'erreur de sorte qu'il affiche le nom de la table manquante dans le log lorsqu'une tâche de dépôt temporaire ne parvient pas à s'exécuter en raison d'une table manquante.

• Tâche de dépôt temporaire - Table de suivi des modifications

  La suppression et le rajout d'un jeu de données dans une tâche de dépôt temporaire ne créaient plus la table de suivi des modifications si elle était abandonnée manuellement dans la base de données cible.

• Source SQL Server - Compatibilité Always Encrypted

  Ajout du support de SQL Server 2012 (à l'aide d'une propriété interne) en ignorant le contrôle de validation Always Encrypted (Toujours chiffré), qui n'est pas supporté dans les versions de SQL Server antérieures à 2016.

• SQL Server Always Encrypted

  Résolution d'un problème dans lequel les tables étaient suspendues dans n'importe quelle tâche vers n'importe quelle cible en raison de la gestion de fichiers CSV endommagés lors de l'utilisation de colonnes Always Encrypted (Toujours chiffré).

• Sécurité

  Mise à jour de la bibliothèque libcurl pour résoudre la vulnérabilité CVE-2025-14819.

• Données enregistrées avec un nom de base de données contenant un trait d'union

  Résolution d'un problème dans lequel la préparation de tâche de données enregistrées échouait lorsque les noms de base de données contenaient des traits d'union.

• Cible Snowflake - délai d'expiration de COPY INTO

  Résolution des erreurs de dépassement du délai d'expiration qui se produisaient lors de l'étape COPY INTO durant le chargement de jeux de données volumineux dans Snowflake.

Relooking du pilote Databricks

À des fins d'alignement sur Databricks, la présentation du pilote permettant d'utiliser le connecteur Databricks a été revue.

Support de nouvelles versions des pilotes Snowflake et Google BigQuery

Cette version lance le support des nouvelles versions suivantes des pilotes :

• Snowflake : Pilote ODBC Snowflake 3.15.0 (64 bits)

• Google BigQuery : Pilote ODBC Simba version 3.1.6.1026

Support du type de données VARIANT de Databricks

À partir de cette version, les types de données suivants seront mappés vers le type de données VARIANT natif de Databricks :

• STRING

• WSTRING

• NCLOB

• CLOB

Problèmes résolus

• Source IBM DB2 pour iSeries

  Après la reprise d'une tâche, la capture des modifications d'une table contenant des colonnes décimales binaires entraînait le plantage de la tâche.

• Source PostgreSQL - problème lié à CDC

  Après la reprise d'une tâche qui n'avait capturé aucune modification la minute précédant son arrêt, aucune modification n'était capturée.

• Connecteur SSH - problème lié au test de la connexion

  Un clic sur Tester la connexion dans le connecteur SSH ne renvoyait pas d'erreurs liées à la connectivité SSH en cas de problèmes avec SSH.

• Cible Snowflake - problème de flux Snowpipe

  Lors de l'utilisation de Flux Snowpipe comme méthode de chargement, le chargement de tables très volumineuses consommait une quantité excessive de mémoire, ce qui finissait par planter la tâche et créer une boucle de chargement et de plantage.

• Source Microsoft SQL Server (log-based) - erreur peu claire

  Lors de la spécification d'un dossier de sauvegarde alternatif ne contenant pas les journaux requis, la tâche s'arrêtait en affichant un message peu clair au lieu d'émettre un avertissement et de continuer.

• Sécurité

  Le composant org.apache.logging.log4j:log4j-core a été mis à niveau à la version 2.25.3 en raison de vulnérabilités connues rencontrées avec les versions installées.

• Source SAP ODP - problème de filtrage

  Le filtre SAP ODP n'était pas transmis à SAP lorsqu'il était défini sur un extracteur fonctionnant en mode CDC uniquement.

• Source SAP ODATA - problème de filtrage

  La définition de plus d'une plage de filtrage sur une seule colonne entraînait l'échec de l'opération Chargement complet.

Extension du support du chargement parallèle

La fonctionnalité de chargement parallèle supporte désormais la cible Databricks.

Réplication de segments de jeu de données en parallèle

Table de contrôle de l'historique DDL : support de nouvelles cibles

La table de contrôle attrep_ddl_history (Historique DDL) contient un historique des modifications DDL qui se sont produites sur la source lors de la réplication dans la cible.

Les points de terminaison cibles suivants sont désormais supportés :

• Google BigQuery
• Google Cloud Alloy DB pour PostgreSQL
• Google Cloud SQL pour PostgreSQL
• PostgreSQL (sur site)

Historique DDL

Amélioration de la colonne d'en-tête « [header]__change_mask »

Lors de l'utilisation de tables de modifications au format Parquet, la colonne d'en-tête [header]__change_mask ajoute désormais des zéros à gauche (au lieu de le faire à droite) pour s'aligner sur la règle Little Endian (Petit-boutiste) de stockage des octets dans l'ordre inverse.

Points de terminaison cibles affectés :

• Amazon S3

• Google Cloud Storage

Tables de modifications

Nouvelles versions de sources et de cibles de données supportées

• Cible Kafka : 4.0.x

• Source IBM z/OS : 3.2

Nouvelles versions de pilotes supportées

• Pilote ODBC Microsoft 18.5
• MySQL 8.4

Fin de vie pour Microsoft Azure Database pour MySQL et Microsoft Azure Database pour PostgreSQL

Le support de Microsoft Azure Database pour MySQL et de Microsoft Azure Database pour PostgreSQL, officiellement rendus obsolètes par Microsoft, a été arrêté.

Versions de sources et de cibles de données en fin de vie

• Cible Databricks : 10.4 LTS et 11.3 LTS

• Source et cible MariaDB : 10.5

• Source et cible PostgreSQL : 13.x

• Source et cible MySQL : 8.1

Versions de pilotes en fin de vie

• Pilote ODBC Microsoft 18.3

Problèmes résolus

• Source SAP (Application)

  Les tâches configurées de sorte à utiliser une source SAP (Application) avec un processus backend qui générait des événements auto-validés se bloquaient parfois après l'actualisation d'une table.

• Cible de base de données SQL Microsoft Azure

  Dans une réplication homogène, en cas de travail en mode « Application transactionnelle » ou en mode « Application avec optimisation par lots » passant en mode un par un, il se produisait une erreur « 0 ligne affectée » lorsqu'une colonne DATETIME faisait partie de la clé primaire sur la cible.

• Source Oracle

  La tâche Oracle se bloque en mode Chargement complet lorsqu'une table contient une colonne long raw et que la taille de LOB maximale est supérieure ou égale à 64 Ko.

• Source SAP Extractor - Boucle de déchargement en raison de l'annulation de l'opération CDC

  Lors du chargement d'une table, les tâches CDC SAP de longue durée sont parfois annulées. Cela pouvait entraîner un état d'erreur récupérable dans lequel le déchargement ne se terminait jamais.

• Sécurité

  Les composants suivants ont été mis à niveau en raison de vulnérabilités connues :

  • Mise à niveau de JRE de 17.0.17 vers 17.0.18

  • Mise à niveau de org.eclispe.jetty:jetty-io de 11.0.25 vers 11.0.26

  • Mise à niveau de org.apache.logging.log4j:log4j-core de 2.23.1 vers 2.25.3

• SAP ODP

  L'erreur suivante se produisait lors d'une opération CDC lorsqu'un filtre était défini pour une table :

  Invalid value for parameter "I_DIMNAME"

• SAP Extractor

  Delta cessait de fonctionner si la tâche était arrêtée et reprise alors qu'une des tables était en état de chargement.

• Source d'application SaaS (Workday Reports)

  • Lors d'une opération Chargement complet, lors de la connexion au dossier intermédiaire S3, la tâche échouait parfois en affichant l'erreur suivante :

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Le problème a été résolu via la mise en œuvre d'un mécanisme de plusieurs tentatives de connexion au dossier S3 lorsque la première connexion échoue.

  • Le privilège CREATE SCHEMA était requis, même lorsque le schéma existait déjà.

• Cible Microsoft SQL Server

  Une perte de données se produisait parfois dans les colonnes LOB et une réplication de données incorrecte se produisait lors d'une opération CDC lorsque la taille de LOB était définie sur illimitée dans les paramètres de la tâche.

• Cible PostgreSQL

  L'échec de chargement du fichier CSV dans la table Net Changes renvoyait une erreur récupérable (entraînant une boucle infinie) au lieu de passer à une application un par un.

• Réplication MySQL vers MySQL

  Lorsque le schéma de la source et de la cible se trouvaient dans la même instance MySQL et que la réplication incluait une table de contrôle, la tâche se bloquait parfois en affichant une erreur « Processus bloqué avec le signal 11 ».

• Source PostgreSQL

  Lors d'une opération CDC, la tâche lisait parfois les mêmes entrées WAL à de nombreuses reprises, ce qui empêchait la capture de données.

• Source Microsoft SQL Server

  • Il se produisait une erreur lors de la décompression d'un journal de transactions contenant des blocs chiffrés. Le problème a été résolu en laissant le journal compressé dans de tels cas.

  • Des erreurs redondantes s'affichaient lors de l'utilisation d'un autre dossier de sauvegarde, en raison d'une vérification de validation inutile des fichiers existants.

  • La tâche se bloquait parfois après l'invocation de DBCC Lookup.

Support du connecteur cible Kafka

La nouvelle version de Passerelle de déplacement des données lance le support du connecteur cible Kafka. Répliquez sans effort vos données de n'importe quelle source supportée directement dans Kafka sur site ou Amazon MSK, garantissant ainsi des transferts fiables et tolérants aux pannes qui maintiennent vos applications agiles et informées. Que vous mainteniez la cohérence des données entre les systèmes ou que vous alimentiez l'analyse, ce connecteur offre une réplication à faible latence avec une configuration minimale.

Pour plus d'informations, consultez Cible Kafka.

Problèmes résolus

• Échec de la tâche de réplication de la source MySQL vers la cible MySQL

  Lors de la réplication d'un jeu de données d'un schéma MySQL vers un schéma MySQL différent s'exécutant sur la même instance de serveur MySQL, et en incluant une table de contrôle dans la réplication, CDC échouait en affichant l'erreur suivante :

  Process crashed with signal 11

• Connecteur SAP Extractor : Table suspendue lors de la reprise d'une tâche

  La reprise d'une tâche alors qu'une table était encore en cours de chargement complet entraînait l'échec du Job d'extraction et la suspension de la table.

Problèmes résolus

• Cible PostgreSQL - Comportement d'erreur incorrect

  L'échec de chargement du fichier CSV dans la table Qlik Net Changes renvoyait une erreur récupérable (entraînant une boucle infinie) au lieu de passer à une application un par un.

• Connecteurs Lite d'applications SaaS

  Lors d'une opération Chargement complet, les tâches échouaient parfois en affichant l'erreur suivante en raison du refus actif de la connexion par Amazon :

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Le problème a été résolu via la mise en oeuvre d'un mécanisme de nouvelle tentative avec un maximum de trois nouvelles tentatives avant que l'erreur ne se produise.

• Source Microsoft SQL Server - Échec de décompression du journal

  Il se produisait une erreur lors de la décompression d'un journal de transactions contenant des blocs chiffrés. Le problème a été résolu en laissant le journal compressé dans de tels cas.

• Source Netsuite Suite Analytics - Erreur de reprise d'une tâche CDC

  Lors de la reprise d'une tâche CDC après avoir apporté une modification à la source, la tâche échouait parfois en affichant l'erreur suivante :

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Source Microsoft SQL Server - Fausses erreurs

  Des erreurs redondantes s'affichaient lors de l'utilisation d'un autre dossier de sauvegarde, en raison d'une vérification de validation inutile des fichiers existants.

Support de clés primaires Databricks

À partir de cette version, la tâche de données créera une clé primaire sur les tables Delta Databricks cibles via le mot-clé RELY. Bien que Databricks n'applique pas de contraintes de clé primaire, les clés primaires avec le mot-clé RELY sont supposées n'avoir aucun doublon et peuvent donc être utilisées par Databricks pour l'optimisation des requêtes.

Conditions requises :

• Vous devez sélectionner un catalogue dans les paramètres du connecteur.

• Databricks 14.2 ou version ultérieure

Améliorations apportées aux types de données

• Source IBM DB2 pour iSeries : le support des types de données suivants a été ajouté : BINARY-DECIMAL et ZONED-DECIMAL

• Cible Databricks : dans les versions précédentes, BYTES était mappé vers STRING. À partir de cette version, il sera mappé vers VARCHAR (Length in Bytes)

• Cible Google Cloud BigQuery : le sous-type JSON est désormais supporté par la cible Google Cloud BigQuery

Source basée sur PostgreSQL : les tables partitionnées sont désormais supportées par défaut

La réplication (chargement complet et CDC) de partitions et de sous-partitions (et de sous-sous-partitions) à partir de sources de données basées sur PostgreSQL est désormais supportée par défaut.

Cible Google Cloud BigQuery : support du traitement des erreurs de troncature de données

La cible Google Cloud BigQuery supporte désormais le traitement des erreurs de troncature de données. En cas d'erreur de troncature de données, vous pouvez désormais choisir de consigner l'enregistrement dans la table de contrôle des exceptions (par défaut), d'ignorer l'enregistrement, de suspendre la table ou d'arrêter la tâche.

Nouvelles versions supportées

Les versions de points de terminaison sources et cibles suivantes sont désormais supportées :

• MariaDB (sur site) et Amazon RDS pour MariaDB : 11.4

• MySQL (sur site), MySQL Percona, Google Cloud SQL pour MySQL, Amazon RDS pour MySQL et Microsoft Azure Database pour MySQL - Serveur flexible : 8.4

• PostgreSQL (sur site), Google Cloud SQL pour PostgreSQL, Amazon RDS pour PostgreSQL et Microsoft Azure Database pour PostgreSQL - Serveur flexible : 17.x

Nouvelles versions de pilotes supportées

IBM Data Server Client 11.5.9 est désormais supporté pour les sources DB2 suivantes :

• IBM DB2 pour LUW

• IBM DB2 pour z/OS

Versions de sources et de pilotes en fin de vie

• Sources et cibles en fin de vie : le support de Microsoft Azure Database pour MySQL et de Microsoft Azure Database pour PostgreSQL, officiellement rendus obsolètes par Microsoft, a été arrêté.

• Versions de sources en fin de vie : le support d'IBM DB2 pour iSeries 7.2, qui est en fin de vie (EOL), a été arrêté.

• Versions de pilotes en fin de vie : le support d'IBM Data Server Client 11.5.6 a été arrêté.

Problèmes résolus

• Support de HSTS

  HSTS n'était pas activé sur le poste Passerelle de données Qlik - Déplacement des données.

• Échec d'installation de Passerelle de déplacement des données

  L'installation de Passerelle de déplacement des données sur Redhat version 9.7 échouait avec une erreur « OPENSSL_3.4.0 introuvable ».

• Source PostgreSQL 15.7 - Aucune donnée capturée lors de l'opération CDC

  Lors de l'opération CDC, la tâche continuait à lire les mêmes entrées WAL et à traiter la même position de flux.

• SAP ODP - Échec de l'opération CDC

  Après l'arrêt d'une tâche CDC pendant des modifications (en raison d'un problème de connectivité, par exemple), la reprise de la tâche entraînait parfois des erreurs de longueur de ligne.

• Absence de journaux de connexions sources

  Les journaux de connexions sources n'étaient pas disponibles après l'exécution d'une tâche utilisant un connecteur En avant-première ou Lite.

• Surveillance - Informations manquantes

  L'onglet Surveiller n'affichait pas de message d'erreur lorsqu'une table était suspendue lors de la phase CDC d'une tâche Chargement complet et CDC.

Support de la création de marts de connaissances dans Databricks

Auparavant, les marts de connaissances n'étaient supportés que dans Snowflake. Désormais, vous pouvez également créer et exécuter des marts de connaissances et des marts de connaissances basés fichiers dans Databricks.

Problèmes résolus :

Les tâches échouaient de temps en temps lors de la préparation en affichant l'erreur suivante :

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Problèmes résolus :

Lorsque la propriété interne metadataschema était définie avec des caractères spéciaux, la tâche échouait lors de l'opération CDC.

Problèmes résolus :

• Alertes de production dans la région EU-Central-1

  Les clients de la région EU-Central-1 étaient confrontés à de fréquentes alertes de production lorsqu'ils utilisaient Passerelle de déplacement des données.

• Source de données Jira : Table bloquée

  Lors de la réplication de données à partir de Jira, la table USERS (UTILISATEURS) restait bloquée à l'état Queued (En file d'attente) lors de la première exécution, alors que les autres tables se chargeaient correctement.

• Problème de surveillance

  La surveillance CDC était absente du moniteur de tâches.

• Échec de réplication d'Oracle à Oracle

  Les tâches de réplication d'Oracle à Oracle échouaient parfois en raison d'un calcul incorrect de la longueur de chaîne.

• Sécurité

  Le composant serveur Java (sqlite-jdbc) a été mis à jour à la version 3.47.0 en raison d'une vulnérabilité connue dans les versions antérieures.

• Erreur lors du démarrage d'une tâche

  Il se produisait parfois une erreur « Absence de licence pour la base de données » lorsqu'une tâche était lancée en mode de reprise pour la première fois, sans avoir été démarrée auparavant.

• Problème de connecteur Salesforce avec de nouveaux jeux de données

  L'ajout de nouveaux jeux de données à une tâche de dépôt temporaire avec une source de données Salesforce entraînait l'échec de la tâche avec une erreur « La table n'existe pas ».

Problèmes résolus :

• Erreur de connexion des tâches de stockage

  Les tâches de stockage échouaient avec une erreur de connexion qui nécessitait le redémarrage de la passerelle.

• Échec d'installation du pilote DB2

  L'installation du pilote DB2 échouait lorsque l'accès au dossier /tmp était restreint.

• Temps de connexion à Qlik Cloud excessif

  Après la mise à niveau à la version 2024.11.65 de Passerelle de déplacement des données, la connexion à Qlik Cloud prenait trop de temps. Le problème a été résolu via l'ajout d'un jeton d'annulation avec un délai d'attente de deux minutes.

• Le service plantait après la mise à niveau

  Après la mise à niveau vers Passerelle de déplacement des données 2024.11.67, le service external-data-provider (fournisseur de données externe) (utilisé par les connecteurs Lite) plantait en raison de restrictions d'accès au dossier /tmp.

• Correctifs de sécurité

  Les composants suivants ont été remplacés par des versions plus récentes en raison de vulnérabilités connues :

  • SQLite 3.49.1

  • Moteur d'exécution Java 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Marts de connaissances - Partage de fichiers (SMB)

  La connexion à SMB échouait avec l'erreur suivante :

  SmbConnection' object has no attribute 'docs_path'

• Échec de préparation

  Lors de la préparation d'une tâche pour la deuxième fois et en cas de DDL après la première préparation, l'opération de préparation échouait parfois avec l'erreur suivante (extrait) :

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problème de prévisualisation des données

  L'option de prévisualisation des données ne fonctionnait pas lors de l'utilisation d'une cible Microsoft SQL Server.

Améliorations :

• Ajout du support de Qlik Cloud Government DoD

  Cette version ajoute un support lors de l'utilisation de Passerelle de déplacement des données avec Qlik Cloud Government DoD.

Améliorations :

• Contrôle du moment où la politique de traitement des erreurs de la table se déclenche

  Un nouveau paramètre Nombre de nouvelles tentatives avant de renvoyer une erreur de table a été ajouté aux paramètres de traitement des erreurs de la table pour les tâches de réplication et de dépôt temporaire. Auparavant, lorsqu'il se produisait une erreur de table, celle-ci était suspendue ou la tâche s'arrêtait (suivant l'action de traitement des erreurs sélectionnée). Cela entraînait parfois la suspension des tables pendant la fenêtre de maintenance de l'application SaaS. Avec cette nouvelle option, il est désormais possible de déterminer le nombre de fois où l'exécution de la table doit être retentée avant le déclenchement de la politique de traitement des erreurs de la table. Cette option s'avère particulièrement utile si votre application SaaS fait l'objet d'une maintenance périodique ; en effet, cela vous permet de remplacer le nombre de nouvelles tentatives par défaut (3) afin que la maintenance puisse se terminer sans déclenchement de la politique de traitement des erreurs de la table.

  Traitement des erreurs de la table

  Note InformationsCette option ne s'affiche que pour les tâches configurées avec un connecteur d'application SaaS Lite ou Standard.

• Les données d'aperçu incluent désormais les types de données de colonne

  Lors de l'affichage de l'aperçu d'une transformation SQL, les résultats incluent désormais les types de données de colonne.

  Affichage d'un aperçu des données

Améliorations :

• Substitution et purge des fichiers journaux de réplication

  Une politique de substitution et de purge a été mise en place pour les fichiers journaux de réplication sur le poste passerelle. La politique de substitution empêchera les fichiers journaux de devenir trop volumineux (ce qui a une incidence sur les performances et l'analyse), tandis que la politique de purge les empêchera de s'accumuler et de consommer un espace disque excessif.

Problèmes résolus :

• Statut de table incorrect après actualisation

  Lors de l'actualisation d'une table suspendue, le statut de la table affiché sur le moniteur était parfois incorrect.

• Expiration du délai d'attente de l'opération Préparer

  Lors de la préparation d'une tâche de dépôt temporaire après l'ajout d'un jeu de données, le délai d'attente expirait parfois à l'étape de catalogage des ressources. Cela entraînait l'échec de l'opération Préparer.

Ce correctif résout les problèmes suivants :

• Échec de la préparation lors de l'ajout d'une nouvelle table

  Lors de l'ajout d'une nouvelle table à une tâche de réplication et d'un clic sur le bouton Préparer, l'erreur suivante se produisait parfois :

  Prepare data task failed: Object reference not set to an instance of an object.

• Résolution de vulnérabilités

  Les fichiers d'installation Passerelle de déplacement des données suivants ont été mis à jour à des versions ne présentant pas de vulnérabilités connues :
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Ce correctif résout les problèmes suivants :

• Échec de connectivité IBM DB2 for LUW

  Après la mise à niveau à la version Passerelle de déplacement des données 2024.11.54, la connexion à la base de données échouait.

• Échec de préparation

  La préparation de la tâche de données échouait lorsque la tâche était configurée avec une source d'applications SaaS et une cible Google BigQuery.

• Les tâches avec des sources basées sur Java échouent après la mise à niveau

  Les tâches avec des sources de données basées sur Java échouaient après la mise à niveau à la version Passerelle de déplacement des données 2024.11.54.

• Cible Snowflake : les tâches passaient parfois en mode « une par une » pendant l'opération CDC.

  Pendant l'opération CDC, lorsqu'une colonne STRING d'une table source dépassait 65 536 octets, les données étaient tronquées dans la colonne STRING cible. La tâche passait ensuite en mode d'application « une par une ».

• Sécurité

  Les fichiers java_file_factory.jar et arep-google-cloud.jar ont été mis à niveau vers des versions sans vulnérabilités connues.

Ce correctif résout les problèmes suivants :

• Chargement complet ignorant les paramètres de tâche

  Lors d'une opération Chargement complet, la tâche abandonnait et recréait les tables cibles, même si la tâche était configurée sur Si la table cible existe déjà : Ignorer

• Nombre d'enregistrements incorrect

  Après avoir arrêté et préparé une tâche de réplication existante avec le mode de réplication défini sur Chargement complet et Appliquer les modifications, le nombre d'enregistrements traités par l'opération CDC augmentait, ce qui entraînait un comptage incorrect.

• Connecteur source JIRA

  Lorsqu'un nouveau jeu de données était ajouté à une tâche existante, la tâche échouait en affichant l'erreur suivante :

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Échec de connexion test

  La connexion test aux sources basées sur SAP et SQL échouait.

• Mettre à niveau

  Après la mise à niveau de la passerelle, il arrivait que les tâches ne reprennent pas comme prévu.

Support de Snowpipe Streaming

Auparavant, Chargement en masse était la seule méthode disponible pour charger des données dans Snowflake. Désormais, les clients peuvent utiliser Chargement en masse ou Snowpipe Streaming pour intégrer ou répliquer leurs données dans Snowflake.

Les avantages de Snowpipe Streaming par rapport à Chargement en masse sont les suivants : 

• Moins coûteux : étant donné que Snowpipe Streaming n'utilise pas l'entrepôt Snowflake, les coûts de fonctionnement devraient être beaucoup moins importants, même si cela dépendra de votre cas d'utilisation spécifique.
• Latence réduite : étant donné que les données sont diffusées directement aux tables cibles (et non pas via une phase intermédiaire), la réplication de la source de données vers la cible devrait être plus rapide.

Problèmes résolus

Ce correctif résout les problèmes suivants :

• Microsoft Fabric : problème de connectivité

  Lorsque vous parcouriez des bases de données à l'aide du connecteur Microsoft Fabric, l'erreur suivante se produisait (extrait) :

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Le problème était dû à une incompatibilité avec le pilote JDBC 12.9.0-preview.jar, qui était installé avec l'utilitaire d'installation du pilote. L'utilitaire a depuis été mis à jour de sorte à installer un pilote compatible.

• Échec de redémarrage du serveur Java

  Après la mise à niveau de Passerelle de déplacement des données ou le redémarrage du service Passerelle de déplacement des données, le serveur Java (nécessaire pour les connecteurs basés sur Java tels que SAP ODP) ne démarrait pas.

• Renforcement de la sécurité

  • Le chiffrement de bout en bout n'était pas mutuellement appliqué pour les charges utiles de commande de journalisation qui renvoyaient des journaux hébergés par le client depuis le centre d'activités Qlik Cloud Administration.

  • La version de SQLite utilisée par Passerelle de déplacement des données a été mise à niveau en raison d'une vulnérabilité dans la version 3.42.0 (CVE-2023-7104).

  • Le fichier com.h2database utilisé par Passerelle de déplacement des données a été mis à niveau en raison d'une vulnérabilité dans la version h2-2.1.212 (CVE-2022-45868).

Ce correctif résout le problème suivant lors du déplacement de données à partir d'une source de données IBM DB2 for iSeries :

Lorsque vous utilisiez le pilote iSeries Access ODBC 07.01.026 ou une version ultérieure, la tâche échouait lors de l'opération CDC avec une erreur « Error parsing » (Erreur d'analyse).

Standard

Support de l'authentification OAuth pour la cible Databricks

Les clients peuvent désormais se connecter à la cible Databricks via l'authentification OAuth, qui est la méthode recommandée par Databricks pour l'authentification des comptes. L'authentification par jeton d'accès personnel restera disponible pour l'instant à des fins de rétrocompatibilité, mais elle est considérée comme moins sécurisée que l'authentification OAuth.

Problèmes résolus

• Problème de chargement parallèle

  Lorsqu'un jeu de données était défini avec un chargement parallèle et que Chargement complet était ensuite désactivé, la tâche effectuait tout de même un chargement complet de ce jeu de données, même lorsqu'elle était reprise à partir de l'horodatage.

2024.11.24

Correctif

Ce correctif résout les problèmes suivants :

• Source SAP ODP : Échec de génération des métadonnées

  La génération des métadonnées échouait pour les tables dont le nom comportait un point (par ex., Deprec.Area).

• Rétablissement de tâches

  Les tâches n'étaient rétablies qu'une seule fois si elles échouaient lors d'un chargement complet en raison d'un problème d'environnement. Désormais, elles se rétabliront le nombre de fois configuré dans Paramètres > Traitement des erreurs > Erreurs d'environnement > Nombre maximal de nouvelles tentatives.

Améliorations

Certification de basculement PostgreSQL

L'utilisation d'une base de données secondaire après un basculement a été certifiée avec les sources de données suivantes (qui sont toutes accessibles à l'aide du connecteur de source PostgreSQL) :

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (on-premises)

Consultez également : Configuration du basculement

Amélioration des performances MySQL

Dans les versions précédentes, lors de l'utilisation d'un point de terminaison source basé sur MySQL dans une tâche configurée avec une taille de LOB limitée, Passerelle de déplacement des données utilisait la recherche de source pour lire les colonnes LOB. Désormais, Passerelle de déplacement des données lira les colonnes LOB directement à partir de binlog, améliorant ainsi les performances.

Modifications apportées au mapping des types de données

Les mappings vers les colonnes LOB ont été modifiés pour les cibles Amazon Redshift et Snowflake.

Cible Amazon Redshift

• BLOB est désormais mappé vers VARBYTE(16777216)
• NCLOB est désormais mappé vers NVARCHAR(65535)
• CLOB est désormais mappé vers NVARCHAR(65535)

Cible Snowflake

• BLOB est désormais mappé vers BINARY(8388608)
• NCLOB est désormais mappé vers NVARCHAR(16777216)
• CLOB est désormais mappé vers VARCHAR(16777216)

Nouveaux types de données supportés

• Source IBM DB2 for LUW

  Supporte désormais le type de données BOOLEAN (à partir de DB2 for LUW 11.5).

• Cible Google BigQuery

  Supporte désormais le type de données BIGNUMERIC.

Développement du support de cibles pour la table de contrôle Historique DDL

Dans les versions précédentes de Passerelle de déplacement des données, la table de contrôle Historique DDL n'était supportée qu'avec les cibles Databricks et Microsoft Fabric. Cette version lance le support des connecteurs de cible supplémentaires suivants :

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Consultez également : Historique DDL

Support de l'utilisation d'un non-superuser avec Google Cloud SQL for PostgreSQL.

À partir de cette version, il est désormais possible de spécifier un compte non-superuser lors de la réplication depuis Google Cloud SQL for PostgreSQL.

Consultez également : Utilisation d'un compte sans le rôle superuser

Nouvelles plateformes et versions de pilote certifiées

• Cible Databricks

  15.4 LTS

• Source et cible Oracle

  23ai

  Note Informations

  • La source et la cible Oracle 23ai sont certifiées avec Oracle Standard Edition uniquement.
  • La source Oracle 23ai est supportée avec le chiffrement TDE uniquement.

• Mise à jour du pilote Databricks

  Lorsque vous déplacez des données vers Databricks, le pilote ODBC Simba Spark 2.8.2 ou une version ultérieure est désormais requis. Les clients doivent exécuter l'utilitaire d'installation du pilote ou installer le pilote manuellement.

  Consultez également : Configuration du pilote

Fin du support

Fin du support des versions de bases de données suivantes :

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Problèmes résolus

• Connecteur SAP HANA (Database) : échec de création de la table __CT

  Lorsque le mode de réplication était défini sur Stocker les modifications et que la table contenait une colonne .INCLUDE, la tâche ne parvenait pas à créer la table __CT sur la cible.

• Tâche de dépôt temporaire dans un lac : erreur trompeuse

  La tâche échouait et une erreur « Pas de licence pour la base de données » s'affichait en cas d'expiration de la clé secrète Azure Data Lake Storage.

• Connecteur cible Amazon S3 : les anciens fichiers n'étaient pas supprimés

  Les anciens fichiers n'étaient pas supprimés lors de l'exécution d'une nouvelle tâche. Cela pouvait entraîner l'échec de la tâche en raison d'enregistrements en double ou d'enregistrements incohérents.

   

• Source SAP HANA (Database) : échec de connexion en raison d'une table définie par l'utilisateur

  Il se produisait une erreur « Fonctionnalité non supportée : impossible de sélectionner le type défini par l'utilisateur » lors de la sélection d'une table définie par l'utilisateur pour la réplication. Le problème a été résolu en excluant les tables définies par l'utilisateur (qui ne sont pas supportées) du sélecteur de table.

• Connecteur cible Microsoft Fabric : erreur de récupération

  Il se produisait parfois une erreur « Échec de conversion » après la récupération suite à une erreur de connexion survenue pendant une opération CDC.

• Connecteur cible Databricks : échec d'opération CDC lors d'une utilisation sans support de LOB

  Lors de la désactivation du support de LOB, l'opération CDC échouait avec un message « Pas suffisamment de colonnes de données » lors de la tentative d'insertion de la modification dans la table __ct. Cette erreur se produisait lors de l'utilisation en mode « Stocker les modifications », qui est le seul mode disponible pour les tâches de dépôt temporaire.

• Source MySQL vers cible Snowflake : échec d'opération CDC

  Pendant une opération CDC, lors de la réplication d'une colonne NOT NULL avec un type de données mediumtext, la tâche échouait parfois en affichant l'erreur suivante :

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Connecteur cible Microsoft Fabric : erreur de troncature

  Lors de l'insertion d'une colonne VARCHAR, il se produisait l'erreur de troncature suivante :

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Le problème a été résolu en multipliant la colonne VARCHAR dans Microsoft Fabric.

Nouvelles fonctionnalités

Le support pour la spécification de propriétés de connexion ODBC et JDBC supplémentaires a été ajouté au connecteur cible Snowflake.

Pour plus d'informations, consultez Propriétés de connexion supplémentaires.

Problèmes résolus

• Absence de mise à jour des métadonnées

  Lorsqu'une clé primaire était modifiée dans la source, les métadonnées cibles n'étaient pas mises à jour après une actualisation.

• Cible Amazon S3

  Lors de la création et de l'exécution d'une nouvelle tâche, les fichiers restants des tâches précédentes n'étaient pas supprimés de l'emplacement des tables.

• Source SAP HANA

  Une tentative de connexion à une source SAP HANA à l'aide d'une opération CDC basé sur des journaux entraînait l'erreur suivante :

  Cannot select user-defined type

2024.5.41

Correctif

Ce correctif résout les problèmes suivants :

• Cibles Amazon S3, Google Cloud Storage et Qlik Cloud : placement entre guillemets des valeurs de chaîne vides

  Les chaînes vides seront désormais placées entre guillemets dans le fichier CSV pour les différencier des valeurs NULL.

• Cible Databricks : incohérence des données

  Une incohérence entre les données sources et cibles se produisait dans certains scénarios.

• Cible Databricks : échec de l'opération CDC dû à la désactivation du support de LOB

  La désactivation du support de LOB dans la tâche de dépôt temporaire entraînait l'échec de l'opération CDC avec l'erreur suivante (extrait) :

  Cannot write to '<name>__ct', not enough data columns

• Cible Microsoft Fabric : erreur de connexion entraînant l'échec de l'opération CDC

  L'application de modifications à la cible après une récupération suite à une erreur de connexion échouait parfois avec une erreur « Échec de conversion ».

2024.5.35

Correctif

Ce correctif résout les problèmes suivants :

• Cible Microsoft Fabric : problème de conversion de type de données

  Lors d'une tâche de stockage, le type de données NVARCHAR(3500) était incorrectement converti en VARCHAR(10500) au lieu de VARCHAR(8000) (le maximum autorisé), ce qui entraînait une erreur.

• Source IBM DB2 for LUW : support du type de données GRAPHIC avec la page de code 941 (japonais)

  Lorsque la table source contenait un type de données GRAPHIC avec la page de code 941 (japonais), l'erreur suivante se produisait (extrait) :

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Correctif

Après la mise à jour du nom d'utilisateur et du mot de passe dans le connecteur source Workday Reports, puis l'actualisation de la tâche, il se produisait une erreur « Nom d'utilisateur ou mot de passe non valide », même si les informations d'identification étaient correctes. Ce problème est désormais résolu.

Correctif

Ce correctif résout les problèmes suivants :

Sécurité

Oracle Java Standard Edition 17.0.8, livré avec Passerelle de déplacement des données, présente plusieurs vulnérabilités connues. Ce correctif remplace la version 17.0.8 par la version 17.0.12, ce qui résout les problèmes.

Source Salesforce

Lors d'une opération CDC, pour chaque modifications, plusieurs opérations INSERT étaient ajoutées à la table _ct associée (au lieu d'une seule). Cela augmentait considérablement le nombre d'enregistrements dans la table _ct.

Standard

Correctif

Ce correctif résout les problèmes suivants :

Vulnérabilité du pilote JDBC Snowflake

Le 14 août 2024, Snowflake a publié un avis de sécurité concernant les pilotes JDBC Snowflake >= 3.2.6 et <= 3.19.1, dont certains étaient utilisés avec des versions antérieures de Passerelle de déplacement des données. La vulnérabilité a été corrigée dans le pilote JDBC Snowflake 3.20, qui est la version désormais installée avec l'utilitaire d'installation du pilote. Les clients existants doivent mettre leur pilote à niveau dès que possible en suivant la procédure Mise à jour du pilote décrite à la section Configuration du pilote.

Source Oracle

• Lors de l'utilisation de redo event 11.22, il manquait des opérations INSERT lors du traitement de plusieurs opérations INSERT sur une page compressée qui ne l'était pas avant les opérations INSERT.
• Dans de rares cas, l'analyse incorrecte des événements DELETE dans l'enregistrement redo log générait un avertissement « L'événement Redo Log DELETE contient une structure inconnue », suivi de divers problèmes.

Source SAP Extractor

Les instructions du fichier YAML ont été mises à jour de sorte à refléter la version correcte du SAP Java Connector.

Cible Snowflake

Lorsque vous utilisiez Passerelle de déplacement des données pour vous connecter à la cible Snowflake via un proxy, la connexion échouait en affichant l'erreur suivante :

500 Failed to connect to Data Movement Gateway

Correctif

Correctif

Problèmes résolus

• Source Oracle

  • Il manquait parfois des opérations INSERT en présence de plusieurs opérations INSERT lors de l'utilisation de l'événement redo 11.22.

  • Après la mise à niveau d'Oracle 19g à l'aide du correctif July 2024, les opérations UPDATE n'étaient parfois pas capturées et l'avertissement suivant s'affichait :

    A compressed row cannot be parsed

• Cible Snowflake

  Lorsque les paramètres de la tâche étaient configurés de sorte à créer le schéma de la table de contrôle, la tâche échouait avec l'erreur suivante :

  Failed to delete directory

• Opération CDC planifiée

  Lorsqu'une tâche était planifiée pour s'exécuter périodiquement, elle échouait parfois avec l'erreur suivante :

  The task stopped abnormally

• Blocage des tâches de transformation et de stockage

  Les tâches de transformation et de stockage restaient parfois trop longtemps en file d'attente.

• Gestionnaire de métadonnées

  Les tâches échouaient en cas d'utilisation de l'indicateur de caractéristique use_manipulation_pk_for_apply avec la réplication Stocker les modifications.

• Délai d'expiration prolongé entraînant des problèmes avec les sources d'applications SaaS

  Le délai d'expiration S3 a été étendu à 6 heures pour éviter les problèmes résultant de délais d'expiration prolongés tels que la perte du jeton pour télécharger les fichiers.

Standard

Améliorations

• Ajout de l'authentification par paire de clés au connecteur cible Snowflake.

  Clé/paire fournit une méthode d'authentification plus robuste que utilisateur/mot de passe pour vous connecter à Snowflake via vos comptes de service. Cette approche est recommandée pour les charges de travail telles que le chargement de données (tâches de réplication ou de dépôt temporaire) et les transformations.

• Support pour l'extraction de métadonnées de plusieurs tables en parallèle

  Dans les versions précédentes, l'actualisation des métadonnées sur un jeu de données existant ou un jeu de données récemment ajouté échouait parfois avec une erreur. Cette amélioration garantit l'extraction sans aucun problème des métadonnées de plusieurs tables en parallèle.

Problèmes résolus

• Type de données DECIMAL mappé à tort vers STRING dans Google BigQuery

  Lorsqu'une table source contenait une colonne avec un type de données DECIMAL (par exemple, DECIMAL (38, 20)), la préparation de la tâche de stockage dans Google BigQuery échouait avec l'erreur suivante (extrait) :

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Le problème a été résolu en mappant le type de données DECIMAL source vers DECIMAL dans Google BigQuery.

• Erreur de règle de schéma

  Si des modifications étaient apportées à une règle de schéma existante dans une tâche de données, l'erreur suivante apparaissait :

  QRI SQL error not implemented

• Table /QTQVC/QRI absente du transport SAP

  Lors de la préparation d'une tâche de dépôt temporaire qui se connectait à une source d'applications SAP, la tâche s'effectuait correctement, mais l'erreur suivante était signalée dans le fichier journal repsrv.log :

  Invalid object name 'hk1./QTQVC/QRI'

Standard

Améliorations

• Support des modifications apportées aux métadonnées dans les tâches de réplication et de dépôt temporaire dans un lac sans besoin d'abandonner et de recréer toutes les tables

  Auparavant, en cas de modification des métadonnées, toutes les tables étaient abandonnées et recréées, même si les modifications des métadonnées n'affectaient pas toutes les tables. Désormais, seules les tables modifiées seront abandonnées et recréées, ce qui améliore les performances.

• Support du chargement automatique des nouvelles tables dans les tâches de réplication

  Les tables créées dans la base de données source lors de la tâche de données de réplication qui correspondent au modèle d'inclusion seront désormais automatiquement capturées lors de l'opération CDC (Change Data Capture).

• Améliorations apportées à la source Microsoft SQL Server (MS-CDC)

  • Préservation de l'ID de transaction et de l'horodatage

    Auparavant, lors de la lecture de différentes transactions depuis Microsoft SQL Server (MS-CDC), Qlik Talend Data Integration préservait l'ID de transaction et l'horodatage de la première transaction uniquement. Sur la cible, cela donnait l'impression que les enregistrements faisaient partie d'une seule transaction. Désormais, Qlik Talend Data Integration préservera l'ID de transaction et l'horodotage d'origine de chaque enregistrement individuel. Cela constitue un avantage pour les clients qui souhaitent tirer parti des colonnes d'en-tête d'ID de transaction et d'horodatage dans les tables de modifications.

  • Ordre des octets des ID de transaction

    Auparavant, les octets de l'ID de transaction étaient chiffrés dans l'ordre inverse. À partir de cette version, les octets seront chiffrés dans le bon ordre. Information : les clients qui préfèrent conserver le comportement existant peuvent le faire via les paramètres internes. Pour des informations détaillées, contactez Qlik Support.

• Support de la mise en cache de l'authentification enfichable SHA-2 avec MySQL

  Qlik Talend Data Integration supporte désormais la mise en cache de l'authentification enfichable SHA-2 (caching_sha2_password) lors de l'utilisation de sources ou de cibles MySQL, localement ou dans le cloud. Dans les versions précédentes, seule l'authentification enfichable native (mysql_native_password) était supportée.

• Modifications apportées au mapping des types de données Amazon Redshift

  Les types de données BYTES et BLOB seront désormais mappés vers VARBYTE sur Amazon Redshift au lieu de VARCHAR.

Nouvelles plateformes, nouveaux points de terminaison et nouvelles versions certifié(e)s

• Sources de données

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 pour z/OS 3.1

• Plateformes cibles

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Pilotes

  • SQL Server ODBC Driver 18.3

Fin du support

Fin du support des versions de bases de données suivantes :

• L'ensemble des versions et pilotes Oracle antérieurs à Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 pour LUW 10.5
• IBM DB2 pour z/OS: z/OS 2.3

Problèmes résolus

• Source SAP (Application)

  Lorsque la modification d'un document de groupe capturée supprimait toutes les lignes de toutes ses tables capturées, cela entraînait des messages d'opération DELETE manquante et d'assertion inutiles.

• Vulnérabilités de sécurité

  Mise à jour de Microsoft Authentication Library pour Java (MSAL4J) et Bouncy Castle vers des versions sans vulnérabilités connues.

• Cible Snowflake

  • La tâche échouait parfois avec le stockage interne Snowflake.
  • La tâche échouait lorsque le nom de schéma cible était en japonais Katakana.

• Source Oracle

  Lors de la reprise d'une tâche avec une source Oracle, la tâche continuait à attendre la suppression d'un Archived Redo Log au lieu d'échouer avec une erreur appropriée.

Standard

Améliorations

• Schéma de métadonnées Snowflake

  À partir de cette version, le schéma de métadonnées Snowflake (des fichiers intermédiaires) sera créé, s'il n'existe pas.

Problèmes résolus

• Après la modification d'une règle Renommer l'ensemble de données (qui concaténait le nom de table et le nom de schéma) et l'ajout d'une Vue à la tâche de dépôt temporaire, l'opération Préparer échouait avec l'erreur suivante :

  QRI SQL error not implemented.

• Mise à jour du composant java_file_factory à une version exempte de toute vulnérabilité connue.
• Mise à jour de org.postgresql:postgresql à une version exempte de toute vulnérabilité connue.
• Lors du déplacement de données vers SQL Server, l'opération Préparer échouait lorsque les noms d'index dépassaient 128 caractères. Le problème a été résolu via l'altération de la logique pour créer des noms d'index plus courts.

• Lors du déplacement de données depuis SQL Server, un nom de colonne manquant dans les définitions de table produisait une boucle de notification infinie dans le fichier repsrv.log avec le message suivant :

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standard

Améliorations

• Récupération parallèle des métadonnées

  Prise en charge supplémentaire permettant la récupération simultanée des métadonnées de plusieurs tables.

• Amélioration des performances de surveillance

  Les informations de surveillance des tâches de dépôt temporaire et de réplication seront désormais mises à jour toutes les 10 secondes (et non toutes les 60 secondes), fournissant ainsi une indication plus précise de leur statut actuel.

• Prise en charge d'une nouvelle région

  Le Japon est désormais pris en charge comme région de client Qlik Cloud.

Problèmes résolus

• L'intervalle de nouvelle tentative de la passerelle de données et de Qlik Cloud augmentait continuellement, mais ne se réinitialisait jamais (sauf si le service était redémarré).
• Lors du déplacement de données d'une source d'applications SaaS, les tables passaient parfois à l'état d'erreur lors de l'actualisation.

• Il arrivait que des tâches avec une source MySQL échouent avec l'erreur suivante lors de l'opération CDC :

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Auparavant, les événements d'audit CDC étaient consignés uniquement pour les tâches de dépôt temporaire. Désormais, ils seront consignés également pour les tâches de réplication.
• Lors du déplacement de données depuis SQL Server (MS-CDC), les tâches contenant un grand nombre de tables mettaient parfois plusieurs heures à démarrer.

• Lorsque la table source contenait des colonnes de CLOB et que la valeur Limiter la taille de LOB dépassait 10 240, la réplication dans Snowflake échouait avec l'erreur suivante :

  Invalid character length: 0

Standard

Prise en charge de l'installation de Passerelle de déplacement des données sur Red Hat 9.x

Les clients peuvent désormais installer Passerelle de déplacement des données sur Red Hat 9.x ou sur toute distribution Linux correspondante et compatible.

Configuration de Passerelle de déplacement des données

Modifications apportées aux commandes du service Passerelle de déplacement des données

Les commandes permettant d'arrêter et de démarrer le service Passerelle de déplacement des données et de vérifier son statut ont changé.

Commandes du service Passerelle de déplacement des données

Modifications apportées au mapping des types de données Amazon Redshift

• Le type de données BOOLEAN, qui était mappé vers VARCHAR(1) dans Amazon Redshift, est désormais mappé vers BOOLEAN.
• Les types de données BYTES et BLOB, qui étaient mappés vers VARCHAR(1) dans Amazon Redshift, sont désormais mappés vers VARBINARY (length).

Nouvelles bases de données, versions de bases de données et versions de pilotes supportées

Cette section répertorie les nouvelles bases de données, versions de bases de données et versions de pilotes supportées

• Nouvelles versions et éditions de sources de données supportées

  Les versions de sources de données suivantes sont désormais supportées :

  • Base de données Azure pour MySQL - Serveur flexible (prise en charge via le connecteur source MySQL)
  • MariaDB 10.4 - 10.11 (auparavant 10.4 et 10.5)

• Nouvelles plateformes de données et éditions cibles supportées

  Les versions de cibles de données suivantes sont désormais supportées :

  • Base de données Azure pour MySQL - Serveur flexible (prise en charge via le connecteur cible MySQL)
  • Databricks : Databricks 13.3 LTS et Serverless SQL Warehouse

• Nouvelle version de pilote SAP HANA supportée

  Les clients possédant une source SAP HANA qui souhaitent installer Passerelle de déplacement des données sur Red Hat Linux 9.x doivent installer le pilote 64 bits ODBC SAP HANA version 2.0.19 ou une version ultérieure.

Fin de la prise en charge de certaines versions de bases de données

Cette section fournit des informations sur les versions des bases de données en fin de prise en charge.

• Arrêt de la prise en charge des versions de sources de données suivantes :

  • Oracle 11.x
  • SAP HANA 1.0

Problèmes résolus

• L'installation de Passerelle de déplacement des données sans fournir de mot de passe serveur ne permettait pas de configurer les URL client et proxy en une seule commande.
• Le déplacement de données d'une source de données (application SaaS) Salesforce déclenchait un grand nombre d'avertissements redondants affectant les performances de chargement des données.
• Lors de la récupération des modifications d'une source de données d'une application SaaS, en cas d'erreur lors de la récupération des modifications d'une des tables, cette table était suspendue et retirée du pipeline. Désormais, en cas d'erreur, la tâche tente de récupérer les modifications jusqu'à trois reprises avant de suspendre la table.

Standard

Nouvelles cibles de lacs de données pour les projets de réplication

Nous continuons de développer les cibles prises en charge pour les projets Replicate dans Qlik Cloud Data Integration ; en plus d'Amazon S3, vous pouvez désormais sélectionner Azure Data Lake Storage (ADLS) et Google Cloud Storage (GCS) pour la livraison dans des lacs de données au format de fichier Parquet, JSON ou CSV.

Problèmes résolus :

• Connecteur source IBM DB2 for LUW

  La connexion à IBM DB2 for LUW échoue lorsque la taille des fichiers nécessaires à la connexion (comme le certificat du client SSL et le fichier KeyStore) dépasse 4 Ko.

• Pilote pour les connecteurs sources IBM DB2 for LUW et IBM DB2 for z/OS

  L'installation du pilote DB2 échouait lors de l'utilisation de l'utilitaire d'installation de pilote.

Standard

Supporte Microsoft Fabric comme cible de pipeline de données

Microsoft Fabric vient s'ajouter à la liste, qui s'allonge constamment, des entrepôts de données pouvant être utilisés comme cibles dans des projets de pipeline de données.

Problèmes résolus :

Mise à jour de la version du pilote Snowflake dans l'utilitaire d'installation de pilote.

Standard

Prise en charge étendue des connexions privées

Vous pouvez utiliser une connexion privée pour garantir la sécurité et la conformité de votre trafic de données. Cela simplifie la gestion réseau et la sécurité de votre VPC (Virtual Private Cloud - cloud privé virtuel) sans besoin d'ouvrir des ports de pare-feu entrants, des appareils proxy ni des tables de routage. Qlik Cloud Data Integration prend déjà en charge les connexions privées aux cibles de pipeline de données Snowflake, Microsoft SQL Server et Amazon S3. Avec cette version, les clients peuvent également utiliser des connexions privées lors du déplacement de données vers Databricks, Microsoft Azure Synapse, Google BigQuery et Amazon Redshift.

Sources de données basées sur PostgreSQL

• Toutes les sources de données basées sur PostgreSQL - Prise en charge de types de données multirange : Les types de données multirange suivants sont désormais pris en charge avec toutes les sources de données basées sur PostgreSQL (sur site et dans le cloud).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Source de données AWS Aurora Cloud for PostgreSQL - Prise en charge du rôle non-super-utilisateur : L'utilisateur spécifié dans le connecteur PostgreSQL n'a plus besoin d'avoir le rôle de super-utilisateur pour pouvoir déplacer des données d'une source de données AWS Aurora Cloud for PostgreSQL. Cela s'avère particulièrement utile pour les entreprises disposant de stratégies de sécurité appliquées à l'ensemble de l'entreprise qui les empêchent d'accorder l'accès de superutilisateur à des utilisateurs non-privilégiés.

Source de données Microsoft Azure SQL (MS-CDC) : Prise en charge de la géo-réplication

Les clients qui déplacent des données d'une source de données Microsoft Azure SQL (MS-CDC) peuvent désormais utiliser une base de données Geo Replica.

Source de données Oracle : Prise en charge de HSM (Hardware Security Module - module de sécurité matériel)

Intégration de données Qlik Cloud prend désormais en charge la lecture de données depuis des colonnes chiffrées et des espaces de stockage (tablespaces) chiffrés Oracle dans le cadre du processus CDC.

Prise en charge de nouvelles régions

Intégration de données Qlik Cloud prend désormais en charge les clients des régions DE et UK.

Nouvelles versions et nouveaux logiciels tiers pris en charge

Cette section répertorie les nouvelles versions de pilotes et de bases de données prises en charge.

• Nouvelles versions de sources de données prises en charge. Les versions de sources de données suivantes sont désormais prises en charge :

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (avec IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Nouvelles versions de plates-formes de données cibles prises en charge. Les versions de cibles de données suivantes sont désormais prises en charge :

  • Databricks (Cloud Storage) : Databricks 12.2 LTS et Databricks SQL Serverless

• Versions de pilotes. Les versions de pilotes ODBC suivantes sont désormais prises en charge :

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ et IBM DB2 for LUW
  • Simba ODBC driver 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64-bit 8.0.32

Pilote Microsoft SQL Server - Mise à niveau obligatoire

Les clients qui migrent des données depuis ou vers Microsoft SQL Server doivent mettre à niveau leur pilote ODBC SQL Server à la version 18.x ou une version ultérieure. Notez que, si vous continuez à utiliser SQL Server ODBC Driver 17.x, vous risquez de rencontrer des erreurs de données. La mise à niveau du pilote peut s'effectuer via l'utilitaire d'installation de pilote ou manuellement. Pour des instructions, voir Configuration du pilote.

Fin de la prise en charge de certaines versions de bases de données

Cette section fournit des informations sur les versions des bases de données en fin de prise en charge.

• Fin de la prise en charge de certaines versions de sources de données. Arrêt de la prise en charge des versions de sources de données suivantes :

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Fin de la prise en charge de certaines versions de plates-formes de données cibles. Arrêt de la prise en charge des versions de cibles de données suivantes :

  • Databricks 9.1 LTS

2022.11.74

Standard

15 août 2023

Prise en charge de Replicate

Nous privilégions le cloud, qui permet une innovation et une adoption rapides. Cependant, cela ne veut pas dire que nous nous limitions au cloud. Dans le cadre de notre engagement continu en faveur de l'amélioration de la valeur à long terme que nous offrons à nos clients, nous sommes ravis d'annoncer le lancement d'un nouveau cas d'utilisation de Replicate lors de la création de projets de données. Le nouveau cas d'utilisation Replicate s'ajoute à la fonction existante qui permet de créer des pipelines de données pour l'ensemble de vos besoins d'intégration de données, comme la modernisation des entrepôts de données.

Le projet Replicate supporte la réplication de données en temps réel de sources de données supportées dans une cible supportée.

À partir de cette dernière version, la première cible supportant la réplication de données en temps réel est Microsoft SQL Server. Outre le support de Microsoft SQL Server sur site, les fournisseurs de cloud suivants sont supportés :

• On-premises
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance et Microsoft Azure Database)

Cible Microsoft Azure Synapse Analytics - mise à niveau requise du pilote

Les clients qui migrent des données vers Microsoft Azure Synapse Analytics doivent mettre à niveau leur pilote ODBC SQL Server à la version 18.x ou une version ultérieure. Notez que, si vous continuez à utiliser SQL Server ODBC Driver 17.x, vous risquez de rencontrer des erreurs de données. La mise à niveau du pilote peut s'effectuer via l'utilitaire d'installation de pilote ou manuellement. Pour des instructions, voir Configuration du pilote.

Nouvelle option "Charger les données de la source" pour les sources d'applications SaaS

Une nouvelle option Charger les données de la source a été lancée. Elle permet aux utilisateurs de lire leurs données directement depuis la source lors du Chargement complet, au lieu d'utiliser les données en cache.

Pour plus d'informations sur cette option, y compris des cas d'utilisation, voir la section Paramètres de dépôt temporaire.

Certificats CA mis à jour

Passerelle de déplacement des données 2022.11.74 inclut des certificats CA mis à jour, nécessaires pour l'authentification du client Qlik Cloud. Les certificats CA mis à jour fournissent également une prise en charge des régions Irlande et Francfort. Par conséquent, les utilisateurs disposant de clients Qlik Cloud en Irlande ou à Francfort qui souhaite utiliser Qlik Cloud Data Integration doivent effectuer une mise à niveau vers cette version.

Problème résolu

Les tâches de dépôt temporaire de données provenant d'une source Oracle échouaient parfois lorsqu'une table volumineuse contenait des colonnes non utilisées ou non supportées ou des colonnes LOB non répliquées.

2022.11.70

Standard

28 juin 2023

Utilitaire d'installation de pilote amélioré pour les clients SAP

Dans les précédentes versions, lors de l'installation de clients SAP, les utilisateurs devaient exécuter la commande "source arep_login.sh". À partir de cette version, il n'est plus nécessaire d'exécuter cette commande.

Certificats CA mis à jour

Cette version inclut des certificats CA mis à jour, nécessaires pour l'authentification du client Qlik Cloud.

Problèmes résolus

• En cas d'échec et de récupération automatique d'une tâche Replicate sur Passerelle de déplacement des données, l'état récupéré n'était pas communiqué à la ressource de données de dépôt temporaire dans Qlik Cloud.

• Le chiffrement de bout en bout de Passerelle de déplacement des données n'était pas activé par défaut et était contrôlé par des indicateurs de temps d'exécution.

2022.11.63

Standard

2 mai 2023

Utilitaire d'installation de pilote

Cette version intègre un utilitaire d'installation de pilote qui supprime le besoin d'installer et de configurer manuellement des pilotes. Le nouvel utilitaire accélère la procédure d'installation tout en réduisant considérablement le risque d'erreurs de la part de l'utilisateur. Lorsque l'utilitaire est exécuté, le pilote requis est automatiquement téléchargé, si possible, et installé. S'il n'est pas possible de télécharger le pilote (par exemple, les pilotes DB2 nécessitent une connexion), il vous suffit de télécharger le pilote, de le copier dans un dossier dédié sur le poste de la passerelle Déplacement de données et d'exécuter l'utilitaire.

Pour un exemple d'utilisation de l'utilitaire d'installation de pilote pour installer un pilote PostgreSQL, voir Conditions préalables requises.

Plate-forme de données cloud Snowflake

Le connecteur Snowflake prend désormais en charge les caractères émoticônes de 4 octets.

Prise en charge pour Azure Database for PostgreSQL - Flexible Server comme source de données

Le connecteur PostgreSQL peut désormais déplacer des données depuis Azure Database for PostgreSQL - Flexible Server.

Prise en charge de Cloud SQL for PostgreSQL comme source de données

Le connecteur PostgreSQL peut désormais déplacer des données depuis Cloud SQL for PostgreSQL.

Nouvelles versions de sources de données prises en charge

Cette version inclut la prise en charge des nouvelles versions de sources de données suivantes :

• PostgreSQL 14
• DB2 (for IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Nouvelles versions de plates-formes de données cloud prises en charge

Databricks 11.3 LTS

Arrêt de la prise en charge des versions de sources de données suivantes

Les versions de sources de données suivantes ne sont plus prises en charge :

• DB2 (for IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problèmes résolus

Cette version résout les problèmes suivants :

• Source de données Oracle : Lors de l'arrêt et de la reprise d'une tâche, la tâche échouait parfois avec une erreur “Failed to set stream position on context” (Échec de définition de la position du flux dans le contexte).
• Source d'application SAP : Les modifications n'étaient pas capturées lors de la tâche de dépôt temporaire.