Mise à niveau et désinstallation de Data Movement gateway

Cette version résout les problèmes suivants :

Source Oracle

• Lors de l'utilisation de redo event 11.22, il manquait des opérations INSERT lors du traitement de plusieurs opérations INSERT sur une page compressée qui ne l'était pas avant les opérations INSERT.
• Dans de rares cas, l'analyse incorrecte des événements DELETE dans l'enregistrement redo log générait un avertissement « L'événement Redo Log DELETE contient une structure inconnue », suivi de divers problèmes.

Source SAP Extractor

Les instructions du fichier YAML ont été mises à jour de sorte à refléter la version correcte du SAP Java Connector.

Cible Snowflake

Lorsque vous utilisiez Data Movement gateway pour vous connecter à la cible Snowflake via un proxy, la connexion échouait en affichant l'erreur suivante :

500 Failed to connect to Data Movement Gateway

Problèmes résolus

• Source Oracle

  • Il manquait parfois des opérations INSERT en présence de plusieurs opérations INSERT lors de l'utilisation de l'événement redo 11.22.

  • Après la mise à niveau d'Oracle 19g à l'aide du correctif July 2024, les opérations UPDATE n'étaient parfois pas capturées et l'avertissement suivant s'affichait :

    A compressed row cannot be parsed

• Cible Snowflake

  Lorsque les paramètres de la tâche étaient configurés de sorte à créer le schéma de la table de contrôle, la tâche échouait avec l'erreur suivante :

  Failed to delete directory

• Opération CDC planifiée

  Lorsqu'une tâche était planifiée pour s'exécuter périodiquement, elle échouait parfois avec l'erreur suivante :

  The task stopped abnormally

• Blocage des tâches de transformation et de stockage

  Les tâches de transformation et de stockage restaient parfois trop longtemps en file d'attente.

• Gestionnaire de métadonnées

  Les tâches échouaient en cas d'utilisation de l'indicateur de caractéristique use_manipulation_pk_for_apply avec la réplication Stocker les modifications.

• Délai d'expiration prolongé entraînant des problèmes avec les sources d'applications SaaS

  Le délai d'expiration S3 a été étendu à 6 heures pour éviter les problèmes résultant de délais d'expiration prolongés tels que la perte du jeton pour télécharger les fichiers.

Améliorations

• Ajout de l'authentification par paire de clés au connecteur cible Snowflake.

  Clé/paire fournit une méthode d'authentification plus robuste que utilisateur/mot de passe pour vous connecter à Snowflake via vos comptes de service. Cette approche est recommandée pour les charges de travail telles que le chargement de données (tâches de réplication ou de dépôt temporaire) et les transformations.

• Support pour l'extraction de métadonnées de plusieurs tables en parallèle

  Dans les versions précédentes, l'actualisation des métadonnées sur un jeu de données existant ou un jeu de données récemment ajouté échouait parfois avec une erreur. Cette amélioration garantit l'extraction sans aucun problème des métadonnées de plusieurs tables en parallèle.

Problèmes résolus

• Type de données DECIMAL mappé à tort vers STRING dans Google BigQuery

  Lorsqu'une table source contenait une colonne avec un type de données DECIMAL (par exemple, DECIMAL (38, 20)), la préparation de la tâche de stockage dans Google BigQuery échouait avec l'erreur suivante (extrait) :

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Le problème a été résolu en mappant le type de données DECIMAL source vers DECIMAL dans Google BigQuery.

• Erreur de règle de schéma

  Si des modifications étaient apportées à une règle de schéma existante dans une tâche de données, l'erreur suivante apparaissait :

  QRI SQL error not implemented

• Table /QTQVC/QRI absente du transport SAP

  Lors de la préparation d'une tâche de dépôt temporaire qui se connectait à une source d'applications SAP, la tâche s'effectuait correctement, mais l'erreur suivante était signalée dans le fichier journal repsrv.log :

  Invalid object name 'hk1./QTQVC/QRI'

Améliorations

• Support des modifications apportées aux métadonnées dans les tâches de réplication et de dépôt temporaire dans un lac sans besoin d'abandonner et de recréer toutes les tables

  Auparavant, en cas de modification des métadonnées, toutes les tables étaient abandonnées et recréées, même si les modifications des métadonnées n'affectaient pas toutes les tables. Désormais, seules les tables modifiées seront abandonnées et recréées, ce qui améliore les performances.

• Support du chargement automatique des nouvelles tables dans les tâches de réplication

  Les tables créées dans la base de données source lors de la tâche de données de réplication qui correspondent au modèle d'inclusion seront désormais automatiquement capturées lors de l'opération CDC (Change Data Capture).

• Améliorations apportées à la source Microsoft SQL Server (MS-CDC)

  • Préservation de l'ID de transaction et de l'horodatage

    Auparavant, lors de la lecture de différentes transactions depuis Microsoft SQL Server (MS-CDC), Qlik Talend Data Integration préservait l'ID de transaction et l'horodatage de la première transaction uniquement. Sur la cible, cela donnait l'impression que les enregistrements faisaient partie d'une seule transaction. Désormais, Qlik Talend Data Integration préservera l'ID de transaction et l'horodotage d'origine de chaque enregistrement individuel. Cela constitue un avantage pour les clients qui souhaitent tirer parti des colonnes d'en-tête d'ID de transaction et d'horodatage dans les tables de modifications.

  • Ordre des octets des ID de transaction

    Auparavant, les octets de l'ID de transaction étaient chiffrés dans l'ordre inverse. À partir de cette version, les octets seront chiffrés dans le bon ordre. Information : les clients qui préfèrent conserver le comportement existant peuvent le faire via les paramètres internes. Pour des informations détaillées, contactez Qlik Support.

• Support de la mise en cache de l'authentification enfichable SHA-2 avec MySQL

  Qlik Talend Data Integration supporte désormais la mise en cache de l'authentification enfichable SHA-2 (caching_sha2_password) lors de l'utilisation de sources ou de cibles MySQL, localement ou dans le cloud. Dans les versions précédentes, seule l'authentification enfichable native (mysql_native_password) était supportée.

• Modifications apportées au mapping des types de données Amazon Redshift

  Les types de données BYTES et BLOB seront désormais mappés vers VARBYTE sur Amazon Redshift au lieu de VARCHAR.

Nouvelles plateformes, nouveaux points de terminaison et nouvelles versions certifié(e)s

• Sources de données

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 pour z/OS 3.1

• Plateformes cibles

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Pilotes

  • SQL Server ODBC Driver 18.3

Fin du support

Fin du support des versions de bases de données suivantes :

• L'ensemble des versions et pilotes Oracle antérieurs à Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 pour LUW 10.5
• IBM DB2 pour z/OS: z/OS 2.3

Problèmes résolus

• Source SAP (Application)

  Lorsque la modification d'un document de groupe capturée supprimait toutes les lignes de toutes ses tables capturées, cela entraînait des messages d'opération DELETE manquante et d'assertion inutiles.

• Vulnérabilités de sécurité

  Mise à jour de Microsoft Authentication Library pour Java (MSAL4J) et Bouncy Castle vers des versions sans vulnérabilités connues.

• Cible Snowflake

  • La tâche échouait parfois avec le stockage interne Snowflake.
  • La tâche échouait lorsque le nom de schéma cible était en japonais Katakana.

• Source Oracle

  Lors de la reprise d'une tâche avec une source Oracle, la tâche continuait à attendre la suppression d'un Archived Redo Log au lieu d'échouer avec une erreur appropriée.

Améliorations

• Schéma de métadonnées Snowflake

  À partir de cette version, le schéma de métadonnées Snowflake (des fichiers intermédiaires) sera créé, s'il n'existe pas.

Problèmes résolus

• Après la modification d'une règle Renommer l'ensemble de données (qui concaténait le nom de table et le nom de schéma) et l'ajout d'une Vue à la tâche de dépôt temporaire, l'opération Préparer échouait avec l'erreur suivante :

  QRI SQL error not implemented.

• Mise à jour du composant java_file_factory à une version exempte de toute vulnérabilité connue.
• Mise à jour de org.postgresql:postgresql à une version exempte de toute vulnérabilité connue.
• Lors du déplacement de données vers SQL Server, l'opération Préparer échouait lorsque les noms d'index dépassaient 128 caractères. Le problème a été résolu via l'altération de la logique pour créer des noms d'index plus courts.

• Lors du déplacement de données depuis SQL Server, un nom de colonne manquant dans les définitions de table produisait une boucle de notification infinie dans le fichier repsrv.log avec le message suivant :

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Améliorations

• Récupération parallèle des métadonnées

  Prise en charge supplémentaire permettant la récupération simultanée des métadonnées de plusieurs tables.

• Amélioration des performances de surveillance

  Les informations de surveillance des tâches de dépôt temporaire et de réplication seront désormais mises à jour toutes les 10 secondes (et non toutes les 60 secondes), fournissant ainsi une indication plus précise de leur statut actuel.

• Prise en charge d'une nouvelle région

  Le Japon est désormais pris en charge comme région de client Qlik Cloud.

Problèmes résolus

• L'intervalle de nouvelle tentative de la passerelle de données et de Qlik Cloud augmentait continuellement, mais ne se réinitialisait jamais (sauf si le service était redémarré).
• Lors du déplacement de données d'une source d'applications SaaS, les tables passaient parfois à l'état d'erreur lors de l'actualisation.

• Il arrivait que des tâches avec une source MySQL échouent avec l'erreur suivante lors de l'opération CDC :

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Auparavant, les événements d'audit CDC étaient consignés uniquement pour les tâches de dépôt temporaire. Désormais, ils seront consignés également pour les tâches de réplication.
• Lors du déplacement de données depuis SQL Server (MS-CDC), les tâches contenant un grand nombre de tables mettaient parfois plusieurs heures à démarrer.

• Lorsque la table source contenait des colonnes de CLOB et que la valeur Limiter la taille de LOB dépassait 10 240, la réplication dans Snowflake échouait avec l'erreur suivante :

  Invalid character length: 0

Prise en charge de l'installation de Data Movement gateway sur Red Hat 9.x

Les clients peuvent désormais installer Data Movement gateway sur Red Hat 9.x ou sur toute distribution Linux correspondante et compatible.

Configuration de Data Movement gateway

Modifications apportées aux commandes du service Data Movement gateway

Les commandes permettant d'arrêter et de démarrer le service Data Movement gateway et de vérifier son statut ont changé.

Commandes du service Data Movement gateway

Modifications apportées au mapping des types de données Amazon Redshift

• Le type de données BOOLEAN, qui était mappé vers VARCHAR(1) dans Amazon Redshift, est désormais mappé vers BOOLEAN.
• Les types de données BYTES et BLOB, qui étaient mappés vers VARCHAR(1) dans Amazon Redshift, sont désormais mappés vers VARBINARY (length).

Nouvelles bases de données, versions de bases de données et versions de pilotes prises en charge

Cette section répertorie les nouvelles bases de données, versions de bases de données et versions de pilotes prises en charge

• Nouvelles versions et éditions de sources de données prises en charge

  Les versions de sources de données suivantes sont désormais prises en charge :

  • Base de données Azure pour MySQL - Serveur flexible (prise en charge via le connecteur source MySQL)
  • MariaDB 10.4 - 10.11 (auparavant 10.4 et 10.5)

• Nouvelles plates-formes de données et éditions cibles prises en charge

  Les versions de cibles de données suivantes sont désormais prises en charge :

  • Base de données Azure pour MySQL - Serveur flexible (prise en charge via le connecteur cible MySQL)
  • Databricks : Databricks 13.3 LTS et Serverless SQL Warehouse

• Nouvelle version de pilote SAP HANA prise en charge

  Les clients possédant une source SAP HANA qui souhaitent installer Data Movement gateway sur Red Hat Linux 9.x doivent installer le pilote 64 bits ODBC SAP HANA version 2.0.19 ou une version ultérieure.

Fin de la prise en charge de certaines versions de bases de données

Cette section fournit des informations sur les versions des bases de données en fin de prise en charge.

• Arrêt de la prise en charge des versions de sources de données suivantes :

  • Oracle 11.x
  • SAP HANA 1.0

Problèmes résolus

• L'installation de Data Movement gateway sans fournir de mot de passe serveur ne permettait pas de configurer les URL client et proxy en une seule commande.
• Le déplacement de données d'une source de données (application SaaS) Salesforce déclenchait un grand nombre d'avertissements redondants affectant les performances de chargement des données.
• Lors de la récupération des modifications d'une source de données d'une application SaaS, en cas d'erreur lors de la récupération des modifications d'une des tables, cette table était suspendue et retirée du pipeline. Désormais, en cas d'erreur, la tâche tente de récupérer les modifications jusqu'à trois reprises avant de suspendre la table.

Nouvelles cibles de lacs de données pour les projets de réplication

Nous continuons de développer les cibles prises en charge pour les projets Replicate dans Qlik Cloud Data Integration ; en plus d'Amazon S3, vous pouvez désormais sélectionner Azure Data Lake Storage (ADLS) et Google Cloud Storage (GCS) pour la livraison dans des lacs de données au format de fichier Parquet, JSON ou CSV.

Problèmes résolus :

• Connecteur source IBM DB2 for LUW

  La connexion à IBM DB2 for LUW échoue lorsque la taille des fichiers nécessaires à la connexion (comme le certificat du client SSL et le fichier KeyStore) dépasse 4 Ko.

• Pilote pour les connecteurs sources IBM DB2 for LUW et IBM DB2 for z/OS

  L'installation du pilote DB2 échouait lors de l'utilisation de l'utilitaire d'installation de pilote.

Prend en charge Microsoft Fabric comme cible de pipeline de données

Microsoft Fabric vient s'ajouter à la liste, qui s'allonge constamment, des entrepôts de données pouvant être utilisés comme cibles dans des projets de pipeline de données.

Problèmes résolus :

Mise à jour de la version du pilote Snowflake dans l'utilitaire d'installation de pilote.

Prise en charge étendue des connexions privées

Vous pouvez utiliser une connexion privée pour garantir la sécurité et la conformité de votre trafic de données. Cela simplifie la gestion réseau et la sécurité de votre VPC (Virtual Private Cloud - cloud privé virtuel) sans besoin d'ouvrir des ports de pare-feu entrants, des appareils proxy ni des tables de routage. Qlik Cloud Data Integration prend déjà en charge les connexions privées aux cibles de pipeline de données Snowflake, Microsoft SQL Server et Amazon S3. Avec cette version, les clients peuvent également utiliser des connexions privées lors du déplacement de données vers Databricks, Microsoft Azure Synapse, Google BigQuery et Amazon Redshift.

Sources de données basées sur PostgreSQL

• Toutes les sources de données basées sur PostgreSQL - Prise en charge de types de données multirange : Les types de données multirange suivants sont désormais pris en charge avec toutes les sources de données basées sur PostgreSQL (sur site et dans le cloud).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Source de données AWS Aurora Cloud for PostgreSQL - Prise en charge du rôle non-super-utilisateur : L'utilisateur spécifié dans le connecteur PostgreSQL n'a plus besoin d'avoir le rôle de super-utilisateur pour pouvoir déplacer des données d'une source de données AWS Aurora Cloud for PostgreSQL. Cela s'avère particulièrement utile pour les entreprises disposant de stratégies de sécurité appliquées à l'ensemble de l'entreprise qui les empêchent d'accorder l'accès de superutilisateur à des utilisateurs non-privilégiés.

Source de données Microsoft Azure SQL (MS-CDC) : Prise en charge de la géo-réplication

Les clients qui déplacent des données d'une source de données Microsoft Azure SQL (MS-CDC) peuvent désormais utiliser une base de données Geo Replica.

Source de données Oracle : Prise en charge de HSM (Hardware Security Module - module de sécurité matériel)

Intégration de données Qlik Cloud prend désormais en charge la lecture de données depuis des colonnes chiffrées et des espaces de stockage (tablespaces) chiffrés Oracle dans le cadre du processus CDC.

Prise en charge de nouvelles régions

Intégration de données Qlik Cloud prend désormais en charge les clients des régions DE et UK.

Nouvelles versions et nouveaux logiciels tiers pris en charge

Cette section répertorie les nouvelles versions de pilotes et de bases de données prises en charge.

• Nouvelles versions de sources de données prises en charge. Les versions de sources de données suivantes sont désormais prises en charge :

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (avec IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Nouvelles versions de plates-formes de données cibles prises en charge. Les versions de cibles de données suivantes sont désormais prises en charge :

  • Databricks (Cloud Storage) : Databricks 12.2 LTS et Databricks SQL Serverless

• Versions de pilotes. Les versions de pilotes ODBC suivantes sont désormais prises en charge :

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ et IBM DB2 for LUW
  • Simba ODBC driver 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64-bit 8.0.32

Pilote Microsoft SQL Server - Mise à niveau obligatoire

Les clients qui migrent des données depuis ou vers Microsoft SQL Server doivent mettre à niveau leur pilote ODBC SQL Server à la version 18.x ou une version ultérieure. Notez que, si vous continuez à utiliser SQL Server ODBC Driver 17.x, vous risquez de rencontrer des erreurs de données. La mise à niveau du pilote peut s'effectuer via l'utilitaire d'installation de pilote ou manuellement. Pour des instructions, voir Configuration du pilote.

Fin de la prise en charge de certaines versions de bases de données

Cette section fournit des informations sur les versions des bases de données en fin de prise en charge.

• Fin de la prise en charge de certaines versions de sources de données. Arrêt de la prise en charge des versions de sources de données suivantes :

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Fin de la prise en charge de certaines versions de plates-formes de données cibles. Arrêt de la prise en charge des versions de cibles de données suivantes :

  • Databricks 9.1 LTS

2022.11.74

15 août 2023

Prise en charge de Replicate

Nous privilégions le cloud, qui permet une innovation et une adoption rapides. Cependant, cela ne veut pas dire que nous nous limitions au cloud. Dans le cadre de notre engagement continu en faveur de l'amélioration de la valeur à long terme que nous offrons à nos clients, nous sommes ravis d'annoncer le lancement d'un nouveau cas d'utilisation de Replicate lors de la création de projets de données. Le nouveau cas d'utilisation Replicate s'ajoute à la fonction existante qui permet de créer des pipelines de données pour l'ensemble de vos besoins d'intégration de données, comme la modernisation des entrepôts de données.

Le projet Replicate prend en charge la réplication de données en temps réel de sources de données prises en charge dans une cible prise en charge.

À partir de cette dernière version, la première cible prenant en charge la réplication de données en temps réel est Microsoft SQL Server. Outre la prise en charge de Microsoft SQL Server sur site, les fournisseurs de cloud suivants sont pris en charge :

• Sur site
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance et Microsoft Azure Database)

Cible Microsoft Azure Synapse Analytics - mise à niveau requise du pilote

Les clients qui migrent des données vers Microsoft Azure Synapse Analytics doivent mettre à niveau leur pilote ODBC SQL Server à la version 18.x ou une version ultérieure. Notez que, si vous continuez à utiliser SQL Server ODBC Driver 17.x, vous risquez de rencontrer des erreurs de données. La mise à niveau du pilote peut s'effectuer via l'utilitaire d'installation de pilote ou manuellement. Pour des instructions, voir Configuration du pilote.

Nouvelle option "Charger les données de la source" pour les sources d'applications SaaS

Une nouvelle option Charger les données de la source a été lancée. Elle permet aux utilisateurs de lire leurs données directement depuis la source lors du Chargement complet, au lieu d'utiliser les données en cache.

Pour plus d'informations sur cette option, y compris des cas d'utilisation, voir la section Paramètres de dépôt temporaire.

Certificats CA mis à jour

Data Movement gateway 2022.11.74 inclut des certificats CA mis à jour, nécessaires pour l'authentification du client Qlik Cloud. Les certificats CA mis à jour fournissent également une prise en charge pour les régions Irlande et Francfort. Par conséquent, les utilisateurs disposant de clients Qlik Cloud en Irlande ou à Francfort qui souhaite utiliser Intégration de données Qlik Cloud doivent effectuer une mise à niveau vers cette version.

Problème résolu

Les tâches de dépôt temporaire de données provenant d'une source Oracle échouaient parfois lorsqu'une table volumineuse contenait des colonnes non utilisées ou non prises en charge ou des colonnes LOB non répliquées.

2022.11.70

28 juin 2023

Utilitaire d'installation de pilote amélioré pour les clients SAP

Dans les précédentes versions, lors de l'installation de clients SAP, les utilisateurs devaient exécuter la commande "source arep_login.sh". À partir de cette version, il n'est plus nécessaire d'exécuter cette commande.

Certificats CA mis à jour

Cette version inclut des certificats CA mis à jour, nécessaires pour l'authentification du client Qlik Cloud.

Problèmes résolus

• En cas d'échec et de récupération automatique d'une tâche Replicate sur Data Movement gateway, l'état récupéré n'était pas communiqué à la ressource de données de dépôt temporaire dans Qlik Cloud.

• Le chiffrement de bout en bout de Data Movement gateway n'était pas activé par défaut et était contrôlé par des indicateurs de temps d'exécution.

2022.11.63

2 mai 2023

Utilitaire d'installation de pilote

Cette version intègre un utilitaire d'installation de pilote qui supprime le besoin d'installer et de configurer manuellement des pilotes. Le nouvel utilitaire accélère la procédure d'installation tout en réduisant considérablement le risque d'erreurs de la part de l'utilisateur. Lorsque l'utilitaire est exécuté, le pilote requis est automatiquement téléchargé, si possible, et installé. S'il n'est pas possible de télécharger le pilote (par exemple, les pilotes DB2 nécessitent une connexion), il vous suffit de télécharger le pilote, de le copier dans un dossier dédié sur le poste de la passerelle Déplacement de données et d'exécuter l'utilitaire.

Pour un exemple d'utilisation de l'utilitaire d'installation de pilote pour installer un pilote PostgreSQL, voir Conditions préalables requises.

Plate-forme de données cloud Snowflake

Le connecteur Snowflake prend désormais en charge les caractères émoticônes de 4 octets.

Prise en charge pour Azure Database for PostgreSQL - Flexible Server comme source de données

Le connecteur PostgreSQL peut désormais déplacer des données depuis Azure Database for PostgreSQL - Flexible Server.

Prise en charge de Cloud SQL for PostgreSQL comme source de données

Le connecteur PostgreSQL peut désormais déplacer des données depuis Cloud SQL for PostgreSQL.

Nouvelles versions de sources de données prises en charge

Cette version inclut la prise en charge des nouvelles versions de sources de données suivantes :

• PostgreSQL 14
• DB2 (for IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Nouvelles versions de plates-formes de données cloud prises en charge

Databricks 11.3 LTS

Arrêt de la prise en charge des versions de sources de données suivantes

Les versions de sources de données suivantes ne sont plus prises en charge :

• DB2 (for IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problèmes résolus

Cette version résout les problèmes suivants :

• Source de données Oracle : Lors de l'arrêt et de la reprise d'une tâche, la tâche échouait parfois avec une erreur “Failed to set stream position on context” (Échec de définition de la position du flux dans le contexte).
• Source d'application SAP : Les modifications n'étaient pas capturées lors de la tâche de dépôt temporaire.