Aggiornamento e disinstallazione del Gateway di Data Movement

Questa versione risolve i seguenti problemi:

Sorgente Oracle

• Quando si utilizzava l'evento "redo event 11.22", si verificavano operazioni INSERT mancati quando si elaboravano più operazioni INSERT su una pagina compressa che non era stata compressa prima delle operazioni INSERT.
• In rari casi, l'errata analisi degli eventi DELETE nel record dei registri di ripristino generava l'avviso "L'evento DELETE del registro di ripristino contiene una struttura sconosciuta", seguito da vari problemi.

Sorgente SAP Extractor

Le istruzioni del file YAML sono state aggiornate per riflettere la versione corretta del connettore SAP Java.

Destinazione Snowflake

Quando si utilizzava il gateway di Data Movement per connettersi alla destinazione Snowflake tramite un proxy, la connessione falliva generando il seguente errore:

500 Failed to connect to Data Movement Gateway

Problemi risolti

• Sorgente Oracle

  • Talvolta si verificavano INSERT mancanti in operazioni multiple di INSERT quando si utilizzava il redo event 11.22.

  • Dopo l'aggiornamento di Oracle 19g alla patch di luglio 2024, a volte le operazioni di UPDATE non venivano acquisite e veniva visualizzato il seguente avviso:

    A compressed row cannot be parsed

• Destinazione Snowflake

  Quando le impostazioni dell'attività erano configurate per creare lo schema della tabella di controllo, l'attività non riusciva con il seguente errore:

  Failed to delete directory

• CDC pianificato

  Quando un'attività era pianificata per essere eseguita periodicamente, a volte non riusciva con il seguente errore:

  The task stopped abnormally

• Attività di trasformazione e archiviazione bloccate

  Le attività di trasformazione e archiviazione a volte rimanevano in uno stato In coda per un tempo eccessivamente lungo.

• Metadata Manager

  Le attività non riuscivano quando si utilizzava il flag della funzionalità use_manipulation_pk_for_apply con la replica Archivia modifiche.

• Timeout prolungato con conseguenti problemi con le origini di applicazioni SaaS

  Esteso il timeout S3 a 6 ore per evitare problemi derivanti da timeout prolungati, come la perdita del token per il download dei file.

Miglioramenti

• Aggiunta l'autenticazione Coppia di chiavi al connettore di destinazione Snowflake

  La coppia di chiavi fornisce un metodo di autenticazione più robusto di utente/password per la connessione a Snowflake con gli account dei servizi. Questo approccio è consigliato per carichi di lavoro quali il caricamento dati (attività di replica o trasferimento) e le trasformazioni.

• Supporto per il recupero di metadati da più tabelle in parallelo

  Nelle versioni precedenti, l'aggiornamento dei metadati in un set di dati esistente o in un set di dati appena aggiunto a volte generava un errore. Questo miglioramento garantisce che i metadati possano essere recuperati da più tabelle in parallelo senza alcun problema.

Problemi risolti

• Il tipo di dati DECIMAL viene erroneamente mappato come STRING in Google BigQuery

  Quando una tabella di origine conteneva una colonna con un tipo dati DECIMAL, ad esempio DECIMAL (38, 20), la preparazione dell'attività di archiviazione su Google BigQuery non veniva completata generando il seguente errore (estratto):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Il problema è stato risolto mappando il tipo di dati DECIMAL di origine in DECIMAL in Google BigQuery.

• Errore della regola dello schema

  Dopo aver apportato modifiche a una regola dello schema esistente in un'attività dati, veniva generato il seguente errore:

  QRI SQL error not implemented

• Tabella /QTQVC/QRI mancante dal trasporto SAP

  Quando si prepara un'attività di trasferimento che si connette alla sorgente di un'applicazione SAP, l'attività veniva completata correttamente, ma nel file di registro repsrv.log veniva riportato il seguente errore:

  Invalid object name 'hk1./QTQVC/QRI'

Miglioramenti

• Supporto per le modifiche ai metadati nelle attività di replica e di trasferimento su lake senza bisogno di rimuovere e ricreare tutte le tabelle

  In precedenza, quando veniva completata una modifica dei metadati, tutte le tabelle venivano eliminate e ricreate anche se tale modifica non aveva alcun impatto sulle tabelle. Ora, solo le tabelle modificate verranno rimosse e ricreate, pertanto migliorando le prestazioni.

• Supporto per il caricamento automatico delle nuove tabelle nelle attività di replica

  Le tabelle create del database di origine durante l'attività dati di replica che corrispondono a Includi motivo, verranno acquisite automaticamente durante il processo CDC (Change data capture).

• Miglioramenti alla sorgente Microsoft SQL Server (MS-CDC)

  • Mantenimento di timestamp e ID transazione

    In precedenza, quando si leggevano più transazioni da Microsoft SQL Server (MS-CDC), Qlik Talend Data Integration manteneva l'ID della transazione e il timestamp solo per la prima transazione. Nella destinazione, questo dava l'impressione che i record fossero parte di un'unica transazione. Ora, Qlik Talend Data Integration mantiene l'ID della transazione originale e il timestamp per ogni record individuale. Questo fornisce un vantaggio per i clienti che desiderano utilizzare le colonne intestazione ID transazione e Timestamp nelle tabelle di modifica.

  • Ordine byte ID transazione

    In precedenza, i byte nell'ID transazione erano codificati in ordine inverso. A partire da questa versione, i byte verranno codificati nell'ordine corretto. I clienti di Informazioni che preferiscono mantenere il comportamento esistente possono farlo utilizzando parametri interni. Per maggiori dettagli, contattare il supporto Qlik.

• Supporto per la memorizzazione nella cache dell'autenticazione SHA-2 collegabile con MySQL

  Qlik Talend Data Integration ora supporta la memorizzazione nella cache dell'autenticazione SHA-2 collegabile (caching_sha2_password) quando si utilizzano sorgenti o destinazioni MySQL, locali o sul cloud. Nelle versioni precedenti, era supportata solo l'autenticazione Native Pluggable Authentication (mysql_native_password).

• Modifiche della mappatura del tipo di dati di Amazon Redshift

  I tipi di dati BYTES e BLOB vengono ora mappati a VARBYTE su Amazon Redshift anziché VARCHAR.

Piattaforme, endpoint e versioni con una nuova certificazione

• Sorgenti dati

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 per z/OS 3.1

• Piattaforme di destinazione

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Driver

  • SQL Server ODBC Driver 18.3

Fine supporto

Il supporto per le seguenti versioni del database è stato interrotto:

• Tutte le versioni e i driver Oracle anteriori a Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 per z/OS: z/OS 2.3

Problemi risolti

• Sorgente SAP (applicazione)

  Quando la modifica del documento di un cluster acquisita eliminava tutte le righe delle tabelle acquisite, veniva visualizzato un messaggio di errore per un'operazione DELETE mancante e messaggi di asserzione non necessari.

• Vulnerabilità di sicurezza

  Aggiornamento della libreria di Microsoft Authentication per Java (MSAL4J) e Bouncy Castle a versioni senza vulnerabilità note.

• Destinazione Snowflake

  • L'attività a volte non veniva completata quando si utilizzava l'archiviazione interna di Snowflake.
  • L'attività non veniva completata quando il nome dello schema era Japanese Katakana.

• Sorgente Oracle

  Quando si riprendeva un'attività con una sorgente Oracle, l'attività rimaneva in attesa di un registro di ripristino eliminato anziché non riuscire generando un errore appropriato.

Miglioramenti

• Schema dei metadati Snowflake

  Da questa versione, lo schema dei metadati Snowflake (per i file in modalità staged) verrà creato se non esiste.

Problemi risolti

• Una volta apportata una modifica a una regola Rinomina set di dati (concatenando il nome della tabella con il nome dello schema) e aggiunta una vista all'attività di trasferimento, l'operazione Prepara falliva generando il seguente errore:

  QRI SQL error not implemented.

• Il componente java_file_factory è stato aggiornato a una versione senza vulnerabilità note.
• org.postgresql:postgresql è stato aggiornato a una versione senza vulnerabilità note.
• Quando si spostano i dati su SQL Server, l'operazione Prepara generava errore quando i nomi di indicizzazione superavano i 128 caratteri. Il problema è stato risolto alterando la logica per creare nomi di indicizzazione più brevi.

• Quando si spostano i dati da SQL Server, il nome mancante di una colonna nelle definizioni della tabella causava l'invio ripetuto all'infinito della notifica nel file repsrv.log, con il seguente messaggio:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Miglioramenti

• Recupero dei metadati paralleli

  È stato aggiunto il supporto per il recupero simultaneo dei metadati per più tabelle.

• Miglioramento delle prestazioni di monitoraggio

  Le informazioni di monitoraggio per le attività di trasferimento e replica ora vengono aggiornate ogni 10 secondi (anziché ogni 60 secondi), fornendo un'indicazione più precisa dello stato corrente.

• Supporto di una nuova regione

  Il Giappone ora è supportato come regione del tenant Qlik Cloud.

Problemi risolti

• L'intervallo di tentativi tra il gateway dati e Qlik Cloud aumentava continuamente, ma non veniva mai reimpostato (a meno che il servizio non venisse riavviato).
• Quando si spostavano dati dalla sorgente di un'applicazione SaaS, le tabelle a volte visualizzavano uno stato di errore durante il ricaricamento.

• Le attività con una sorgente MySQL a volte non venivano completate con il seguente errore durante le attività di CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• In precedenza, gli eventi di controllo CDC venivano registrati solo per le attività di trasferimento. Ora, vengono registrati anche per le attività di replica.
• Quando si spostano dati da SQL Server (MS-CDC), le attività con un gran numero di tabelle a volte richiedevano diverse ore per essere avviate.

• Quando la tabella di origine conteneva colonne CLOB e il valore di "Limita dimensione LOB" era superiore a 10240, la replica su Snowflake non veniva completata con il seguente errore:

  Invalid character length: 0

Supporto per l'installazione di Gateway di Data Movement su Red Hat 9.x

I clienti ora possono installare il Gateway di Data Movement su Red Hat 9.x o qualsiasi distribuzione Linux corrispondente e compatibile.

Impostazione di Gateway di Data Movement

Modifiche ai comandi di servizio del Gateway di Data Movement

I comandi per interrompere, avviare e verificare lo stato del servizio del Gateway di Data Movement sono cambiati.

Comandi di servizio di Gateway di Data Movement

Modifiche alla mappatura del tipo di dati di Amazon Redshift

• Il tipo di dati BOOLEAN, che è stato mappato a VARCHAR(1) in Amazon Redshift, ora verrà mappato a BOOLEAN.
• I tipi di dati BYTES e BLOB, che sono stati mappati a VARCHAR(1) in Amazon Redshift, ora verranno mappati a VARBINARY (lunghezza).

Nuovi database, versioni del database e versioni del driver supportati

Questa sezione elenca i nuovi database, versioni del database e versioni del driver supportati.

• Nuove versioni ed edizioni supportate per la sorgente dati

  Le seguenti versioni di sorgenti dati ora sono supportate:

  • Azure Database per MySQL - Server flessibile (supportato tramite il connettore di origine MySQL)
  • MariaDB 10.4 - 10.11 (in precedenza 10.4 e 10.5)

• Nuove piattaforme ed edizioni supportate per la piattaforma di dati di destinazione

  Le seguenti versioni di destinazioni dati ora sono supportate:

  • Azure Database per MySQL - Server flessibile (supportato tramite il connettore di destinazione MySQL)
  • Databricks: Databricks 13.3 LTS e warehouse SQL senza server

• Nuova versione del driver SAP HANA supportata

  I clienti con una sorgente SAP HANA che desiderano installare il Gateway di Data Movement su Red Hat Linux 9.x, devono installare il driver SAP HANA ODBC a 64 bit versione 2.0.19 o successiva.

Versioni del database con fine supporto

In questa sezione sono disponibili le informazioni sulle versioni del database con fine supporto.

• Il supporto per le seguenti versioni di sorgenti dati è stato interrotto:

  • Oracle 11.x
  • SAP HANA 1.0

Problemi risolti

• Quando si installava il Gateway di Data Movement senza fornire una password per il server, non era possibile configurare gli URL di tenant e proxy con un unico comando.
• Se si spostavano i dati da una sorgente dati Salesforce (un'applicazione SaaS) veniva stampato un gran numero di avvisi ridondanti, incidendo pertanto in modo negativo sulle prestazioni di caricamento dei dati.
• Quando si recuperavano le modifiche per la sorgente dati di un'applicazione SaaS, se si verificava un errore durante il recupero delle modifiche per una delle tabelle, quella tabella veniva sospesa e rimossa dalla pipeline. Ora, quando si verifica un errore, l'attività proverà a recuperare le modifiche fino a tre volte prima di sospendere la tabella.

Nuove destinazioni data lake per i progetti di replica

Espandiamo in continuazione le destinazioni supportate per i progetti di replica in Qlik Cloud Data Integration: oltre ad Amazon S3, ora è possibile selezionare Azure Data Lake Storage (ADLS) e Google Cloud Storage (GCS) per la consegna nei data lake nei formati file Parquet, JSON o CSV.

Problemi risolti:

• Connettore di origine IBM DB2 per LUW

  La connessione a IBM DB2 per LUW generava errore quando le dimensioni dei file necessari per la connessione (come il certificato del client SSL e il file dell'archivio dati) superavano i 4 KB.

• Driver per i connettori di origine IBM DB2 per LUW e IBM DB2 per z/OS

  L'installazione del driver DB2 generava errore quando si utilizzava l'utilità di installazione del driver.

Supporto per Microsoft Fabric come destinazione pipeline di dati

Microsoft Fabric è stato aggiunto all'elenco di data warehouse, in continua espansione, che è possibile utilizzare nei progetti di pipeline di dati.

Problemi risolti:

la versione del driver Snowflake è stata aggiornata nell'utilità di installazione.

Supporto esteso per le connessioni private

È possibile utilizzare una connessione privata per assicurare che il traffico dati sia protetto e conforme alle norme. Semplifica sia la gestione della rete e la sicurezza del VPC (Virtual Private Cloud) senza bisogno di utilizzare porte del firewall in ingresso, dispositivi proxy o tabelle di routing. Qlik Cloud Data Integration supporta già le connessioni private alle destinazioni delle pipeline di dati di Snowflake, Microsoft SQL Server e Amazon S3. Con questa nuova versione, i clienti possono inoltre utilizzare connessioni private durante lo spostamento dei dati da Databricks, Microsoft Azure Synapse, Google BigQuery e Amazon Redshift.

Sorgenti dati basate su PostgreSQL

• Tutte le sorgenti dati basate su PostgreSQL – Supporto dei tipi di dati multigamma: i seguenti tipi di dati multigamma ora sono supportati con le sorgenti dati basate su PostgreSQL (in loco e cloud).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud per sorgenti dati PostgreSQL – Supporto del ruolo Non utente avanzato: gli utenti specificati nel connettore PostgreSQL non devono più disporre del ruolo di utente avanzato per spostare i dati da una sorgente dati AWS Aurora Cloud per PostgreSQL. Ciò è particolarmente utile per le organizzazioni con politiche di sicurezza aziendale che impediscono loro di fornire accesso come utente avanzato agli utenti che non hanno le autorizzazioni necessarie.

Sorgente dati Microsoft Azure SQL (MS-CDC): Supporto della replica geografica

I clienti che spostano i dati da una sorgente Microsoft Azure SQL (MS-CDC) ora possono utilizzare un database per la replica geografica.

Sorgente dati Oracle: Supporto di HSM (Hardware Security Module)

Qlik Cloud Data Integration ora supporta la lettura dei dati dagli spazi tabelle Oracle crittografate e dalle colonne crittografate durante la Change Data Capture (CDC).

Supporto di nuove regioni

Qlik Cloud Data Integration ora supporta i tenant nelle regioni DE e UK.

Supporto di nuove versioni e software di terze parti

In questa sezione è disponibile un elenco dei nuovi database e versioni di driver supportati.

• Nuove versioni supportate per la sorgente dati Le seguenti versioni di sorgenti dati ora sono supportate:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (quando si utilizza IBM DB2 per z/OS)
  • IBM DB2 per iSeries 7.5

• Nuove versioni supportate per la piattaforma di dati di destinazione Le seguenti versioni di destinazioni dati ora sono supportate:

  • Databricks (Cloud Storage): Databricks 12.2 LTS e Databricks SQL Serverless

• Versioni driver Le seguenti versioni di driver ODBC ora sono supportate:

  • IBM Data Server Client 11.5.8 per IBM DB2 per z/OZ e IBM DB2 per LUW
  • Driver Simba ODBC 3.0.0.1001 per Google Cloud BigQuery
  • Driver MySQL ODBC Unicode a 64 bit 8.0.32

Driver Microsoft SQL Server - Aggiornamento richiesto

I clienti che spostano dati in o da Microsoft SQL Server devono aggiornare il driver ODBC per SQL Server alla versione 18.x o successiva. Tenere presente che continuare a utilizzare il driver ODBC 17.x per SQL Server potrebbe provocare errori di dati. L'aggiornamento del driver può essere effettuato utilizzando l'utilità di installazione dei driver o manualmente. Per le istruzioni, vedere Configurazione del driver.

Versioni del database con fine supporto

In questa sezione sono disponibili le informazioni sulle versioni del database con fine supporto.

• Versioni delle sorgenti dati con fine supporto Il supporto per le seguenti versioni di sorgenti dati è stato interrotto:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versioni per la piattaforma di dati di destinazione con fine supporto Il supporto per le seguenti versioni di destinazioni dati è stato interrotto:

  • Databricks 9.1 LTS

2022.11.74

15 agosto 2023

Supporto per la replica

Abbiamo adottato un approccio che dà la precedenza al cloud, che consente una rapida innovazione e adozione. Tuttavia, ciò non significa che il nostro approccio si limita esclusivamente al cloud. Come parte del nostro continuo impegno per migliorare il valore a lungo termine per i nostri clienti, siamo lieti di annunciare il rilascio di un nuovo caso di utilizzo per la Replica per la creazione di progetti dati. Il nuovo caso di utilizzo di Replica è stato aggiunto alla possibilità esistente di creare pipeline di dati per tutte le esigenze relative alle integrazioni dati, come la modernizzazione dei data warehouse.

Il progetto Replica supporta la replica dei dati in tempo reale da sorgenti dati supportate in una destinazione supportata.

A partire da questa ultima versione, la prima destinazione a supportare la replica dei dati in tempo reale è Microsoft SQL Server. Oltre al supporto di Microsoft SQL Server in loco, sono supportati anche i seguenti provider cloud:

• In loco
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance e Microsoft Azure Database)

Microsoft Azure Synapse Analytics come destinazione - Aggiornamento del driver richiesto

I clienti che spostano dati in Microsoft Azure Synapse Analytics devono aggiornare il driver ODBC per SQL Server alla versione 18.x o successiva. Tenere presente che continuare a utilizzare il driver ODBC 17.x per SQL Server potrebbe provocare errori di dati. L'aggiornamento del driver può essere effettuato utilizzando l'utilità di installazione dei driver o manualmente. Per le istruzioni, vedere Configurazione del driver.

Nuova opzione "Carica da origine" per sorgenti di applicazioni SaaS

È stata introdotta una nuova opzione, Carica da origine, che consente ai clienti di leggere i propri dati direttamente dalla sorgente durante il caricamento completo, anziché utilizzare i dati nella cache.

Per maggiori informazioni su questa opzione, oltre ai casi di utilizzo, vedere Impostazioni di trasferimento.

Aggiornamento dei certificati CA

Gateway di Data Movement 2022.11.74 include certificati CA aggiornati, che sono necessari per autenticare il tenant Qlik Cloud. I certificati CA aggiornati, inoltre, offrono supporto per l'Irlanda e Francoforte. Di conseguenza, i clienti con tenant Qlik Cloud in Irlanda o Francoforte che vogliono utilizzare Qlik Cloud Data Integration devono effettuare l'aggiornamento a questa versione.

Problema risolto

Le attività di trasferimento dati da una sorgente Oracle potevano non essere completate se una tabella di grandi dimensioni conteneva colonne inutilizzate o non supportate, o colonne LOB che non erano replicate.

2022.11.70

28 giugno 2023

Miglioramento dell'utilità di installazione driver per i client SAP

Nelle versioni precedenti, i clienti dovevano eseguire il comando "source arep_login.sh" durante l'installazione dei client SAP. A partire da questa versione, non è più necessario eseguire questo comando.

Aggiornamento dei certificati CA

Questa versione include certificati CA aggiornati, che sono necessari per autenticare il tenant Qlik Cloud.

Problemi risolti

• Se un'attività di replica su Gateway di Data Movement non riesce e viene recuperata automaticamente, lo stato recuperato non verrà comunicato all'Asset dati di trasferimento in Qlik Cloud.

• La crittografia end-to-end per Gateway di Data Movement dati potrebbe non venire abilitata per impostazione predefinita ed essere controllata da contrassegni in runtime.

2022.11.63

2 maggio 2023

Utilità di installazione driver

Questa versione introduce un'utilità di installazione dei driver che elimina il bisogno di installare e configurare manualmente i driver. La nuova utilità consente di velocizzare il processo di installazione riducendo allo stesso tempo in modo significativo la possibilità di un errore da parte dell'utente. Quando l'utilità è in esecuzione, il driver richiesto viene eseguito automaticamente, se possibile, e quindi installato. Se non è possibile scaricare il driver (i driver DB2 richiedono l'accesso, per esempio), è necessario semplicemente scaricare il driver, copiarlo in una cartella dedicata sul computer gateway di Data Movement, ed eseguire l'utilità.

Per un esempio sull'utilizzo dell'utilità di installazione del driver per installare un driver PostgreSQL, vedere Prerequisiti.

Piattaforma dati cloud Snowflake

Il connettore Snowflake ora supporta i caratteri emoji a 4 byte.

Supporto del database di Azure per PostgreSQL - Server flessibile come sorgente dati

Il connettore PostgreSQL ora può spostare i dati da data dal database di Azure per PostgreSQL - Server Flessibile.

Supporto per Cloud SQL for PostgreSQL come sorgente dati

Il connettore PostgreSQL ora può spostare i dati da Cloud SQL for PostgreSQL.

Nuove versioni supportate per la sorgente dati

Questa versione introduce il supporto per le seguenti versioni della sorgente dati:

• PostgreSQL 14
• DB2 (per IBM DB2 per z/OS) 12.1
• IBM DB2 per z/OS 2.5

Nuove versioni supportate per la piattaforma di dati cloud

Databricks 11.3 LTS

Supporto interrotto per le seguenti versioni di sorgenti dati

Le seguenti versioni di sorgenti dati non sono più supportate:

• DB2 (per IBM DB2 per z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemi risolti

Questa versione risolve i seguenti problemi:

• Sorgente dati Oracle: Quando si interrompe e si riprende un'attività, questa a volte può fallire visualizzando l'errore “Impossibile impostare la posizione del flusso in contesto”.
• Sorgente applicazione SAP: le modifiche non vengono rilevate durante le attività di trasferimento.