Aggiornamento e disinstallazioneGateway Data Movement

Problemi risolti

• Problema di sintassi nella tabella di controllo attrep_history su Databricks e Snowflake

  Dopo l'aggiornamento a Gateway Data Movement 2025.11.40, le operazioni INSERT nella tabella di controllo attrep_history hanno generato un errore di sintassi.

• Sorgente Oracle

  La selezione della tabella get_table_list non è riuscita con codice di errore Oracle '1406' durante il recupero dei metadati della tabella negli ambienti Oracle Autonomous Database con compressione abilitata.

• Replicate il guasto dell'asset

  Messaggistica di errore migliorata per visualizzare il nome della tabella mancante nel log quando un'attività di trasferimento non riesce a essere eseguita a causa di una tabella mancante.

• Attività di trasferimento - Tabella di rilevamento delle modifiche

  La rimozione e la riaggiunta di un set di dati in un'attività di trasferimento non creava più la tabella di rilevamento delle modifiche se era stata eliminata manualmente dal database di destinazione.

• Sorgente SQL Server - Compatibilità Always Encrypted

  Aggiunto il supporto per SQL Server 2012 (utilizzando una proprietà interna) ignorando il controllo di convalida per le funzionalità Always Encrypted, che non sono supportate nelle versioni di SQL Server precedenti al 2016.

• SQL Server Sempre criptato

  Risolto un problema per cui le tabelle entravano in sospensione in qualsiasi attività verso qualsiasi destinazione a causa della gestione di file CSV danneggiati quando si utilizzano colonne Always Encrypted.

• Sicurezza

  Aggiornata la libreria libcurl per risolvere la vulnerabilità CVE-2025-14819.

• Dati registrati con Nome del database contenente trattino

  Risolto un problema quando la preparazione dell'attività dati registrata non riusciva quando i nomi dei database contenevano trattini.

• Target Snowflake - Timeout COPY INTO

  Risolti errori di timeout che si verificavano durante la fase "COPY INTO" durante il caricamento di set di dati di grandi dimensioni su Snowflake.

Rebranding del driver di Databricks

Per allinearsi a Databricks, è stato completato il rebranding del driver che consente di utilizzare il connettore Databricks.

Supporto per nuove versioni dei driver Snowflake e Google BigQuery

Questa versione introduce il supporto per le seguenti versioni dei driver:

• Snowflake: driver ODBC Snowflake 3.15.0 (64 bit)

• Google BigQuery: versione del driver ODBC Simba 3.1.6 1026

Supporto per il tipo di dati VARIANT di Databricks

Da questa versione, i seguenti tipi di dati saranno mappati al tipo di dati nativo VARIANT di Databricks:

• STRING

• WSTRING

• NCLOB

• CLOB

Problemi risolti

• Sorgente IBM DB2 per iSeries:

  Dopo aver ripreso un'attività, l'acquisizione delle modifiche da una tabella che conteneva colonne decimali binarie causava l'arresto anomalo dell'attività.

• Sorgente PostgreSQL - Problema CDC

  Dopo aver ripreso un'attività che non ha acquisito alcuna modifica nel minuto precedente l'interruzione, non verrebbero acquisite modifiche.

• Connettore SSH - Problema di test della connessione

  Facendo clic su Testa connessione nel connettore SSH non venivano restituiti errori relativi alla connettività SSH quando c'erano problemi con SSH.

• Snowflake destinazione - Problema di Snowpipe streaming

  Quando si utilizza Snowpipe Streaming come metodo di caricamento, il caricamento di tabelle molto grandi consumerebbe una quantità eccessiva di memoria, il che alla fine causerebbe l'arresto anomalo dell'attività e l'ingresso in un ciclo di caricamento e arresto anomalo.

• Origine Microsoft SQL Server (basato su log) - Errore non chiaro

  Quando si specifica una cartella di backup alternativa che non conteneva i log richiesti, l'attività si interrompeva con un messaggio poco chiaro invece di emettere un avviso e continuare.

• Sicurezza

  Il componente org.apache.logging.log4j:log4j-core è stato aggiornato alla versione 2.25.3 a causa di vulnerabilità note nelle versioni installate.

• Sorgente SAP ODP - problema di filtraggio

  Il filtro SAP ODP non verrebbe passato a SAP quando definito su un estrattore in esecuzione in modalità solo CDC.

• Sorgente SAP ODATA - problema di filtraggio

  La definizione di più di un intervallo di filtro su una singola colonna causerebbe il fallimento del caricamento completo.

Supporto esteso per il caricamento parallelo

La funzionalità di caricamento parallelo ora supporta la destinazione Databricks.

Replica in parallelo di segmenti del set di dati

Tabella di controllo Cronologia DDL: Destinazioni appena supportate

La tabella di controllo attrep_ddl_history (Cronologia DDL) contiene una cronologia delle modifiche DDL che si sono verificate sull'origine durante la replica verso la destinazione.

Ora sono supportati i seguenti endpoint di destinazione:

• Google BigQuery
• Google Cloud AlloyDB SQL per PostgreSQL
• Google Cloud SQL per PostgreSQL
• PostgreSQL (in loco)

Cronologia DDL

Miglioramento della colonna di intestazione “[header]__change_mask”

Quando si utilizzano le tabelle di modifica con il formato Parquet, la colonna di intestazione [header]__change_mask ora riempie di zeri a sinistra (invece che a destra), per allinearsi alla regola little endian di memorizzazione dei byte in ordine inverso.

Endpoint di destinazione interessati:

• Amazon S3

• Google Cloud Storage

Tabelle di modifica

Nuove versioni supportate per la sorgente dati e la destinazione

• Destinazione Kafka: 4.0.x

• Sorgente IBM z/OS: 3.2

Nuove versioni supportate per i driver

• Driver Microsoft ODBC 18.5
• MySQL 8.4

Fine del ciclo di vita per Microsoft Azure Database per MySQL e Microsoft Azure Database per PostgreSQL

Il supporto per Microsoft Azure Database per MySQL e Microsoft Azure Database per PostgreSQL, ufficialmente ritirati da Microsoft, è stato sospeso.

Versioni obsolete di sorgenti dati e destinazioni

• Destinazione Databricks: 10.4 LTS e 11.3 LTS

• MariaDB origine e destinazione: 10.5

• PostgreSQL origine e destinazione: 13.x

• MySQL origine e destinazione: 8.1

Versioni driver obsolete

• Microsoft ODBC Driver 18.3

Problemi risolti

• Sorgente SAP (applicazione)

  Le attività configurate per utilizzare un'origine SAP (Applicazione) con un processo di backend che generava eventi con commit automatico, a volte si arrestavano in modo anomalo dopo il ricaricamento di una tabella.

• Destinazione Database SQL di Microsoft Azure

  Nella replica omogenea, quando si lavorava in modalità “Applicazione transazionale” o in modalità “Applicazione ottimizzata in batch” che passava alla modalità uno a uno, si verificava un errore “0 righe interessate” quando una colonna DATETIME faceva parte della chiave primaria sul target.

• Sorgente Oracle

  L'attività Oracle si arresta in modo anomalo in Caricamento completo quando una tabella contiene una colonna raw lunga e la dimensione massima del lob è maggiore o uguale a 64K.

• Origine estrattore SAP - Ciclo di scaricamento a causa dell'annullamento CDC

  Durante il ricaricamento di una tabella, i processi SAP CDC a lunga esecuzione vengono talvolta annullati. Ciò comporterebbe uno stato di errore recuperabile in cui lo scaricamento non è mai stato completato.

• Sicurezza

  I seguenti componenti sono stati aggiornati a causa di vulnerabilità note:

  • JRE aggiornato da 17.0.17 a 17.0.18

  • org.eclispe.jetty:jetty-io aggiornato da 11.0.25 a 11.0.26

  • org.apache.logging.log4j:log4j-core aggiornato da 2.23.1 a 2.25.3

• SAP ODP

  Si sarebbe verificato il seguente errore durante il CDC quando un filtro era definito per una tabella:

  Invalid value for parameter "I_DIMNAME"

• Estrattore SAP

  Delta smetterebbe di funzionare se l'attività fosse stata interrotta e ripresa mentre una delle tabelle era in stato di caricamento.

• Origine applicazione SaaS (Report di Workday)

  • Durante il caricamento completo, quando si connette alla cartella di staging S3, il task a volte non riusciva con il seguente errore:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Il problema è stato risolto implementando un meccanismo di tentativi multipli per la connessione alla cartella S3 quando la prima connessione non ha successo.

  • Il privilegio CREATE SCHEMA era richiesto anche quando lo schema esisteva già.

• Destinazione Microsoft SQL Server

  A volte si verificava una perdita di dati nelle colonne LOB e una replica di dati errata durante il CDC quando la dimensione LOB era impostata su illimitata nelle impostazioni del task.

• Destinazione PostgreSQL

  Il mancato caricamento del file CSV nella tabella Net Changes restituirebbe un errore recuperabile (con conseguente ciclo infinito) invece di passare all'applicazione uno a uno.

• Replica da MySQL a MySQL

  Quando lo schema di origine e destinazione si trovava nella stessa istanza MySQL e la replica includeva una tabella di controllo, il task a volte si bloccava con un errore "Process crashed with signal 11".

• Sorgente PostgreSQL

  Durante il CDC, il task a volte leggeva le stesse voci WAL ripetutamente senza che venissero acquisiti dati.

• Sorgente Microsoft SQL Server

  • Si verificava un errore durante la decompressione di un log delle transazioni che conteneva blocchi crittografati. Il problema è stato risolto lasciando il log compresso in questi casi.

  • Verrebbero mostrati errori ridondanti quando si utilizza una cartella di backup alternativa, a causa di un controllo di convalida non necessario per i file esistenti.

  • L'attività a volte si bloccava dopo l'invocazione di DBCC Lookup.

Supporto per il connettore di destinazione Kafka

La nuova versione di Gateway Data Movement introduce il supporto per il connettore di destinazione Kafka. Replica senza sforzo i tuoi dati da qualsiasi origine supportata direttamente in Kafka on-premises o Amazon MSK, garantendo trasferimenti affidabili e tolleranti agli errori che mantengono le tue app agili e informate. Sia che tu stia mantenendo la coerenza dei dati tra i sistemi o alimentando l'analisi, questo connettore offre una replica a bassa latenza con una configurazione minima.

Per ulteriori informazioni, vedere Kafka destinazione

Problemi risolti

• Errore dell'attività di replica da origine MySQL a destinazione MySQL

  Durante la replica di un set di dati da uno schema MySQL a uno schema MySQL diverso in esecuzione sulla stessa istanza del server MySQL, e includendo una tabella di controllo nella replica, CDC non riuscirebbe con il seguente errore:

  Process crashed with signal 11

• Connettore estrattore SAP: Tabella sospesa durante la ripresa di un'attività

  La ripresa di un'attività mentre una tabella era ancora in caricamento completo ha causato l'errore del processo di estrazione e la sospensione della tabella.

Problemi risolti

• Destinazione PostgreSQL - Comportamento di errore errato

  Il mancato caricamento del file CSV nella tabella Qlik Net Changes restituirebbe un errore recuperabile (con conseguente ciclo infinito) invece di passare all'applicazione uno a uno.

• Connettori Lite per applicazioni SaaS

  Durante il caricamento completo, le attività a volte fallivano con il seguente errore a causa della connessione attivamente rifiutata da Amazon:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Il problema è stato risolto implementando un meccanismo di ripetizione con un massimo di tre tentativi prima che si verifichi l'errore.

• Origine Microsoft SQL Server - Errore di decompressione del log

  Si verificava un errore durante la decompressione di un log delle transazioni che conteneva blocchi crittografati. Il problema è stato risolto lasciando il log compresso in questi casi.

• Origine Netsuite Suite Analytics - Errore di ripristino CDC

  Quando si riprende un'attività CDC dopo aver apportato una modifica alla sorgente, l'attività a volte falliva con il seguente errore:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Sorgente Microsoft SQL Server - Falsi errori

  Verrebbero mostrati errori ridondanti quando si utilizza una cartella di backup alternativa, a causa di un controllo di convalida non necessario per i file esistenti.

Supporto della chiave primaria Databricks

A partire da questa versione, l'attività dati creerà una chiave primaria nelle tabelle Delta Databricks di destinazione, utilizzando la parola chiave RELY. Sebbene Databricks non applichi vincoli di chiave primaria, si presume che le chiavi primarie con la parola chiave RELY non abbiano duplicati e possono quindi essere utilizzate da Databricks per l'ottimizzazione delle query.

Requisiti:

• È necessario selezionare un catalogo nelle impostazioni del connettore

• Databricks 14.2 o versioni successive

Ottimizzazione dei tipi di dati

• Sorgente IBM DB2 per iSeries: È stato aggiunto il supporto per i seguenti tipi di dati: BINARY-DECIMAL e ZONED-DECIMAL

• Destinazione Databricks: Nelle versioni precedenti, i valori BYTES venivano mappati a STRING. A partire da questa versione, questi verranno mappati a VARCHAR (Lunghezza in byte)

• Destinazione Google Cloud BigQuery: il sottotipo JSON è ora supportato dalle destinazioni Google Cloud BigQuery

Sorgente basata su PostgreSQL: le tabelle partizionate ora sono supportate per impostazione predefinita

La replica (caricamento completo e CDC) di partizioni e sotto-partizioni (e sotto-sotto-partizioni) da sorgenti dati basate su PostgreSQL è ora supportata per impostazione predefinita.

Destinazione Google Cloud BigQuery: supporto della gestione degli errori relativi al troncamento dei dati

La destinazione Google Cloud BigQuery ora supporta la gestione degli errori relativi al troncamento dei dati. Se si verifica un errore di troncamento dei dati, è ora possibile scegliere se registrare il record nella tabella di controllo delle eccezioni (impostazione predefinita), ignorare il record, sospendere la tabella o arrestare l'attività.

Nuove versioni supportate

Ora sono supportate le seguenti versioni per gli endpoint di origine e di destinazione:

• MariaDB (on-premise) e Amazon RDS per MariaDB: 11.4

• MySQL (on-premise), MySQL Percona, Google Cloud SQL per MySQL, Amazon RDS per MySQL e Microsoft Azure Database per MySQL - Flexible Server: 8.4

• PostgreSQL (on-premise), Google Cloud SQL per PostgreSQL, Amazon RDS per PostgreSQL e Microsoft Azure Database per PostgreSQL - Flexible Server: 17.x

Nuove versioni supportate per i driver

IBM Data Server Client 11.5.9 è ora supportato per le seguenti sorgenti DB2:

• IBM DB2 per LUW

• IBM DB2 per z/OS

Versioni di origine e driver obsolete

• Sorgenti e destinazioni obsolete: il supporto per Microsoft Azure Database per MySQL e Microsoft Azure Database per PostgreSQL, ufficialmente ritirati da Microsoft, è stato sospeso.

• Versioni delle sorgenti obsolete: Il supporto per IBM DB2 per iSeries 7.2, che è a fine ciclo di vita, è stato sospeso.

• Versioni driver obsolete: il supporto per IBM Data Server Client 11.5.6 è stato sospeso.

Problemi risolti

• Supporto HSTS

  HSTS non era abilitato sul computer di Qlik Data Gateway - Movimento dati.

• Gateway Data Movement Errore di installazione

  L'installazione di Gateway Data Movement su Redhat versione 9.7 non veniva completata generando l'errore "OPENSSL_3.4.0 non trovato".

• Sorgente PostgreSQL 15.7 - Nessun dato acquisito durante le attività CDC

  Durante le attività CDC, l'attività continuava a leggere le stesse voci WAL e ad elaborare la stessa posizione del flusso.

• SAP ODP - Errore del CDC

  Quando un'attività CDC si interrompeva durante le modifiche (a causa di un problema di connettività, ad esempio), la ripresa dell'attività a volte causava errori nella lunghezza della riga.

• Registri connessione di origine mancanti

  I registri della connessione di origine non erano disponibili dopo aver eseguito un'attività che utilizzava un connettore di anteprima o Lite.

• Monitoraggio - Informazioni mancanti

  La scheda Monitoraggio non mostrava un messaggio di errore quando una tabella veniva sospesa durante la fase CDC di un'attività di caricamento completo e CDC.

Supporto per la creazione di knowledge mart su Databricks

In precedenza i knowledge mart erano supportati soltanto su Snowflake. Ora, è possibile creare ed eseguire knowledge mart e knowledge mart basati su file anche su Databricks.

Problemi risolti:

Le attività non venivano completate in modo intermittente durante la preparazione generando il seguente errore:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Problemi risolti:

Quando la proprietà interna metadataschema veniva definita con caratteri speciali, l'attività non riusciva durante il CDC.

Problemi risolti:

• Avvisi di produzione nella regione UE-Centrale-1

  I clienti della regione UE-Centrale-1 subirebbero frequenti avvisi di produzione durante l'utilizzo di Gateway Data Movement.

• Sorgente dati Jira: tabella bloccata

  ºQuando si replicavano i dati da Jira, la tabella UTENTI si bloccava nello stato In coda alla prima esecuzione, mentre le altre tabelle completavano il caricamento con successo.

• Problema di monitoraggio

  Il monitoraggio del CDC non era incluso nel monitoraggio delle attività.

• Errore di replica da Oracle a Oracle.

  Le attività di replica da Oracle a Oracle a volte fallivano a causa del calcolo errato della lunghezza della stringa.

• Sicurezza

  Il componente del server Java (sqlite-jdbc) è stato aggiornato alla versione 3.47.0 a causa di una vulnerabilità nota con le versioni precedenti.

• Errore all'avvio di un'attività

  Quando un'attività veniva avviata in modalità di ripresa per la prima volta, senza essere stata precedentemente avviata, a volte veniva generato l'errore "Nessuna licenza per il database".

• Problema del connettore Salesforce con i nuovi set di dati

  L'aggiunta di nuovi set di dati a un'attività di trasferimento con una sorgente dati Salesforce poteva causare il fallimento dell'attività generando l'errore "La tabella non esiste".

Problemi risolti:

• Errore di connessione per le attività di archiviazione

  Le attività di archiviazione fallivano generando un errore di connessione che richiedeva il riavvio del gateway.

• Errore nell'installazione del driver DB2

  L'installazione del driver DB2 poteva fallire quando l'accesso alla cartella /tmp era limitato.

• Tempo di connessione eccessivo a Qlik Cloud

  Dopo l'aggiornamento alla versione 2024.11.65 di Gateway Data Movement, la connessione a Qlik Cloud richiedeva un periodo di tempo eccessivo. Il problema è stato risolto aggiungendo un token di cancellazione con un timeout di due minuti.

• Il servizio si è bloccava dopo l'aggiornamento

  Dopo l'aggiornamento a Gateway Data Movement 2024.11.67, il servizio del provider di dati esterno (utilizzato dai connettori Lite) si bloccava a causa delle restrizioni di accesso alla cartella /tmp.

• Correzioni di sicurezza

  I seguenti componenti sono stati sostituiti con versioni successive a causa di vulnerabilità note:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Knowledge mart - Condivisione file (SMB)

  La connessione a SMB poteva fallire generando il seguente errore:

  SmbConnection' object has no attribute 'docs_path'

• Errore di preparazione

  Quando si preparava un'attività per la seconda volta e si verificava un DDL dopo la prima preparazione, l'operazione di preparazione a volte falliva generando il seguente errore (estratto):

  Could not find match between landing metadata with gateway task metadata for the following tables: name

• Problema dell'anteprima dati

  L'opzione di anteprima dati a volte non funzionava quando si utilizzava una destinazione Microsoft SQL Server.

Miglioramenti:

• Aggiunta del supporto per Qlik Cloud Government DoD

  Questa versione aggiunge il supporto per l'utilizzo di Gateway Data Movement con Qlik Cloud Government DoD.

Miglioramenti:

• Controllare quando vengono attivati i criteri di gestione degli errori nella tabella

  È stata aggiunta una nuova opzione Numero di tentativi prima di restituire un errore per la tabella alle impostazioni di gestione degli errori di tabella per le attività di replica e di trasferimento. In precedenza, quando si verificava un errore di tabella, questa veniva sospesa o l'attività veniva interrotta (in base all'azione di gestione dell'errore selezionata). Ciò a volte comportava la sospensione delle tabelle durante la finestra di manutenzione dell'applicazione SaaS. Con questa nuova opzione, è ora possibile determinare quante volte l'esecuzione di una tabella deve essere ritentata prima che vengano attivati i criteri di gestione degli errori della tabella. Questa opzione è particolarmente utile se l'applicazione SaaS è sottoposta a manutenzione periodica, in quanto è possibile sovrascrivere il numero predefinito di tentativi (3), in modo che la manutenzione possa essere completata senza attivare i criteri di gestione degli errori della tabella.

  Gestione degli errori di tabella

  Nota informaticaQuesta opzione sarà visualizzata solo per le attività configurate con un connettore per applicazioni SaaS Lite o Standard.

• L'anteprima dei dati ora include i tipi di dati delle colonne

  Quando si visualizza l'anteprima di una trasformazione SQL, i risultati ora includono i tipi di dati delle colonne.

  Anteprima dei dati

Miglioramenti:

• Rollover ed eliminazione dei file di registro di replica

  Un criterio di rollover ed eliminazione è stato implementato per i file di registro di replica sul computer del gateway. Il criterio di rollover impedisce ai file di registro di diventare troppo grandi (incidendo sulle prestazioni e sull'analisi), mentre il criterio di eliminazione impedisce l'accumulo e il consumo eccessivo di spazio.

Problemi risolti:

• Stato della tabella errato dopo il ricaricamento

  Quando si ricarica una tabella sospesa, lo stato della tabella mostrato nel monitoraggio a volte non è corretto.

• Timeout dell'operazione di preparazione

  Quando si prepara un'attività di trasferimento dopo aver aggiunto un set di dati, a volte si verificava il timeout nella fase di catalogazione delle risorse. Ciò causava il fallimento dell'operazione Prepara.

Questa patch risolve i seguenti problemi:

• Mancata riuscita della preparazione quando si aggiunge una nuova tabella

  Quando si aggiunge una nuova tabella a un'attività di replica e si fa clic su Prepara, a volte si verifica il seguente errore:

  Prepare data task failed: Object reference not set to an instance of an object.

• Vulnerabilità risolte

  I seguenti Gateway Data Movement file di configurazione sono stati aggiornati alle versioni senza vulnerabilità note:
  

  • Java

  • jetty-io-version.jar

  • jetty-http-version.jar

  • spring-expression-version.jar

  • spring-core-version.jar

  • spring-context-version.jar

Questa patch risolve i seguenti problemi:

• Errore di connettività di IBM DB2 per LUW

  Dopo l'aggiornamento a Gateway Data Movement 2024.11.54, la connessione al database viene interrotta.

• Errore di preparazione

  La preparazione dell'attività dati generava errore quando l'attività era configurata con la sorgente di un'applicazione SaaS e una destinazione Google BigQuery.

• Le attività con sorgenti basate su Java generavano errore dopo l'aggiornamento

  Le attività con sorgenti dati basate su Java generavano errore dopo l'aggiornamento a Gateway Data Movement 2024.11.54.

• Destinazione Snowflake: le attività a volte passavano alla modalità "uno a uno" durante i processi CDC.

  Durante i processi CDC, quando una colonna STRING in una tabella di origine superava i 65536 byte, i dati venivano troncati nella colonna STRING di destinazione. L'attività passava quindi alla modalità di applicazione "uno a uno".

• Sicurezza

  I file java_file_factory.jar e arep-google-cloud.jar sono stati aggiornati alle versioni senza vulnerabilità note.

Questa patch risolve i seguenti problemi:

• I caricamenti completi che ignoravano le impostazioni delle attività

  Durante il caricamento completo, l'attività si interrompeva e ricreava le tabelle di destinazione, anche se l'attività era configurata con Se la tabella di destinazione esiste già: ignora

• Conteggio dei record errato

  Dopo aver interrotto e preparato un'attività di replica esistente con la modalità di replica impostata su caricamento completo e applicazione delle modifiche, il conteggio dei record elaborati da CDC aumentava, generando un conteggio errato.

• Connettore di origine JIRA

  Quando un nuovo set di dati veniva aggiunto a un'attività esistente, l'attività falliva con il seguente errore:

  Could not find a match between landing metadata and gateway task metadata for the following tables: name

• Errore della connessione di prova

  La connessione di prova alle sorgenti SAP e SQL falliva.

• Aggiorna

  Dopo l'aggiornamento del gateway, a volte le attività non riprendevano come previsto.

Supporto per Snowpipe Streaming

In precedenza, il Caricamento in blocco era l'unico metodo disponibile per caricare i dati in Snowflake. Ora i clienti possono utilizzare il Caricamento in blocco o Snowpipe Streaming per integrare o replicare i dati in Snowflake.

I vantaggi di Snowpipe Streaming rispetto al caricamento in blocco includono:

• Meno costoso: poiché Snowpipe Streaming non utilizza il warehouse di Snowflake, i costi operativi dovrebbero essere significativamente più bassi, anche se ciò dipenderà dal proprio caso d'uso specifico.
• Latenza ridotta: poiché i dati vengono inviati in streaming direttamente alle tabelle di destinazione (anziché tramite lo staging), la replica dalla sorgente dati alla destinazione dovrebbe essere più veloce.

Problemi risolti

Questa patch risolve i seguenti problemi:

• Microsoft Fabric: problema di connessione

  Quando si cerca un database utilizzando il connettore Microsoft Fabric, si verificava il seguente errore (estratto):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Il problema era causato da un'incompatibilità con il driver JDBC 12.9.0-preview.jar, che era installato con l'utilità di configurazione del driver. La utility è stata aggiornata per installare un driver compatibile.

• Mancato riavvio del server Java

  Dopo l'aggiornamento di Gateway Data Movement o il riavvio del servizio Gateway Data Movement, il server Java (necessario per i connettori basati su Java, come SAP ODP) non si avviava.

• Rafforzamento della sicurezza

  • La crittografia end-to-end non veniva applicata reciprocamente per i payload dei comandi di registro che restituivano i registri ospitati dai clienti dal centro attività Qlik Cloud Administration.

  • La versione di SQLite utilizzata da Gateway Data Movement è stata aggiornata a causa di una vulnerabilità della versione 3.42.0(CVE-2023-7104).

  • Il file com.h2database utilizzato da Gateway Data Movement è stato aggiornato a causa di una vulnerabilità con la versione h2-2.1.212(CVE-2022-45868).

Questa patch risolve il seguente problema quando si spostano i dati da una sorgente dati IBM DB2 per iSeries:

Quando si utilizza il driver ODBC iSeries Access 07.01.026 o versione successiva, l'attività fallisce durante l'attività CDC generando l'errore "Errore durante l'analisi".

Standard

Supporto di OAuth per le destinazioni Databricks

I clienti possono ora connettersi alla destinazione Databricks utilizzando l'autenticazione OAuth, che è il metodo consigliato da Databricks per l'autenticazione dell'account. L'autenticazione con token di accesso personale al momento rimarrà disponibile per la retrocompatibilità, ma è considerata meno sicura di OAuth.

Problemi risolti

• Problemi di caricamento parallelo

  Quando un set di dati veniva definito con il caricamento parallelo e il caricamento completo veniva disattivato successivamente, l'attività continuava a eseguire un caricamento completo di quel set di dati, anche quando veniva ripresa da un timestamp.

2024.11.24

Patch

Questa patch risolve i seguenti problemi:

• Fonte SAP ODP: errore nella generazione dei metadati

  La generazione di metadati non veniva completata per le tabelle con un punto nel nome (ad esempio, Area Ammortamento).

• Recupero di attività

  Le attività si ripristinano solo una volta se non vengono completate durante il caricamento completo a causa di un problema ambientale. Ora recupereranno il numero di volte configurato in Impostazioni Gestione degli erroriErrori ambientaliNumero massimo di tentativi.

Miglioramenti

Certificazione di failover PostgreSQL

L'utilizzo di un database secondario dopo il failover è stato certificato con le seguenti sorgenti dati (a cui è possibile accedere utilizzando il connettore di origine PostgreSQL):

• Google Cloud SQL per PostgreSQL
• Amazon RDS per PostgreSQL
• PostgreSQL (in loco)

Vedere anche: Impostazione del failover

Ottimizzazione delle prestazioni di MySQL

Nelle versioni precedenti, quando si utilizzava un endpoint di origine basato su MySQL in un'attività configurata con dimensioni LOB limitate, Gateway Data Movement utilizzava la ricerca della sorgente per leggere le colonne LOB. Ora, Gateway Data Movement leggerà le colonne LOB direttamente da binlog, migliorando in questo modo le prestazioni.

Modifiche alla mappatura del tipo di dati

Le mappature alle colonne LOB sono state modificate per le destinazioni Amazon Redshift e Snowflake.

Destinazione Amazon Redshift

• Il tipo di dati BLOB viene ora mappato a VARBYTE(16777216).
• Il tipo di dati NCLOB è ora mappato a NVARCHAR(65535).
• Il tipo di dati CLOB è ora mappato a NVARCHAR(65535).

Destinazione Snowflake

• CLOB BLOB è ora mappato a BINARY (8388608)
• Il tipo di dati NCLOB è ora mappato a NVARCHAR(16777216).
• Il tipo di dati CLOB è ora mappato a VARCHAR(16777216).

Nuovi tipi di dati supportati

• IBM DB2 per una sorgente LUW

  Ora supporta il tipo di dato BOOLEAN (da DB2 for LUW 11.5).

• Destinazione Google BigQuery

  Ora supporta il tipo di dati BIGNUMERIC.

Supporto esteso della destinazione per la tabella di controllo Cronologia DDL

Nelle versioni precedenti di Gateway Data Movement, la tabella di controllo Cronologia DDL era supportata solo con le destinazioni Databricks e Microsoft Fabric. Questa versione introduce il supporto per i seguenti connettori di destinazione aggiuntivi:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Vedere anche: Cronologia DDL

Supporto per l'utilizzo di un utente non avanzato con Google Cloud SQL per PostgreSQL

Da questa versione, è ora possibile specificare un account un utente non avanzato quando si effettua la replica da Google Cloud SQL per PostgreSQL.

Vedere anche: Utilizzo di un account senza il ruolo di utente avanzato

Piattaforme e versioni del driver con una nuova certificazione

• Destinazione Databricks

  15.4 LTS

• Sorgente e destinazione Oracle

  23ai

  Nota informatica

  • La sorgente e la destinazione Oracle 23ai sono certificati esclusivamente con Oracle Standard Edition.
  • La sorgente Oracle 23ai è supportata solo con la crittografia TDE.

• Aggiornamento del driver di Databricks

  Quando si spostano i dati su Databricks, ora è necessario il driver ODBC di Simba Spark 2.8.2 o versione successiva. I clienti devono eseguire l'utilità di installazione del driver o installare il driver manualmente.

  Vedere anche: Configurazione del driver

Fine supporto

Il supporto per le seguenti versioni del database è stato interrotto:

• PostgreSQL 12.x
• IBM DB2 per z/OS: z/OS 2.4
• Databricks 9.1

Problemi risolti

• Connettore SAP HANA (database): impossibile creare la tabella __CT

  Quando la modalità di replica era impostata su Archivia modifiche e la tabella conteneva una colonna .INCLUDE, l'attività non poteva creare la tabella __CT nella destinazione.

• Attività di trasferimento su lake: errore fuorviante

  L'attività falliva e veniva visualizzato l'errore "Nessuna licenza per il database" se la chiave segreta di Azure Data Lake Storage era scaduta.

• Connettore di destinazione Amazon S3: i vecchi file non venivano eliminati

  I file più datati non venivano eliminati quando si eseguiva una nuova attività. Questo poteva determinare il fallimento dell'attività a causa di record duplicati o non corrispondenti.

   

• Sorgente SAP HANA (database): errore di connessione a causa di una tabella definita dall'utente

  Quando si selezionava una tabella definita dall'utente per la replica, si verifica l'errore "Funzionalità non supportata: impossibile selezionare il tipo definito dall'utente". Il problema è stato risolto escludendo le tabelle definite dall'utente (che non sono supportate) dal selettore di tabelle.

• Connettore di destinazione Microsoft Fabric: errore di ripristino

  A volte poteva verificarsi l'errore "Conversione non riuscita" dopo il ripristino da un errore di connessione verificatosi durante l'attività di CDC.

• Connettore di destinazione Databricks: errore nell'attività CDC quando si lavora senza il supporto per le LOB

  Quando si disabilitava il supporto per le LOB, le attività CDC non venivano completate generando l'errore "colonne dati non sufficienti" quando si cercava di inserire la modifica nella tabella __ct. Questo errore si verificava quando si utilizzava la modalità "Archivia modifiche", che è l'unica modalità disponibile per le attività di trasferimento.

• Da una sorgente MySQL a una destinazione Snowflake: errore nell'attività CDC

  Durante l'attività CDC, quando si replicava una colonna "NOT NULL" con il tipo di dati mediumtext, l'attività a volte non veniva completata generando il seguente errore:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Connettore di destinazione Microsoft Fabric: errore di troncamento

  Quando si inseriva una colonna VARCHAR, si verificava il seguente errore di troncamento:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Il problema è stato risolto moltiplicando la colonna VARCHAR in Microsoft Fabric.

Nuove funzioni

Il supporto che consente di specificare ulteriori proprietà di connessione ODBC e JDBC è stato aggiunto al connettore di destinazione Snowflake

Per ulteriori informazioni, vedere Proprietà di connessione aggiuntive.

Problemi risolti

• I metadati non vengono aggiornati

  Quando una chiave primaria veniva modificata nella sorgente, i metadati di destinazione non venivano aggiornati dopo un nuovo caricamento.

• Destinazione Amazon S3

  Quando si crea ed esegue una nuova attività, i file rimasti dalle attività precedenti non venivano eliminati dalla posizione delle tabelle.

• Sorgente SAP HANA

  Quando si provava a connettersi a una sorgente SAP HANA utilizzando il CDC basato su registri, poteva generare il seguente errore:

  Cannot select user-defined type

2024.5.41

Patch

Questa patch risolve i seguenti problemi:

• Destinazioni Amazon S3, Google Cloud Storage e Qlik Cloud: delimitazione tra virgolette dei valori delle stringhe vuote

  Le stringhe vuote ora racchiuse tra virgolette nel file CSV per distinguerle dai valori NULL.

• Destinazione Databricks: mancata corrispondenza dei dati

  In alcuni scenari, si poteva verificare una mancata corrispondenza tra i dati di origine e quelli di destinazione.

• Destinazione Databricks: errore nell'attività CDC causato dalla disabilitazione del supporto per le LOB

  Disabilitando il supporto per le LOB nell'attività di trasferimento, l'attività CDC poteva generare il seguente errore (estratto):

  Cannot write to 'name__ct', not enough data columns

• Destinazione Microsoft Fabric: errore di connessione con conseguente fallimento di CDC

  L'applicazione delle modifiche alla destinazione dopo il ripristino da un errore di connessione poteva fallire generando l'errore "Conversione non riuscita".

2024.5.35

Patch

Questa patch risolve i seguenti problemi:

• Destinazione Microsoft Fabric: problema di conversione del tipo di dati

  Nelle attività di archiviazione, il tipo di dati NVARCHAR(3500) veniva erroneamente convertito in VARCHAR(10500) anziché VARCHAR(8000), ossia il massimo consentito, causando un errore.

• Sorgente IBM DB2 per LUW: supporto per il tipo di dati GRAPHIC con pagina di codice 941 (giapponese)

  Quando la tabella dati di origine includeva un tipo di dati GRAPHIC con la pagina di codice 941 (giapponese), si verificava il seguente errore (estratto):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Patch

Dopo aver aggiornato il nome utente e la password nel connettore di origine di Workday Reports e aver eseguito il ricaricamento dell'attività, veniva visualizzato l'errore "Nome utente o password non validi", anche se le credenziali erano corrette. Questo problema è ora risolto.

Patch

Questa patch risolve i seguenti problemi:

Sicurezza

Oracle Java Standard Edition 17.0.8, che viene fornito con Gateway Data Movement, presenta diverse vulnerabilità note. Questa patch sostituisce la versione 17.0.8 con quella 17.0.12, risolvendo i problemi.

Sorgente Salesforce

Durante l'operazione di CDC, per ogni modifica, venivano aggiunte più operazioni INSERT alla tabella _ct associata (anziché una sola). Ciò aumentava in modo significativo il numero di record nella tabella _ct.

Standard

Patch

Questa patch risolve i seguenti problemi:

Vulnerabilità del driver JDBC di Snowflake

Il 14 agosto 2024, Snowflake ha emesso un avviso di sicurezza sui driver JDBC di Snowflake = 3.2.6 e = 3.19.1, alcuni dei quali sono stati utilizzati con versioni precedenti di Gateway Data Movement. La vulnerabilità è stata corretta in Snowflake JDBC Driver 3.20, che è la versione che viene ora installata con l'utilità di installazione del driver. I clienti esistenti devono aggiornare il proprio driver alla prima occasione, seguendo la procedura di Aggiornamento del driver descritta in Configurazione del driver.

Sorgente Oracle

• Quando si utilizzava l'evento "redo event 11.22", si verificavano operazioni INSERT mancati quando si elaboravano più operazioni INSERT su una pagina compressa che non era stata compressa prima delle operazioni INSERT.
• In rari casi, l'errata analisi degli eventi DELETE nel record dei registri di ripristino generava l'avviso "L'evento DELETE del registro di ripristino contiene una struttura sconosciuta", seguito da vari problemi.

Sorgente SAP Extractor

Le istruzioni del file YAML sono state aggiornate per riflettere la versione corretta del connettore SAP Java.

Destinazione Snowflake

Quando si utilizzava Gateway Data Movement per connettersi alla destinazione Snowflake tramite un proxy, la connessione falliva generando il seguente errore:

500 Failed to connect to Data Movement Gateway

Patch

Patch

Problemi risolti

• Sorgente Oracle

  • Talvolta si verificavano INSERT mancanti in operazioni multiple di INSERT quando si utilizzava il redo event 11.22.

  • Dopo l'aggiornamento di Oracle 19g alla patch di luglio 2024, a volte le operazioni di UPDATE non venivano acquisite e veniva visualizzato il seguente avviso:

    A compressed row cannot be parsed

• Destinazione Snowflake

  Quando le impostazioni dell'attività erano configurate per creare lo schema della tabella di controllo, l'attività non riusciva con il seguente errore:

  Failed to delete directory

• CDC pianificato

  Quando un'attività era pianificata per essere eseguita periodicamente, a volte non riusciva con il seguente errore:

  The task stopped abnormally

• Attività di trasformazione e archiviazione bloccate

  Le attività di trasformazione e archiviazione a volte rimanevano in uno stato In coda per un tempo eccessivamente lungo.

• Metadata Manager

  Le attività non riuscivano quando si utilizzava il flag della funzionalità use_manipulation_pk_for_apply con la replica Archivia modifiche.

• Timeout prolungato con conseguenti problemi con le origini di applicazioni SaaS

  Esteso il timeout S3 a 6 ore per evitare problemi derivanti da timeout prolungati, come la perdita del token per il download dei file.

Standard

Miglioramenti

• Aggiunta l'autenticazione Coppia di chiavi al connettore di destinazione Snowflake

  La coppia di chiavi fornisce un metodo di autenticazione più robusto di utente/password per la connessione a Snowflake con gli account dei servizi. Questo approccio è consigliato per carichi di lavoro quali il caricamento dati (attività di replica o trasferimento) e le trasformazioni.

• Supporto per il recupero di metadati da più tabelle in parallelo

  Nelle versioni precedenti, l'aggiornamento dei metadati in un set di dati esistente o in un set di dati appena aggiunto a volte generava un errore. Questo miglioramento garantisce che i metadati possano essere recuperati da più tabelle in parallelo senza alcun problema.

Problemi risolti

• Il tipo di dati DECIMAL viene erroneamente mappato come STRING in Google BigQuery

  Quando una tabella di origine conteneva una colonna con un tipo dati DECIMAL, ad esempio DECIMAL (38, 20), la preparazione dell'attività di archiviazione su Google BigQuery non veniva completata generando il seguente errore (estratto):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Il problema è stato risolto mappando il tipo di dati DECIMAL di origine in DECIMAL in Google BigQuery.

• Errore della regola dello schema

  Dopo aver apportato modifiche a una regola dello schema esistente in un'attività dati, veniva generato il seguente errore:

  QRI SQL error not implemented

• Tabella /QTQVC/QRI mancante dal trasporto SAP

  Quando si prepara un'attività di trasferimento che si connette alla sorgente di un'applicazione SAP, l'attività veniva completata correttamente, ma nel file di registro repsrv.log veniva riportato il seguente errore:

  Invalid object name 'hk1./QTQVC/QRI'

Standard

Miglioramenti

• Supporto per le modifiche ai metadati nelle attività di replica e di trasferimento su lake senza bisogno di rimuovere e ricreare tutte le tabelle

  In precedenza, quando veniva completata una modifica dei metadati, tutte le tabelle venivano eliminate e ricreate anche se tale modifica non aveva alcun impatto sulle tabelle. Ora, solo le tabelle modificate verranno rimosse e ricreate, pertanto migliorando le prestazioni.

• Supporto per il caricamento automatico delle nuove tabelle nelle attività di replica

  Le tabelle create del database di origine durante l'attività dati di replica che corrispondono a Includi motivo, verranno acquisite automaticamente durante il processo CDC (Change data capture).

• Miglioramenti alla sorgente Microsoft SQL Server (MS-CDC)

  • Mantenimento di timestamp e ID transazione

    In precedenza, quando si leggevano più transazioni da Microsoft SQL Server (MS-CDC), Qlik Talend Data Integration manteneva l'ID della transazione e il timestamp solo per la prima transazione. Nella destinazione, questo dava l'impressione che i record fossero parte di un'unica transazione. Ora, Qlik Talend Data Integration mantiene l'ID della transazione originale e il timestamp per ogni record individuale. Questo fornisce un vantaggio per i clienti che desiderano utilizzare le colonne intestazione ID transazione e Timestamp nelle tabelle di modifica.

  • Ordine byte ID transazione

    In precedenza, i byte nell'ID transazione erano codificati in ordine inverso. A partire da questa versione, i byte verranno codificati nell'ordine corretto. I clienti di Informazioni che preferiscono mantenere il comportamento esistente possono farlo utilizzando parametri interni. Per maggiori dettagli, contattare il supporto Qlik.

• Supporto per la memorizzazione nella cache dell'autenticazione SHA-2 collegabile con MySQL

  Qlik Talend Data Integration ora supporta la memorizzazione nella cache dell'autenticazione SHA-2 collegabile (caching_sha2_password) quando si utilizzano sorgenti o destinazioni MySQL, locali o sul cloud. Nelle versioni precedenti, era supportata solo l'autenticazione Native Pluggable Authentication (mysql_native_password).

• Modifiche della mappatura del tipo di dati di Amazon Redshift

  I tipi di dati BYTES e BLOB vengono ora mappati a VARBYTE su Amazon Redshift anziché VARCHAR.

Piattaforme, endpoint e versioni con una nuova certificazione

• Sorgenti dati

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 per z/OS 3.1

• Piattaforme di destinazione

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Driver

  • SQL Server ODBC Driver 18.3

Fine supporto

Il supporto per le seguenti versioni del database è stato interrotto:

• Tutte le versioni e i driver Oracle anteriori a Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 per z/OS: z/OS 2.3

Problemi risolti

• Sorgente SAP (applicazione)

  Quando la modifica del documento di un cluster acquisita eliminava tutte le righe delle tabelle acquisite, veniva visualizzato un messaggio di errore per un'operazione DELETE mancante e messaggi di asserzione non necessari.

• Vulnerabilità di sicurezza

  Aggiornamento della libreria di Microsoft Authentication per Java (MSAL4J) e Bouncy Castle a versioni senza vulnerabilità note.

• Destinazione Snowflake

  • L'attività a volte non veniva completata quando si utilizzava l'archiviazione interna di Snowflake.
  • L'attività non veniva completata quando il nome dello schema era Japanese Katakana.

• Sorgente Oracle

  Quando si riprendeva un'attività con una sorgente Oracle, l'attività rimaneva in attesa di un registro di ripristino eliminato anziché non riuscire generando un errore appropriato.

Standard

Miglioramenti

• Schema dei metadati Snowflake

  Da questa versione, lo schema dei metadati Snowflake (per i file in modalità staged) verrà creato se non esiste.

Problemi risolti

• Una volta apportata una modifica a una regola Rinomina set di dati (concatenando il nome della tabella con il nome dello schema) e aggiunta una vista all'attività di trasferimento, l'operazione Prepara falliva generando il seguente errore:

  QRI SQL error not implemented.

• Il componente java_file_factory è stato aggiornato a una versione senza vulnerabilità note.
• org.postgresql:postgresql è stato aggiornato a una versione senza vulnerabilità note.
• Quando si spostano i dati su SQL Server, l'operazione Prepara generava errore quando i nomi di indicizzazione superavano i 128 caratteri. Il problema è stato risolto alterando la logica per creare nomi di indicizzazione più brevi.

• Quando si spostano i dati da SQL Server, il nome mancante di una colonna nelle definizioni della tabella causava l'invio ripetuto all'infinito della notifica nel file repsrv.log, con il seguente messaggio:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standard

Miglioramenti

• Recupero dei metadati paralleli

  È stato aggiunto il supporto per il recupero simultaneo dei metadati per più tabelle.

• Miglioramento delle prestazioni di monitoraggio

  Le informazioni di monitoraggio per le attività di trasferimento e replica ora vengono aggiornate ogni 10 secondi (anziché ogni 60 secondi), fornendo un'indicazione più precisa dello stato corrente.

• Supporto di una nuova regione

  Il Giappone ora è supportato come regione del tenant Qlik Cloud.

Problemi risolti

• L'intervallo di tentativi tra il gateway dati e Qlik Cloud aumentava continuamente, ma non veniva mai reimpostato (a meno che il servizio non venisse riavviato).
• Quando si spostavano dati dalla sorgente di un'applicazione SaaS, le tabelle a volte visualizzavano uno stato di errore durante il ricaricamento.

• Le attività con una sorgente MySQL a volte non venivano completate con il seguente errore durante le attività di CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• In precedenza, gli eventi di controllo CDC venivano registrati solo per le attività di trasferimento. Ora, vengono registrati anche per le attività di replica.
• Quando si spostano dati da SQL Server (MS-CDC), le attività con un gran numero di tabelle a volte richiedevano diverse ore per essere avviate.

• Quando la tabella di origine conteneva colonne CLOB e il valore di "Limita dimensione LOB" era superiore a 10240, la replica su Snowflake non veniva completata con il seguente errore:

  Invalid character length: 0

Standard

Supporto per l'installazione di Gateway Data Movement su Red Hat 9.x

I clienti ora possono installare il Gateway Data Movement su Red Hat 9.x o qualsiasi distribuzione Linux corrispondente e compatibile.

Impostazione di Gateway Data Movement

Modifiche ai comandi di servizio del Gateway Data Movement

I comandi per interrompere, avviare e verificare lo stato del servizio del Gateway Data Movement sono cambiati.

Comandi di servizio di Gateway Data Movement

Modifiche alla mappatura del tipo di dati di Amazon Redshift

• Il tipo di dati BOOLEAN, che è stato mappato a VARCHAR(1) in Amazon Redshift, ora verrà mappato a BOOLEAN.
• I tipi di dati BYTES e BLOB, che sono stati mappati a VARCHAR(1) in Amazon Redshift, ora verranno mappati a VARBINARY (lunghezza).

Nuovi database, versioni del database e versioni del driver supportati

Questa sezione elenca i nuovi database, versioni del database e versioni del driver supportati.

• Nuove versioni ed edizioni supportate per la sorgente dati

  Le seguenti versioni di sorgenti dati ora sono supportate:

  • Azure Database per MySQL - Server flessibile (supportato tramite il connettore di origine MySQL)
  • MariaDB 10.4 - 10.11 (in precedenza 10.4 e 10.5)

• Nuove piattaforme ed edizioni supportate per la piattaforma di dati di destinazione

  Le seguenti versioni di destinazioni dati ora sono supportate:

  • Azure Database per MySQL - Server flessibile (supportato tramite il connettore di destinazione MySQL)
  • Databricks: Databricks 13.3 LTS e warehouse SQL senza server

• Nuova versione del driver SAP HANA supportata

  I clienti con una sorgente SAP HANA che desiderano installare il Gateway Data Movement su Red Hat Linux 9.x, devono installare il driver SAP HANA ODBC a 64 bit versione 2.0.19 o successiva.

Versioni del database con fine supporto

In questa sezione sono disponibili le informazioni sulle versioni del database con fine supporto.

• Il supporto per le seguenti versioni di sorgenti dati è stato interrotto:

  • Oracle 11.x
  • SAP HANA 1.0

Problemi risolti

• Quando si installava il Gateway Data Movement senza fornire una password per il server, non era possibile configurare gli URL di tenant e proxy con un unico comando.
• Se si spostavano i dati da una sorgente dati Salesforce (un'applicazione SaaS) veniva stampato un gran numero di avvisi ridondanti, incidendo pertanto in modo negativo sulle prestazioni di caricamento dei dati.
• Quando si recuperavano le modifiche per la sorgente dati di un'applicazione SaaS, se si verificava un errore durante il recupero delle modifiche per una delle tabelle, quella tabella veniva sospesa e rimossa dalla pipeline. Ora, quando si verifica un errore, l'attività proverà a recuperare le modifiche fino a tre volte prima di sospendere la tabella.

Standard

Nuove destinazioni data lake per i progetti di replica

Espandiamo in continuazione le destinazioni supportate per i progetti di replica in Qlik Cloud Data Integration: oltre ad Amazon S3, ora è possibile selezionare Azure Data Lake Storage (ADLS) e Google Cloud Storage (GCS) per la consegna nei data lake nei formati file Parquet, JSON o CSV.

Problemi risolti:

• Connettore di origine IBM DB2 per LUW

  La connessione a IBM DB2 per LUW generava errore quando le dimensioni dei file necessari per la connessione (come il certificato del client SSL e il file dell'archivio dati) superavano i 4 KB.

• Driver per i connettori di origine IBM DB2 per LUW e IBM DB2 per z/OS

  L'installazione del driver DB2 generava errore quando si utilizzava l'utilità di installazione del driver.

Standard

Supporto per Microsoft Fabric come destinazione pipeline di dati

Microsoft Fabric è stato aggiunto all'elenco di data warehouse, in continua espansione, che è possibile utilizzare nei progetti di pipeline di dati.

Problemi risolti:

la versione del driver Snowflake è stata aggiornata nell'utilità di installazione.

Standard

Supporto esteso per le connessioni private

È possibile utilizzare una connessione privata per assicurare che il traffico dati sia protetto e conforme alle norme. Semplifica sia la gestione della rete e la sicurezza del VPC (Virtual Private Cloud) senza bisogno di utilizzare porte del firewall in ingresso, dispositivi proxy o tabelle di routing. Qlik Cloud Data Integration supporta già le connessioni private alle destinazioni delle pipeline di dati di Snowflake, Microsoft SQL Server e Amazon S3. Con questa nuova versione, i clienti possono inoltre utilizzare connessioni private durante lo spostamento dei dati da Databricks, Microsoft Azure Synapse, Google BigQuery e Amazon Redshift.

Sorgenti dati basate su PostgreSQL

• Tutte le sorgenti dati basate su PostgreSQL – Supporto dei tipi di dati multigamma: i seguenti tipi di dati multigamma ora sono supportati con le sorgenti dati basate su PostgreSQL (in loco e cloud).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud per sorgenti dati PostgreSQL – Supporto del ruolo Non utente avanzato: gli utenti specificati nel connettore PostgreSQL non devono più disporre del ruolo di utente avanzato per spostare i dati da una sorgente dati AWS Aurora Cloud per PostgreSQL. Ciò è particolarmente utile per le organizzazioni con politiche di sicurezza aziendale che impediscono loro di fornire accesso come utente avanzato agli utenti che non hanno le autorizzazioni necessarie.

Sorgente dati Microsoft Azure SQL (MS-CDC): Supporto della replica geografica

I clienti che spostano i dati da una sorgente Microsoft Azure SQL (MS-CDC) ora possono utilizzare un database per la replica geografica.

Sorgente dati Oracle: Supporto di HSM (Hardware Security Module)

Qlik Cloud Data Integration ora supporta la lettura dei dati dagli spazi tabelle Oracle crittografate e dalle colonne crittografate durante la Change Data Capture (CDC).

Supporto di nuove regioni

Qlik Cloud Data Integration ora supporta i tenant nelle regioni DE e UK.

Supporto di nuove versioni e software di terze parti

In questa sezione è disponibile un elenco dei nuovi database e versioni di driver supportati.

• Nuove versioni supportate per la sorgente dati Le seguenti versioni di sorgenti dati ora sono supportate:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (quando si utilizza IBM DB2 per z/OS)
  • IBM DB2 per iSeries 7.5

• Nuove versioni supportate per la piattaforma di dati di destinazione Le seguenti versioni di destinazioni dati ora sono supportate:

  • Databricks (Cloud Storage): Databricks 12.2 LTS e Databricks SQL Serverless

• Versioni driver Le seguenti versioni di driver ODBC ora sono supportate:

  • IBM Data Server Client 11.5.8 per IBM DB2 per z/OZ e IBM DB2 per LUW
  • Driver Simba ODBC 3.0.0.1001 per Google Cloud BigQuery
  • Driver MySQL ODBC Unicode a 64 bit 8.0.32

Driver Microsoft SQL Server - Aggiornamento richiesto

I clienti che spostano dati in o da Microsoft SQL Server devono aggiornare il driver ODBC per SQL Server alla versione 18.x o successiva. Tenere presente che continuare a utilizzare il driver ODBC 17.x per SQL Server potrebbe provocare errori di dati. L'aggiornamento del driver può essere effettuato utilizzando l'utilità di installazione dei driver o manualmente. Per le istruzioni, vedere Configurazione del driver.

Versioni del database con fine supporto

In questa sezione sono disponibili le informazioni sulle versioni del database con fine supporto.

• Versioni delle sorgenti dati con fine supporto Il supporto per le seguenti versioni di sorgenti dati è stato interrotto:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versioni per la piattaforma di dati di destinazione con fine supporto Il supporto per le seguenti versioni di destinazioni dati è stato interrotto:

  • Databricks 9.1 LTS

2022.11.74

Standard

15 agosto 2023

Supporto per la replica

Abbiamo adottato un approccio che dà la precedenza al cloud, che consente una rapida innovazione e adozione. Tuttavia, ciò non significa che il nostro approccio si limita esclusivamente al cloud. Come parte del nostro continuo impegno per migliorare il valore a lungo termine per i nostri clienti, siamo lieti di annunciare il rilascio di un nuovo caso di utilizzo per la Replica per la creazione di progetti dati. Il nuovo caso di utilizzo di Replica è stato aggiunto alla possibilità esistente di creare pipeline di dati per tutte le esigenze relative alle integrazioni dati, come la modernizzazione dei data warehouse.

Il progetto Replica supporta la replica dei dati in tempo reale da sorgenti dati supportate in una destinazione supportata.

A partire da questa ultima versione, la prima destinazione a supportare la replica dei dati in tempo reale è Microsoft SQL Server. Oltre al supporto di Microsoft SQL Server in loco, sono supportati anche i seguenti provider cloud:

• in loco
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance e Microsoft Azure Database)

Microsoft Azure Synapse Analytics come destinazione - Aggiornamento del driver richiesto

I clienti che spostano dati in Microsoft Azure Synapse Analytics devono aggiornare il driver ODBC per SQL Server alla versione 18.x o successiva. Tenere presente che continuare a utilizzare il driver ODBC 17.x per SQL Server potrebbe provocare errori di dati. L'aggiornamento del driver può essere effettuato utilizzando l'utilità di installazione dei driver o manualmente. Per le istruzioni, vedere Configurazione del driver.

Nuova opzione "Carica da origine" per sorgenti di applicazioni SaaS

È stata introdotta una nuova opzione, Carica da origine, che consente ai clienti di leggere i propri dati direttamente dalla sorgente durante il caricamento completo, anziché utilizzare i dati nella cache.

Per maggiori informazioni su questa opzione, oltre ai casi di utilizzo, vedere Impostazioni di trasferimento.

Aggiornamento dei certificati CA

Gateway Data Movement 2022.11.74 include certificati CA aggiornati, che sono necessari per autenticare il tenant Qlik Cloud. I certificati CA aggiornati, inoltre, offrono supporto per l'Irlanda e Francoforte. Di conseguenza, i clienti con tenant Qlik Cloud in Irlanda o Francoforte che vogliono utilizzare Qlik Cloud Data Integration devono effettuare l'aggiornamento a questa versione.

Problema risolto

Le attività di trasferimento dati da una sorgente Oracle potevano non essere completate se una tabella di grandi dimensioni conteneva colonne inutilizzate o non supportate, o colonne LOB che non erano replicate.

2022.11.70

Standard

28 giugno 2023

Miglioramento dell'utilità di installazione driver per i client SAP

Nelle versioni precedenti, i clienti dovevano eseguire il comando "source arep_login.sh" durante l'installazione dei client SAP. A partire da questa versione, non è più necessario eseguire questo comando.

Aggiornamento dei certificati CA

Questa versione include certificati CA aggiornati, che sono necessari per autenticare il tenant Qlik Cloud.

Problemi risolti

• Se un'attività di replica su Gateway Data Movement non riesce e viene recuperata automaticamente, lo stato recuperato non verrà comunicato all'Asset dati di trasferimento in Qlik Cloud.

• La crittografia end-to-end per Gateway Data Movement dati potrebbe non venire abilitata per impostazione predefinita ed essere controllata da contrassegni in runtime.

2022.11.63

Standard

2 maggio 2023

Utilità di installazione driver

Questa versione introduce un'utilità di installazione dei driver che elimina il bisogno di installare e configurare manualmente i driver. La nuova utilità consente di velocizzare il processo di installazione riducendo allo stesso tempo in modo significativo la possibilità di un errore da parte dell'utente. Quando l'utilità è in esecuzione, il driver richiesto viene eseguito automaticamente, se possibile, e quindi installato. Se non è possibile scaricare il driver (i driver DB2 richiedono l'accesso, per esempio), è necessario semplicemente scaricare il driver, copiarlo in una cartella dedicata sul computer gateway di Data Movement, ed eseguire l'utilità.

Per un esempio sull'utilizzo dell'utilità di installazione del driver per installare un driver PostgreSQL, vedere Prerequisiti.

Piattaforma dati cloud Snowflake

Il connettore Snowflake ora supporta i caratteri emoji a 4 byte.

Supporto del database di Azure per PostgreSQL - Server flessibile come sorgente dati

Il connettore PostgreSQL ora può spostare i dati da data dal database di Azure per PostgreSQL - Server Flessibile.

Supporto per Cloud SQL for PostgreSQL come sorgente dati

Il connettore PostgreSQL ora può spostare i dati da Cloud SQL for PostgreSQL.

Nuove versioni supportate per la sorgente dati

Questa versione introduce il supporto per le seguenti versioni della sorgente dati:

• PostgreSQL 14
• DB2 (per IBM DB2 per z/OS) 12.1
• IBM DB2 per z/OS 2.5

Nuove versioni supportate per la piattaforma di dati cloud

Databricks 11.3 LTS

Supporto interrotto per le seguenti versioni di sorgenti dati

Le seguenti versioni di sorgenti dati non sono più supportate:

• DB2 (per IBM DB2 per z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemi risolti

Questa versione risolve i seguenti problemi:

• Sorgente dati Oracle: Quando si interrompe e si riprende un'attività, questa a volte può fallire visualizzando l'errore “Impossibile impostare la posizione del flusso in contesto”.
• Sorgente applicazione SAP: le modifiche non vengono rilevate durante le attività di trasferimento.