Aggiornamento e disinstallazione di Gateway Data Movement

Supporto esteso per il caricamento parallelo

La funzionalità di caricamento parallelo ora supporta la destinazione Databricks.

Replica in parallelo di segmenti del set di dati

Tabella di controllo Cronologia DDL: Destinazioni appena supportate

La tabella di controllo attrep_ddl_history (Cronologia DDL) contiene una cronologia delle modifiche DDL che si sono verificate sull'origine durante la replica verso la destinazione.

Ora sono supportati i seguenti endpoint di destinazione:

• Google BigQuery
• Google Cloud AlloyDB SQL per PostgreSQL
• Google Cloud SQL per PostgreSQL
• PostgreSQL (in loco)

Cronologia DDL

Miglioramento della colonna di intestazione “[header]__change_mask”

Quando si utilizzano le tabelle di modifica con il formato Parquet, la colonna di intestazione [header]__change_mask ora riempie di zeri a sinistra (invece che a destra), per allinearsi alla regola little endian di memorizzazione dei byte in ordine inverso.

Endpoint di destinazione interessati:

• Amazon S3

• Google Cloud Storage

Tabelle di modifica

Nuove versioni supportate per la sorgente dati e la destinazione

• Destinazione Kafka: 4.0.x

• Sorgente IBM z/OS: 3.2

Nuove versioni supportate per i driver

• Driver Microsoft ODBC 18.5
• MySQL 8.4

Fine del ciclo di vita per Microsoft Azure Database per MySQL e Microsoft Azure Database per PostgreSQL

Il supporto per Microsoft Azure Database per MySQL e Microsoft Azure Database per PostgreSQL, ufficialmente ritirati da Microsoft, è stato sospeso.

Versioni obsolete di sorgenti dati e destinazioni

• Destinazione Databricks: 10.4 LTS e 11.3 LTS

• MariaDB origine e destinazione: 10.5

• PostgreSQL origine e destinazione: 13.x

• MySQL origine e destinazione: 8.1

Versioni driver obsolete

• Microsoft ODBC Driver 18.3

Problemi risolti

• Sorgente SAP (Applicazione)

  Le attività configurate per utilizzare una sorgente SAP (Applicazione) con un processo di backend che generava eventi auto-commit, a volte andavano in crash dopo aver ricaricato una tabella.

• Destinazione Microsoft Azure SQL Database

  Nella replica omogenea, quando si lavora in modalità “Applicazione transazionale” o in modalità “Applicazione ottimizzata batch” che passava alla modalità uno-a-uno, si verificava un errore “0 righe interessate” quando una colonna DATETIME faceva parte della chiave primaria sulla destinazione.

• Sorgente Oracle

  L'attività Oracle va in crash durante il caricamento completo quando una tabella contiene una colonna long raw e la dimensione massima lob è maggiore o uguale a 64K.

• Sorgente SAP Extractor - Ciclo di scaricamento dovuto alla cancellazione CDC

  Durante un ricaricamento della tabella, i processi CDC SAP a lunga esecuzione vengono talvolta annullati. Ciò comporterebbe uno stato di errore recuperabile in cui lo scaricamento non è mai stato completato.

• Sicurezza

  I seguenti componenti sono stati aggiornati a causa di vulnerabilità note:

  • JRE aggiornato da 17.0.17 a 17.0.18

  • org.eclispe.jetty:jetty-io aggiornato da 11.0.25 a 11.0.26

  • org.apache.logging.log4j:log4j-core aggiornato da 2.23.1 a 2.25.3

• SAP ODP

  Il seguente errore si verificava durante il CDC quando veniva definito un filtro per una tabella:

  Invalid value for parameter "I_DIMNAME"

• SAP extractor

  Il Delta smetteva di funzionare se l'attività veniva interrotta e ripresa mentre una delle tabelle era in stato di caricamento.

• Sorgente applicazione SaaS (Report Workday)

  • Durante il caricamento completo, quando ci si connette alla cartella di staging S3, l'attività a volte falliva con il seguente errore:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Il problema è stato risolto implementando un meccanismo di tentativi multipli per la connessione alla cartella S3 quando la prima connessione non ha successo.

  • Il privilegio CREATE SCHEMA sarebbe richiesto anche quando lo schema esisteva già.

• Destinazione Microsoft SQL Server

  A volte si verificava una perdita di dati nelle colonne LOB e una replica dei dati errata durante il CDC quando la dimensione LOB era impostata su illimitata nelle impostazioni dell'attività.

• Destinazione PostgreSQL

  Il mancato caricamento del file CSV nella tabella Net Changes restituiva un errore recuperabile (con conseguente ciclo infinito) invece di passare all'applicazione uno-a-uno.

• Replica da MySQL a MySQL

  Quando lo schema della sorgente e della destinazione si trovavano nella stessa istanza MySQL e la replica includeva una tabella di controllo, l'attività a volte andava in crash con un errore "Process crashed with signal 11".

• Sorgente PostgreSQL

  Durante il CDC, l'attività a volte leggeva le stesse voci WAL più e più volte, con il risultato che nessun dato veniva acquisito.

• Sorgente Microsoft SQL Server

  • Si verificava un errore durante la decompressione di un log delle transazioni che conteneva blocchi crittografati. Il problema è stato risolto lasciando il log compresso in tali casi.

  • Venivano mostrati errori ridondanti quando si utilizzava una cartella di backup alternativa, a causa di un controllo di convalida non necessario per i file esistenti.

  • L'attività a volte andava in crash dopo l'invocazione di DBCC Lookup.

Supporto per connettore di destinazione Kafka

La nuova versione di Gateway Data Movement introduce il supporto per il connettore di destinazione Kafka. Replica facilmente i tuoi dati da qualsiasi sorgente supportata direttamente in Kafka on-premise o Amazon MSK, garantendo trasferimenti affidabili e tolleranti ai guasti che mantengono le tue applicazioni agili e informate. Che tu stia mantenendo la coerenza dei dati tra i sistemi o alimentando l'analisi, questo connettore offre una replica a bassa latenza con una configurazione minima.

Per ulteriori informazioni, vedere Kafka destinazione

Problemi risolti

• Fallimento dell'attività di replica da sorgente MySQL a destinazione MySQL

  Durante la replica di un insieme di dati da uno schema MySQL a uno schema MySQL diverso in esecuzione sulla stessa istanza del server MySQL, e includendo una tabella di controllo nella replica, il CDC falliva con il seguente errore:

  Process crashed with signal 11

• Connettore SAP Extractor: Tabella sospesa durante la ripresa di un'attività

  La ripresa di un'attività mentre una tabella era ancora in caricamento completo causava il fallimento del processo di estrazione e la sospensione della tabella.

Problemi risolti

• Destinazione PostgreSQL - Comportamento di errore errato

  Il mancato caricamento del file CSV nella tabella Qlik Net Changes restituiva un errore recuperabile (con conseguente ciclo infinito) invece di passare all'applicazione uno-a-uno.

• Connettori Lite applicazione SaaS

  Durante il caricamento completo, le attività a volte fallivano con il seguente errore a causa del rifiuto attivo della connessione da parte di Amazon:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Il problema è stato risolto implementando un meccanismo di riprova con un massimo di tre tentativi prima che si verifichi l'errore.

• Sorgente Microsoft SQL Server - Fallimento decompressione log

  Si verificava un errore durante la decompressione di un log delle transazioni che conteneva blocchi crittografati. Il problema è stato risolto lasciando il log compresso in tali casi.

• Sorgente Netsuite Suite Analytics - Errore di ripresa CDC

  Durante la ripresa di un'attività CDC dopo aver apportato una modifica alla sorgente, l'attività a volte falliva con il seguente errore:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Sorgente Microsoft SQL Server - Errori falsi

  Venivano mostrati errori ridondanti quando si utilizzava una cartella di backup alternativa, a causa di un controllo di convalida non necessario per i file esistenti.

Supporto della chiave primaria Databricks

A partire da questa versione, l'attività dati creerà una chiave primaria nelle tabelle Delta Databricks di destinazione, utilizzando la parola chiave RELY. Sebbene Databricks non applichi vincoli di chiave primaria, si presume che le chiavi primarie con la parola chiave RELY non abbiano duplicati e possono quindi essere utilizzate da Databricks per l'ottimizzazione delle query.

Requisiti:

• È necessario selezionare un catalogo nelle impostazioni del connettore

• Databricks 14.2 o versioni successive

Ottimizzazione dei tipi di dati

• Sorgente IBM DB2 per iSeries: È stato aggiunto il supporto per i seguenti tipi di dati: BINARY-DECIMAL e ZONED-DECIMAL

• Destinazione Databricks: Nelle versioni precedenti, i valori BYTES venivano mappati a STRING. A partire da questa versione, questi verranno mappati a VARCHAR (Lunghezza in byte)

• Destinazione Google Cloud BigQuery: il sottotipo JSON è ora supportato dalle destinazioni Google Cloud BigQuery

Sorgente basata su PostgreSQL: le tabelle partizionate ora sono supportate per impostazione predefinita

La replica (caricamento completo e CDC) di partizioni e sotto-partizioni (e sotto-sotto-partizioni) da sorgenti dati basate su PostgreSQL è ora supportata per impostazione predefinita.

Destinazione Google Cloud BigQuery: supporto della gestione degli errori relativi al troncamento dei dati

La destinazione Google Cloud BigQuery ora supporta la gestione degli errori relativi al troncamento dei dati. Se si verifica un errore di troncamento dei dati, è ora possibile scegliere se registrare il record nella tabella di controllo delle eccezioni (impostazione predefinita), ignorare il record, sospendere la tabella o arrestare l'attività.

Nuove versioni supportate

Ora sono supportate le seguenti versioni per gli endpoint di origine e di destinazione:

• MariaDB (on-premise) e Amazon RDS per MariaDB: 11.4

• MySQL (on-premise), MySQL Percona, Google Cloud SQL per MySQL, Amazon RDS per MySQL e Microsoft Azure Database per MySQL - Flexible Server: 8.4

• PostgreSQL (on-premise), Google Cloud SQL per PostgreSQL, Amazon RDS per PostgreSQL e Microsoft Azure Database per PostgreSQL - Flexible Server: 17.x

Nuove versioni supportate per i driver

IBM Data Server Client 11.5.9 è ora supportato per le seguenti sorgenti DB2:

• IBM DB2 per LUW

• IBM DB2 per z/OS

Versioni di origine e driver obsolete

• Sorgenti e destinazioni obsolete: il supporto per Microsoft Azure Database per MySQL e Microsoft Azure Database per PostgreSQL, ufficialmente ritirati da Microsoft, è stato sospeso.

• Versioni delle sorgenti obsolete: Il supporto per IBM DB2 per iSeries 7.2, che è a fine ciclo di vita, è stato sospeso.

• Versioni driver obsolete: il supporto per IBM Data Server Client 11.5.6 è stato sospeso.

Problemi risolti

• Supporto HSTS

  HSTS non era abilitato sulla macchina Qlik Data Gateway - Movimento dati.

• Fallimento installazione Gateway Data Movement

  L'installazione di Gateway Data Movement su Redhat versione 9.7 falliva con un errore "OPENSSL_3.4.0 not found".

• Sorgente PostgreSQL 15.7 - Nessun dato acquisito durante CDC

  Durante il CDC, l'attività continuava a leggere le stesse voci WAL ed elaborare la stessa posizione del flusso.

• SAP ODP - Fallimento CDC

  Dopo che un'attività CDC si è interrotta durante le modifiche (a causa di un problema di connettività, ad esempio), la ripresa dell'attività a volte portava a errori di lunghezza della riga.

• Log di connessione sorgente mancanti

  I log di connessione sorgente non erano disponibili dopo l'esecuzione di un'attività che utilizzava un connettore Preview o Lite.

• Monitoraggio - Informazioni mancanti

  La scheda Monitor non mostrava un messaggio di errore quando una tabella veniva sospesa durante la fase CDC di un caricamento completo e di un'attività CDC.

Supporto per la creazione di knowledge mart su Databricks

In precedenza i knowledge mart erano supportati soltanto su Snowflake. Ora, è possibile creare ed eseguire knowledge mart e knowledge mart basati su file anche su Databricks.

Problemi risolti:

Le attività fallivano a intermittenza durante la preparazione con il seguente errore:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Problemi risolti:

Quando la proprietà Internal metadataschema veniva definita con caratteri speciali, l'attività falliva durante il CDC.

Problemi risolti:

• Avvisi di produzione nella regione EU-Central-1

  I clienti nella regione EU-Central-1 riscontravano frequenti avvisi di produzione quando utilizzavano Gateway Data Movement.

• Sorgente dati Jira: Tabella bloccata

  Durante la replica dei dati da Jira, la tabella USERS rimaneva bloccata nello stato Queued al primo avvio, mentre le altre tabelle completavano il caricamento con successo.

• Problema di monitoraggio

  Il monitoraggio CDC mancava dal monitor dell'attività.

• Fallimento replica da Oracle a Oracle

  Le attività di replica da Oracle a Oracle a volte fallivano a causa di un calcolo errato della lunghezza della stringa.

• Sicurezza

  Il componente server Java (sqlite-jdbc) è stato aggiornato alla versione 3.47.0 a causa di una vulnerabilità nota nelle versioni precedenti.

• Errore all'avvio di un'attività

  Un errore "No license for database" si verificava a volte quando un'attività veniva avviata in modalità ripresa per la prima volta, senza essere stata avviata in precedenza.

• Problema connettore Salesforce con nuovi insiemi di dati

  L'aggiunta di nuovi insiemi di dati a un'attività di trasferimento con una sorgente dati Salesforce causava il fallimento dell'attività con un errore "'Table doesn't exist'".

Problemi risolti:

• Errore di connessione attività di archiviazione

  Le attività di archiviazione fallivano con un errore di connessione che richiedeva il riavvio del gateway.

• Fallimento installazione driver DB2

  L'installazione del driver DB2 falliva quando l'accesso alla cartella /tmp era limitato.

• Tempo di connessione eccessivo a Qlik Cloud

  Dopo l'aggiornamento alla versione 2024.11.65 di Gateway Data Movement, era necessario un tempo eccessivo per connettersi a Qlik Cloud. Il problema è stato risolto aggiungendo un token di annullamento con un timeout di due minuti.

• Servizio andato in crash dopo l'aggiornamento

  Dopo l'aggiornamento a Gateway Data Movement 2024.11.67, il servizio external-data-provider (utilizzato dai connettori Lite) è andato in crash a causa di restrizioni di accesso alla cartella /tmp.

• Correzioni di sicurezza

  I seguenti componenti sono stati sostituiti con versioni successive a causa di vulnerabilità note:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Knowledge mart - Condivisione file (SMB)

  La connessione a SMB falliva con il seguente errore:

  SmbConnection' object has no attribute 'docs_path'

• Fallimento preparazione

  Durante la preparazione di un'attività per la seconda volta e se si verificava un DDL dopo la prima preparazione, l'operazione di preparazione a volte falliva con il seguente errore (estratto):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problema anteprima dati

  L'opzione di anteprima dati non funzionava quando si utilizzava una destinazione Microsoft SQL Server.

Miglioramenti:

• Aggiunto supporto per Qlik Cloud Government DoD

  Questa versione aggiunge il supporto per l'utilizzo di Gateway Data Movement con Qlik Cloud Government DoD.

Miglioramenti:

• Controllo di quando viene attivata la politica di gestione degli errori della tabella

  Una nuova impostazione Numero di tentativi prima di restituire un errore di tabella è stata aggiunta alle impostazioni di gestione degli errori della tabella per le attività di replica e trasferimento. In precedenza, quando si verificava un errore di tabella, la tabella veniva sospesa o l'attività veniva interrotta (in base all'azione di gestione degli errori selezionata). Ciò a volte comportava la sospensione delle tabelle durante la finestra di manutenzione dell'applicazione SaaS. Con questa nuova opzione, è ora possibile determinare quante volte la tabella deve essere riprovata prima che venga attivata la politica di gestione degli errori della tabella. Questa opzione è particolarmente utile se la tua applicazione SaaS è soggetta a manutenzione periodica, poiché puoi sovrascrivere il numero predefinito di tentativi (3) in modo che la manutenzione possa essere completata senza attivare la politica di gestione degli errori della tabella.

  Gestione errori tabella

  Nota informaticaQuesta opzione verrà mostrata solo per le attività configurate con un connettore applicazione SaaS Lite o Standard.

• L'anteprima dati ora include i tipi di dati delle colonne

  Durante l'anteprima di una trasformazione SQL, i risultati includeranno ora i tipi di dati delle colonne.

  Anteprima dati

Miglioramenti:

• Rollover e eliminazione dei file di log di replica

  È stata implementata una politica di rollover e eliminazione per i file di log di replica sulla macchina gateway. La politica di rollover impedirà ai file di log di diventare troppo grandi (il che influisce sulle prestazioni e sull'analisi), mentre la politica di eliminazione impedirà loro di accumularsi e consumare spazio su disco eccessivo.

Problemi risolti:

• Stato tabella errato dopo il ricaricamento

  Durante il ricaricamento di una tabella sospesa, lo stato della tabella mostrato nel monitor a volte era errato.

• Timeout operazione di preparazione

  Durante la preparazione di un'attività di trasferimento dopo l'aggiunta di un insieme di dati, a volte si verificava un timeout nella fase di catalogazione delle risorse. Ciò causava il fallimento dell'operazione di preparazione.

Questa patch risolve i seguenti problemi:

• Fallimento preparazione durante l'aggiunta di una nuova tabella

  Durante l'aggiunta di una nuova tabella a un'attività di replica e facendo clic su Prepara, a volte si verificava il seguente errore:

  Prepare data task failed: Object reference not set to an instance of an object.

• Vulnerabilità risolte

  I seguenti file di configurazione di Gateway Data Movement sono stati aggiornati a versioni senza vulnerabilità note:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Questa patch risolve i seguenti problemi:

• Fallimento connettività IBM DB2 per LUW

  Dopo l'aggiornamento a Gateway Data Movement 2024.11.54, la connessione al database falliva.

• Fallimento preparazione

  La preparazione dell'attività dati falliva quando l'attività era configurata con una sorgente applicazione SaaS e una destinazione Google BigQuery.

• Le attività con sorgenti basate su Java falliscono dopo l'aggiornamento

  Le attività con sorgenti dati basate su Java fallivano dopo l'aggiornamento a Gateway Data Movement 2024.11.54.

• Destinazione Snowflake: Le attività a volte passavano alla modalità "uno-a-uno" durante il CDC

  Durante il CDC, quando una colonna STRING in una tabella sorgente superava i 65536 byte, i dati venivano troncati nella colonna STRING di destinazione. L'attività passava quindi alla modalità di applicazione "uno-a-uno".

• Sicurezza

  I file java_file_factory.jar e arep-google-cloud.jar sono stati aggiornati a versioni senza vulnerabilità note.

Questa patch risolve i seguenti problemi:

• Caricamento completo che ignora le impostazioni dell'attività

  Durante il caricamento completo, l'attività eliminava e ricreava le tabelle di destinazione, anche se l'attività era configurata con Se la tabella di destinazione esiste già: Ignora

• Conteggio record errato

  Dopo aver interrotto e preparato un'attività di replica esistente con la modalità di replica impostata su caricamento completo e applicazione modifiche, il conteggio dei record elaborati dal CDC aumentava, risultando in un conteggio errato.

• Connettore sorgente JIRA

  Quando un nuovo insieme di dati veniva aggiunto a un'attività esistente, l'attività falliva con il seguente errore:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Fallimento test connessione

  Il test di connessione a sorgenti SAP e basate su SQL falliva.

• Aggiornamento

  Dopo l'aggiornamento del gateway, le attività a volte non riprendevano come previsto.

Supporto per Snowpipe Streaming

In precedenza, il Caricamento in blocco era l'unico metodo disponibile per caricare i dati in Snowflake. Ora i clienti possono utilizzare il Caricamento in blocco o Snowpipe Streaming per integrare o replicare i dati in Snowflake.

I vantaggi di Snowpipe Streaming rispetto al caricamento in blocco includono:

• Meno costoso: poiché Snowpipe Streaming non utilizza il warehouse di Snowflake, i costi operativi dovrebbero essere significativamente più bassi, anche se ciò dipenderà dal proprio caso d'uso specifico.
• Latenza ridotta: poiché i dati vengono inviati in streaming direttamente alle tabelle di destinazione (anziché tramite lo staging), la replica dalla sorgente dati alla destinazione dovrebbe essere più veloce.

Problemi risolti

Questa patch risolve i seguenti problemi:

• Microsoft Fabric: Problema di connettività

  Durante la ricerca di database utilizzando il connettore Microsoft Fabric, si verificava il seguente errore (estratto):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Il problema era causato da un'incompatibilità con il driver JDBC 12.9.0-preview.jar, installato con l'utilità di configurazione del driver. L'utilità è stata ora aggiornata per installare un driver compatibile.

• Fallimento riavvio server Java

  Dopo l'aggiornamento di Gateway Data Movement o il riavvio del servizio Gateway Data Movement, il server Java (richiesto per connettori basati su Java come SAP ODP) non riusciva ad avviarsi.

• Rafforzamento sicurezza

  • La crittografia end-to-end non veniva applicata reciprocamente per la registrazione dei payload di comando che restituivano log ospitati dal cliente dal centro attività di amministrazione di Qlik Cloud.

  • La versione di SQLite utilizzata da Gateway Data Movement è stata aggiornata a causa di una vulnerabilità con la versione 3.42.0 (CVE-2023-7104).

  • Il file com.h2database utilizzato da Gateway Data Movement è stato aggiornato a causa di una vulnerabilità con la versione h2-2.1.212 (CVE-2022-45868).

Questa patch risolve il seguente problema durante lo spostamento di dati da una sorgente dati IBM DB2 per iSeries:

Quando si utilizza iSeries Access ODBC Driver 07.01.026 o versioni successive, l'attività falliva durante il CDC con un errore "Error parsing".

Standard

Supporto OAuth per destinazione Databricks

I clienti possono ora connettersi alla destinazione Databricks utilizzando l'autenticazione OAuth, che è il metodo consigliato da Databricks per l'autenticazione dell'account. L'autenticazione con token di accesso personale al momento rimarrà disponibile per la retrocompatibilità, ma è considerata meno sicura di OAuth.

Problemi risolti

• Problema caricamento parallelo

  Quando un insieme di dati veniva definito con caricamento parallelo e il caricamento completo veniva successivamente disabilitato, l'attività eseguiva comunque un caricamento completo di quell'insieme di dati, anche quando veniva ripreso dal timestamp.

2024.11.24

Patch

Questa patch risolve i seguenti problemi:

• Sorgente SAP ODP: Fallimento generazione metadati

  La generazione dei metadati non riusciva a completarsi per le tabelle con un punto nel nome (ad esempio Deprec.Area).

• Ripristino attività

  Le attività venivano ripristinate solo una volta se fallivano durante il caricamento completo a causa di un problema ambientale. Ora verranno ripristinate il numero di volte configurato in Impostazioni > Gestione errori > Errori ambientali > Conteggio massimo tentativi.

Miglioramenti

Certificazione di failover PostgreSQL

L'utilizzo di un database secondario dopo il failover è stato certificato con le seguenti sorgenti dati (a cui è possibile accedere utilizzando il connettore di origine PostgreSQL):

• Google Cloud SQL per PostgreSQL
• Amazon RDS per PostgreSQL
• PostgreSQL (in loco)

Vedere anche: Impostazione del failover

Ottimizzazione delle prestazioni di MySQL

Nelle versioni precedenti, quando si utilizzava un endpoint di origine basato su MySQL in un'attività configurata con dimensioni LOB limitate, Gateway Data Movement utilizzava la ricerca della sorgente per leggere le colonne LOB. Ora, Gateway Data Movement leggerà le colonne LOB direttamente da binlog, migliorando in questo modo le prestazioni.

Modifiche alla mappatura del tipo di dati

Le mappature alle colonne LOB sono state modificate per le destinazioni Amazon Redshift e Snowflake.

Destinazione Amazon Redshift

• Il tipo di dati BLOB viene ora mappato a VARBYTE(16777216).
• Il tipo di dati NCLOB è ora mappato a NVARCHAR(65535).
• Il tipo di dati CLOB è ora mappato a NVARCHAR(65535).

Destinazione Snowflake

• CLOB BLOB è ora mappato a BINARY (8388608)
• Il tipo di dati NCLOB è ora mappato a NVARCHAR(16777216).
• Il tipo di dati CLOB è ora mappato a VARCHAR(16777216).

Nuovi tipi di dati supportati

• IBM DB2 per una sorgente LUW

  Ora supporta il tipo di dato BOOLEAN (da DB2 for LUW 11.5).

• Destinazione Google BigQuery

  Ora supporta il tipo di dati BIGNUMERIC.

Supporto esteso della destinazione per la tabella di controllo Cronologia DDL

Nelle versioni precedenti di Gateway Data Movement, la tabella di controllo Cronologia DDL era supportata solo con le destinazioni Databricks e Microsoft Fabric. Questa versione introduce il supporto per i seguenti connettori di destinazione aggiuntivi:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Vedere anche: Cronologia DDL

Supporto per l'utilizzo di un utente non avanzato con Google Cloud SQL per PostgreSQL

Da questa versione, è ora possibile specificare un account un utente non avanzato quando si effettua la replica da Google Cloud SQL per PostgreSQL.

Vedere anche: Utilizzo di un account senza il ruolo di utente avanzato

Piattaforme e versioni del driver con una nuova certificazione

• Destinazione Databricks

  15.4 LTS

• Sorgente e destinazione Oracle

  23ai

  Nota informatica

  • La sorgente e la destinazione Oracle 23ai sono certificati esclusivamente con Oracle Standard Edition.
  • La sorgente Oracle 23ai è supportata solo con la crittografia TDE.

• Aggiornamento del driver di Databricks

  Quando si spostano i dati su Databricks, ora è necessario il driver ODBC di Simba Spark 2.8.2 o versione successiva. I clienti devono eseguire l'utilità di installazione del driver o installare il driver manualmente.

  Vedere anche: Configurazione del driver

Fine supporto

Il supporto per le seguenti versioni del database è stato interrotto:

• PostgreSQL 12.x
• IBM DB2 per z/OS: z/OS 2.4
• Databricks 9.1

Problemi risolti

• Connettore SAP HANA (database): impossibile creare la tabella __CT

  Quando la modalità di replica era impostata su Archivia modifiche e la tabella conteneva una colonna .INCLUDE, l'attività non poteva creare la tabella __CT nella destinazione.

• Attività di trasferimento su lake: errore fuorviante

  L'attività falliva e veniva visualizzato l'errore "Nessuna licenza per il database" se la chiave segreta di Azure Data Lake Storage era scaduta.

• Connettore di destinazione Amazon S3: i vecchi file non venivano eliminati

  I file più datati non venivano eliminati quando si eseguiva una nuova attività. Questo poteva determinare il fallimento dell'attività a causa di record duplicati o non corrispondenti.

   

• Sorgente SAP HANA (database): errore di connessione a causa di una tabella definita dall'utente

  Quando si selezionava una tabella definita dall'utente per la replica, si verifica l'errore "Funzionalità non supportata: impossibile selezionare il tipo definito dall'utente". Il problema è stato risolto escludendo le tabelle definite dall'utente (che non sono supportate) dal selettore di tabelle.

• Connettore di destinazione Microsoft Fabric: errore di ripristino

  A volte poteva verificarsi l'errore "Conversione non riuscita" dopo il ripristino da un errore di connessione verificatosi durante l'attività di CDC.

• Connettore di destinazione Databricks: errore nell'attività CDC quando si lavora senza il supporto per le LOB

  Quando si disabilitava il supporto per le LOB, le attività CDC non venivano completate generando l'errore "colonne dati non sufficienti" quando si cercava di inserire la modifica nella tabella __ct. Questo errore si verificava quando si utilizzava la modalità "Archivia modifiche", che è l'unica modalità disponibile per le attività di trasferimento.

• Da una sorgente MySQL a una destinazione Snowflake: errore nell'attività CDC

  Durante l'attività CDC, quando si replicava una colonna "NOT NULL" con il tipo di dati mediumtext, l'attività a volte non veniva completata generando il seguente errore:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Connettore di destinazione Microsoft Fabric: errore di troncamento

  Quando si inseriva una colonna VARCHAR, si verificava il seguente errore di troncamento:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Il problema è stato risolto moltiplicando la colonna VARCHAR in Microsoft Fabric.

Nuove funzionalità

Il supporto per specificare proprietà di connessione ODBC e JDBC aggiuntive è stato aggiunto al connettore di destinazione Snowflake.

Per ulteriori informazioni, vedere Proprietà di connessione aggiuntive.

Problemi risolti

• Metadati non aggiornati

  Quando una chiave primaria veniva alterata sulla sorgente, i metadati di destinazione non venivano aggiornati dopo un ricaricamento.

• Destinazione Amazon S3

  Durante la creazione e l'esecuzione di una nuova attività, i file lasciati dalle attività precedenti non venivano eliminati dalla posizione delle tabelle.

• Sorgente SAP HANA

  Il tentativo di connettersi a una sorgente SAP HANA utilizzando CDC basato su log portava al seguente errore:

  Cannot select user-defined type

2024.5.41

Patch

Questa patch risolve i seguenti problemi:

• Destinazioni Amazon S3, Google Cloud Storage e Qlik Cloud: Citazione valori stringa vuoti

  Le stringhe vuote verranno ora citate nel file CSV per differenziarle dai valori NULL.

• Destinazione Databricks: Discrepanza dati

  Una discrepanza tra i dati di origine e di destinazione si verificava in determinati scenari.

• Destinazione Databricks: Fallimento CDC causato dalla disabilitazione del supporto LOB

  La disabilitazione del supporto LOB nell'attività di trasferimento causava il fallimento del CDC con il seguente errore (estratto):

  Cannot write to '<name>__ct', not enough data columns

• Destinazione Microsoft Fabric: Errore di connessione che causa fallimento CDC

  L'applicazione di modifiche alla destinazione dopo il ripristino da un errore di connessione a volte falliva con un errore "Conversion failed".

2024.5.35

Patch

Questa patch risolve i seguenti problemi:

• Destinazione Microsoft Fabric: Problema di conversione del tipo di dati

  Durante un'attività di archiviazione, il tipo di dati NVARCHAR(3500) veniva convertito erroneamente in VARCHAR(10500) invece di VARCHAR(8000) (il massimo consentito), con conseguente errore.

• Sorgente IBM DB2 per LUW: Supporto per tipo di dati GRAPHIC con code page 941 (giapponese)

  Quando la tabella sorgente conteneva un tipo di dati GRAPHIC con code page 941 (giapponese), si verificava il seguente errore (estratto):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Patch

Dopo aver aggiornato il nome utente e la password nel connettore sorgente Report Workday e aver ricaricato l'attività, si verificava un errore "Invalid username or password" anche se le credenziali erano corrette. Questo problema è ora risolto.

Patch

Questa patch risolve i seguenti problemi:

Sicurezza

Oracle Java Standard Edition 17.0.8, fornito con Gateway Data Movement, presenta diverse vulnerabilità note. Questa patch sostituisce la 17.0.8 con la 17.0.12, risolvendo così i problemi.

Sorgente Salesforce

Durante il CDC, per ogni modifica, venivano aggiunte più operazioni INSERT alla tabella _ct associata (invece di una sola). Ciò aumentava significativamente il numero di record nella tabella _ct.

Standard

Patch

Questa patch risolve i seguenti problemi:

Vulnerabilità driver JDBC Snowflake

Il 14 agosto 2024, Snowflake ha emesso un avviso di sicurezza sui driver JDBC Snowflake >= 3.2.6 & <= 3.19.1, alcuni dei quali venivano utilizzati con versioni precedenti di Gateway Data Movement. La vulnerabilità è stata corretta nel driver JDBC Snowflake 3.20, che è la versione ora installata con l'utilità di installazione del driver. I clienti esistenti dovrebbero aggiornare il proprio driver alla prima occasione, seguendo la procedura Aggiornamento del driver descritta in Configurazione driver.

Sorgente Oracle

• Quando si utilizza l'evento redo 11.22, si verificavano INSERT mancanti durante l'elaborazione di più INSERT su una pagina compressa che non era stata compressa prima delle INSERT.
• In scenari rari, un'analisi errata degli eventi DELETE nel record del log redo generava un avviso "The Redo Log DELETE event contains an unknown structure" seguito da vari problemi.

Sorgente SAP Extractor

Le istruzioni nel file YAML sono state aggiornate per riflettere la versione corretta del connettore SAP Java.

Destinazione Snowflake

Quando si utilizza Gateway Data Movement per connettersi alla destinazione Snowflake tramite un proxy, la connessione falliva con il seguente errore:

500 Failed to connect to Data Movement Gateway

Patch

Patch

Problemi risolti

• Sorgente Oracle

  • Talvolta si verificavano INSERT mancanti in operazioni multiple di INSERT quando si utilizzava il redo event 11.22.

  • Dopo l'aggiornamento di Oracle 19g alla patch di luglio 2024, a volte le operazioni di UPDATE non venivano acquisite e veniva visualizzato il seguente avviso:

    A compressed row cannot be parsed

• Destinazione Snowflake

  Quando le impostazioni dell'attività erano configurate per creare lo schema della tabella di controllo, l'attività non riusciva con il seguente errore:

  Failed to delete directory

• CDC pianificato

  Quando un'attività era pianificata per essere eseguita periodicamente, a volte non riusciva con il seguente errore:

  The task stopped abnormally

• Attività di trasformazione e archiviazione bloccate

  Le attività di trasformazione e archiviazione a volte rimanevano in uno stato In coda per un tempo eccessivamente lungo.

• Metadata Manager

  Le attività non riuscivano quando si utilizzava il flag della funzionalità use_manipulation_pk_for_apply con la replica Archivia modifiche.

• Timeout prolungato con conseguenti problemi con le origini di applicazioni SaaS

  Esteso il timeout S3 a 6 ore per evitare problemi derivanti da timeout prolungati, come la perdita del token per il download dei file.

Standard

Miglioramenti

• Aggiunta l'autenticazione Coppia di chiavi al connettore di destinazione Snowflake

  La coppia di chiavi fornisce un metodo di autenticazione più robusto di utente/password per la connessione a Snowflake con gli account dei servizi. Questo approccio è consigliato per carichi di lavoro quali il caricamento dati (attività di replica o trasferimento) e le trasformazioni.

• Supporto per il recupero di metadati da più tabelle in parallelo

  Nelle versioni precedenti, l'aggiornamento dei metadati in un set di dati esistente o in un set di dati appena aggiunto a volte generava un errore. Questo miglioramento garantisce che i metadati possano essere recuperati da più tabelle in parallelo senza alcun problema.

Problemi risolti

• Il tipo di dati DECIMAL viene erroneamente mappato come STRING in Google BigQuery

  Quando una tabella di origine conteneva una colonna con un tipo dati DECIMAL, ad esempio DECIMAL (38, 20), la preparazione dell'attività di archiviazione su Google BigQuery non veniva completata generando il seguente errore (estratto):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Il problema è stato risolto mappando il tipo di dati DECIMAL di origine in DECIMAL in Google BigQuery.

• Errore della regola dello schema

  Dopo aver apportato modifiche a una regola dello schema esistente in un'attività dati, veniva generato il seguente errore:

  QRI SQL error not implemented

• Tabella /QTQVC/QRI mancante dal trasporto SAP

  Quando si prepara un'attività di trasferimento che si connette alla sorgente di un'applicazione SAP, l'attività veniva completata correttamente, ma nel file di registro repsrv.log veniva riportato il seguente errore:

  Invalid object name 'hk1./QTQVC/QRI'

Standard

Miglioramenti

• Supporto per le modifiche ai metadati nelle attività di replica e di trasferimento su lake senza bisogno di rimuovere e ricreare tutte le tabelle

  In precedenza, quando veniva completata una modifica dei metadati, tutte le tabelle venivano eliminate e ricreate anche se tale modifica non aveva alcun impatto sulle tabelle. Ora, solo le tabelle modificate verranno rimosse e ricreate, pertanto migliorando le prestazioni.

• Supporto per il caricamento automatico delle nuove tabelle nelle attività di replica

  Le tabelle create del database di origine durante l'attività dati di replica che corrispondono a Includi motivo, verranno acquisite automaticamente durante il processo CDC (Change data capture).

• Miglioramenti alla sorgente Microsoft SQL Server (MS-CDC)

  • Mantenimento di timestamp e ID transazione

    In precedenza, quando si leggevano più transazioni da Microsoft SQL Server (MS-CDC), Qlik Talend Data Integration manteneva l'ID della transazione e il timestamp solo per la prima transazione. Nella destinazione, questo dava l'impressione che i record fossero parte di un'unica transazione. Ora, Qlik Talend Data Integration mantiene l'ID della transazione originale e il timestamp per ogni record individuale. Questo fornisce un vantaggio per i clienti che desiderano utilizzare le colonne intestazione ID transazione e Timestamp nelle tabelle di modifica.

  • Ordine byte ID transazione

    In precedenza, i byte nell'ID transazione erano codificati in ordine inverso. A partire da questa versione, i byte verranno codificati nell'ordine corretto. I clienti di Informazioni che preferiscono mantenere il comportamento esistente possono farlo utilizzando parametri interni. Per maggiori dettagli, contattare il supporto Qlik.

• Supporto per la memorizzazione nella cache dell'autenticazione SHA-2 collegabile con MySQL

  Qlik Talend Data Integration ora supporta la memorizzazione nella cache dell'autenticazione SHA-2 collegabile (caching_sha2_password) quando si utilizzano sorgenti o destinazioni MySQL, locali o sul cloud. Nelle versioni precedenti, era supportata solo l'autenticazione Native Pluggable Authentication (mysql_native_password).

• Modifiche della mappatura del tipo di dati di Amazon Redshift

  I tipi di dati BYTES e BLOB vengono ora mappati a VARBYTE su Amazon Redshift anziché VARCHAR.

Piattaforme, endpoint e versioni con una nuova certificazione

• Sorgenti dati

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 per z/OS 3.1

• Piattaforme di destinazione

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Driver

  • SQL Server ODBC Driver 18.3

Fine supporto

Il supporto per le seguenti versioni del database è stato interrotto:

• Tutte le versioni e i driver Oracle anteriori a Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 per z/OS: z/OS 2.3

Problemi risolti

• Sorgente SAP (applicazione)

  Quando la modifica del documento di un cluster acquisita eliminava tutte le righe delle tabelle acquisite, veniva visualizzato un messaggio di errore per un'operazione DELETE mancante e messaggi di asserzione non necessari.

• Vulnerabilità di sicurezza

  Aggiornamento della libreria di Microsoft Authentication per Java (MSAL4J) e Bouncy Castle a versioni senza vulnerabilità note.

• Destinazione Snowflake

  • L'attività a volte non veniva completata quando si utilizzava l'archiviazione interna di Snowflake.
  • L'attività non veniva completata quando il nome dello schema era Japanese Katakana.

• Sorgente Oracle

  Quando si riprendeva un'attività con una sorgente Oracle, l'attività rimaneva in attesa di un registro di ripristino eliminato anziché non riuscire generando un errore appropriato.

Standard

Miglioramenti

• Schema dei metadati Snowflake

  Da questa versione, lo schema dei metadati Snowflake (per i file in modalità staged) verrà creato se non esiste.

Problemi risolti

• Una volta apportata una modifica a una regola Rinomina set di dati (concatenando il nome della tabella con il nome dello schema) e aggiunta una vista all'attività di trasferimento, l'operazione Prepara falliva generando il seguente errore:

  QRI SQL error not implemented.

• Il componente java_file_factory è stato aggiornato a una versione senza vulnerabilità note.
• org.postgresql:postgresql è stato aggiornato a una versione senza vulnerabilità note.
• Quando si spostano i dati su SQL Server, l'operazione Prepara generava errore quando i nomi di indicizzazione superavano i 128 caratteri. Il problema è stato risolto alterando la logica per creare nomi di indicizzazione più brevi.

• Quando si spostano i dati da SQL Server, il nome mancante di una colonna nelle definizioni della tabella causava l'invio ripetuto all'infinito della notifica nel file repsrv.log, con il seguente messaggio:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standard

Miglioramenti

• Recupero dei metadati paralleli

  È stato aggiunto il supporto per il recupero simultaneo dei metadati per più tabelle.

• Miglioramento delle prestazioni di monitoraggio

  Le informazioni di monitoraggio per le attività di trasferimento e replica ora vengono aggiornate ogni 10 secondi (anziché ogni 60 secondi), fornendo un'indicazione più precisa dello stato corrente.

• Supporto di una nuova regione

  Il Giappone ora è supportato come regione del tenant Qlik Cloud.

Problemi risolti

• L'intervallo di tentativi tra il gateway dati e Qlik Cloud aumentava continuamente, ma non veniva mai reimpostato (a meno che il servizio non venisse riavviato).
• Quando si spostavano dati dalla sorgente di un'applicazione SaaS, le tabelle a volte visualizzavano uno stato di errore durante il ricaricamento.

• Le attività con una sorgente MySQL a volte non venivano completate con il seguente errore durante le attività di CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• In precedenza, gli eventi di controllo CDC venivano registrati solo per le attività di trasferimento. Ora, vengono registrati anche per le attività di replica.
• Quando si spostano dati da SQL Server (MS-CDC), le attività con un gran numero di tabelle a volte richiedevano diverse ore per essere avviate.

• Quando la tabella di origine conteneva colonne CLOB e il valore di "Limita dimensione LOB" era superiore a 10240, la replica su Snowflake non veniva completata con il seguente errore:

  Invalid character length: 0

Standard

Supporto per l'installazione di Gateway Data Movement su Red Hat 9.x

I clienti ora possono installare il Gateway Data Movement su Red Hat 9.x o qualsiasi distribuzione Linux corrispondente e compatibile.

Impostazione di Gateway Data Movement

Modifiche ai comandi di servizio del Gateway Data Movement

I comandi per interrompere, avviare e verificare lo stato del servizio del Gateway Data Movement sono cambiati.

Comandi di servizio di Gateway Data Movement

Modifiche alla mappatura del tipo di dati di Amazon Redshift

• Il tipo di dati BOOLEAN, che è stato mappato a VARCHAR(1) in Amazon Redshift, ora verrà mappato a BOOLEAN.
• I tipi di dati BYTES e BLOB, che sono stati mappati a VARCHAR(1) in Amazon Redshift, ora verranno mappati a VARBINARY (lunghezza).

Nuovi database, versioni del database e versioni del driver supportati

Questa sezione elenca i nuovi database, versioni del database e versioni del driver supportati.

• Nuove versioni ed edizioni supportate per la sorgente dati

  Le seguenti versioni di sorgenti dati ora sono supportate:

  • Azure Database per MySQL - Server flessibile (supportato tramite il connettore di origine MySQL)
  • MariaDB 10.4 - 10.11 (in precedenza 10.4 e 10.5)

• Nuove piattaforme ed edizioni supportate per la piattaforma di dati di destinazione

  Le seguenti versioni di destinazioni dati ora sono supportate:

  • Azure Database per MySQL - Server flessibile (supportato tramite il connettore di destinazione MySQL)
  • Databricks: Databricks 13.3 LTS e warehouse SQL senza server

• Nuova versione del driver SAP HANA supportata

  I clienti con una sorgente SAP HANA che desiderano installare il Gateway Data Movement su Red Hat Linux 9.x, devono installare il driver SAP HANA ODBC a 64 bit versione 2.0.19 o successiva.

Versioni del database con fine supporto

In questa sezione sono disponibili le informazioni sulle versioni del database con fine supporto.

• Il supporto per le seguenti versioni di sorgenti dati è stato interrotto:

  • Oracle 11.x
  • SAP HANA 1.0

Problemi risolti

• Quando si installava il Gateway Data Movement senza fornire una password per il server, non era possibile configurare gli URL di tenant e proxy con un unico comando.
• Se si spostavano i dati da una sorgente dati Salesforce (un'applicazione SaaS) veniva stampato un gran numero di avvisi ridondanti, incidendo pertanto in modo negativo sulle prestazioni di caricamento dei dati.
• Quando si recuperavano le modifiche per la sorgente dati di un'applicazione SaaS, se si verificava un errore durante il recupero delle modifiche per una delle tabelle, quella tabella veniva sospesa e rimossa dalla pipeline. Ora, quando si verifica un errore, l'attività proverà a recuperare le modifiche fino a tre volte prima di sospendere la tabella.

Standard

Nuove destinazioni data lake per progetti di Replica

Espandiamo in continuazione le destinazioni supportate per i progetti di replica in Qlik Cloud Data Integration: oltre ad Amazon S3, ora è possibile selezionare Azure Data Lake Storage (ADLS) e Google Cloud Storage (GCS) per la consegna nei data lake nei formati file Parquet, JSON o CSV.

Problemi risolti:

• Connettore sorgente IBM DB2 per LUW

  La connessione a IBM DB2 per LUW falliva quando la dimensione dei file necessari per la connessione (come il certificato client SSL e il file keystore) superava i 4 KB.

• Driver per connettori sorgente IBM DB2 per LUW e IBM DB2 per z/OS

  L'installazione del driver DB2 falliva quando si utilizzava l'utilità di installazione del driver.

Standard

Supporto per Microsoft Fabric come destinazione pipeline di dati

Microsoft Fabric è stato aggiunto all'elenco di data warehouse, in continua espansione, che è possibile utilizzare nei progetti di pipeline di dati.

Problemi risolti:

Aggiornata la versione del driver Snowflake nell'utilità di installazione del driver.

Standard

Supporto esteso per le connessioni private

È possibile utilizzare una connessione privata per assicurare che il traffico dati sia protetto e conforme alle norme. Semplifica sia la gestione della rete e la sicurezza del VPC (Virtual Private Cloud) senza bisogno di utilizzare porte del firewall in ingresso, dispositivi proxy o tabelle di routing. Qlik Cloud Data Integration supporta già le connessioni private alle destinazioni delle pipeline di dati di Snowflake, Microsoft SQL Server e Amazon S3. Con questa nuova versione, i clienti possono inoltre utilizzare connessioni private durante lo spostamento dei dati da Databricks, Microsoft Azure Synapse, Google BigQuery e Amazon Redshift.

Sorgenti dati basate su PostgreSQL

• Tutte le sorgenti dati basate su PostgreSQL – Supporto dei tipi di dati multigamma: i seguenti tipi di dati multigamma ora sono supportati con le sorgenti dati basate su PostgreSQL (in loco e cloud).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud per sorgenti dati PostgreSQL – Supporto del ruolo Non utente avanzato: gli utenti specificati nel connettore PostgreSQL non devono più disporre del ruolo di utente avanzato per spostare i dati da una sorgente dati AWS Aurora Cloud per PostgreSQL. Ciò è particolarmente utile per le organizzazioni con politiche di sicurezza aziendale che impediscono loro di fornire accesso come utente avanzato agli utenti che non hanno le autorizzazioni necessarie.

Sorgente dati Microsoft Azure SQL (MS-CDC): Supporto della replica geografica

I clienti che spostano i dati da una sorgente Microsoft Azure SQL (MS-CDC) ora possono utilizzare un database per la replica geografica.

Sorgente dati Oracle: Supporto di HSM (Hardware Security Module)

Qlik Cloud Data Integration ora supporta la lettura dei dati dagli spazi tabelle Oracle crittografate e dalle colonne crittografate durante la Change Data Capture (CDC).

Supporto di nuove regioni

Qlik Cloud Data Integration ora supporta i tenant nelle regioni DE e UK.

Supporto di nuove versioni e software di terze parti

In questa sezione è disponibile un elenco dei nuovi database e versioni di driver supportati.

• Nuove versioni supportate per la sorgente dati Le seguenti versioni di sorgenti dati ora sono supportate:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (quando si utilizza IBM DB2 per z/OS)
  • IBM DB2 per iSeries 7.5

• Nuove versioni supportate per la piattaforma di dati di destinazione Le seguenti versioni di destinazioni dati ora sono supportate:

  • Databricks (Cloud Storage): Databricks 12.2 LTS e Databricks SQL Serverless

• Versioni driver Le seguenti versioni di driver ODBC ora sono supportate:

  • IBM Data Server Client 11.5.8 per IBM DB2 per z/OZ e IBM DB2 per LUW
  • Driver Simba ODBC 3.0.0.1001 per Google Cloud BigQuery
  • Driver MySQL ODBC Unicode a 64 bit 8.0.32

Driver Microsoft SQL Server - Aggiornamento richiesto

I clienti che spostano dati in o da Microsoft SQL Server devono aggiornare il driver ODBC per SQL Server alla versione 18.x o successiva. Tenere presente che continuare a utilizzare il driver ODBC 17.x per SQL Server potrebbe provocare errori di dati. L'aggiornamento del driver può essere effettuato utilizzando l'utilità di installazione dei driver o manualmente. Per le istruzioni, vedere Configurazione del driver.

Versioni del database con fine supporto

In questa sezione sono disponibili le informazioni sulle versioni del database con fine supporto.

• Versioni delle sorgenti dati con fine supporto Il supporto per le seguenti versioni di sorgenti dati è stato interrotto:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versioni per la piattaforma di dati di destinazione con fine supporto Il supporto per le seguenti versioni di destinazioni dati è stato interrotto:

  • Databricks 9.1 LTS

2022.11.74

Standard

15 agosto 2023

Supporto per la replica

Abbiamo adottato un approccio che dà la precedenza al cloud, che consente una rapida innovazione e adozione. Tuttavia, ciò non significa che il nostro approccio si limita esclusivamente al cloud. Come parte del nostro continuo impegno per migliorare il valore a lungo termine per i nostri clienti, siamo lieti di annunciare il rilascio di un nuovo caso di utilizzo per la Replica per la creazione di progetti dati. Il nuovo caso di utilizzo di Replica è stato aggiunto alla possibilità esistente di creare pipeline di dati per tutte le esigenze relative alle integrazioni dati, come la modernizzazione dei data warehouse.

Il progetto Replica supporta la replica dei dati in tempo reale da sorgenti dati supportate in una destinazione supportata.

A partire da questa ultima versione, la prima destinazione a supportare la replica dei dati in tempo reale è Microsoft SQL Server. Oltre al supporto di Microsoft SQL Server in loco, sono supportati anche i seguenti provider cloud:

• in loco
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance e Microsoft Azure Database)

Microsoft Azure Synapse Analytics come destinazione - Aggiornamento del driver richiesto

I clienti che spostano dati in Microsoft Azure Synapse Analytics devono aggiornare il driver ODBC per SQL Server alla versione 18.x o successiva. Tenere presente che continuare a utilizzare il driver ODBC 17.x per SQL Server potrebbe provocare errori di dati. L'aggiornamento del driver può essere effettuato utilizzando l'utilità di installazione dei driver o manualmente. Per le istruzioni, vedere Configurazione del driver.

Nuova opzione "Carica da origine" per sorgenti di applicazioni SaaS

È stata introdotta una nuova opzione, Carica da origine, che consente ai clienti di leggere i propri dati direttamente dalla sorgente durante il caricamento completo, anziché utilizzare i dati nella cache.

Per maggiori informazioni su questa opzione, oltre ai casi di utilizzo, vedere Impostazioni di trasferimento.

Aggiornamento dei certificati CA

Gateway Data Movement 2022.11.74 include certificati CA aggiornati, che sono necessari per autenticare il tenant Qlik Cloud. I certificati CA aggiornati, inoltre, offrono supporto per l'Irlanda e Francoforte. Di conseguenza, i clienti con tenant Qlik Cloud in Irlanda o Francoforte che vogliono utilizzare Qlik Cloud Data Integration devono effettuare l'aggiornamento a questa versione.

Problema risolto

Le attività di trasferimento dati da una sorgente Oracle potevano non essere completate se una tabella di grandi dimensioni conteneva colonne inutilizzate o non supportate, o colonne LOB che non erano replicate.

2022.11.70

Standard

28 giugno 2023

Migliorata utilità di installazione driver per client SAP

Nelle versioni precedenti, i clienti dovevano eseguire il comando "source arep_login.sh" durante l'installazione dei client SAP. Da questa versione, non è più necessario eseguire questo comando.

Certificati CA aggiornati

Questa versione include certificati CA aggiornati, necessari per l'autenticazione del tenant Qlik Cloud.

Problemi risolti

• Se un'attività di replica su Gateway Data Movement non riesce e viene recuperata automaticamente, lo stato recuperato non verrà comunicato all'Asset dati di trasferimento in Qlik Cloud.

• La crittografia end-to-end per Gateway Data Movement dati potrebbe non venire abilitata per impostazione predefinita ed essere controllata da contrassegni in runtime.

2022.11.63

Standard

2 maggio 2023

Utilità di installazione driver

Questa versione introduce un'utilità di installazione dei driver che elimina il bisogno di installare e configurare manualmente i driver. La nuova utilità consente di velocizzare il processo di installazione riducendo allo stesso tempo in modo significativo la possibilità di un errore da parte dell'utente. Quando l'utilità è in esecuzione, il driver richiesto viene eseguito automaticamente, se possibile, e quindi installato. Se non è possibile scaricare il driver (i driver DB2 richiedono l'accesso, per esempio), è necessario semplicemente scaricare il driver, copiarlo in una cartella dedicata sul computer gateway di Data Movement, ed eseguire l'utilità.

Per un esempio sull'utilizzo dell'utilità di installazione del driver per installare un driver PostgreSQL, vedere Prerequisiti.

Piattaforma dati cloud Snowflake

Il connettore Snowflake ora supporta i caratteri emoji a 4 byte.

Supporto del database di Azure per PostgreSQL - Server flessibile come sorgente dati

Il connettore PostgreSQL ora può spostare i dati da data dal database di Azure per PostgreSQL - Server Flessibile.

Supporto per Cloud SQL for PostgreSQL come sorgente dati

Il connettore PostgreSQL ora può spostare i dati da Cloud SQL for PostgreSQL.

Nuove versioni supportate per la sorgente dati

Questa versione introduce il supporto per le seguenti versioni della sorgente dati:

• PostgreSQL 14
• DB2 (per IBM DB2 per z/OS) 12.1
• IBM DB2 per z/OS 2.5

Nuove versioni supportate per la piattaforma di dati cloud

Databricks 11.3 LTS

Supporto interrotto per le seguenti versioni di sorgenti dati

Le seguenti versioni di sorgenti dati non sono più supportate:

• DB2 (per IBM DB2 per z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemi risolti

Questa versione risolve i seguenti problemi:

• Sorgente dati Oracle: Quando si interrompe e si riprende un'attività, questa a volte può fallire visualizzando l'errore “Impossibile impostare la posizione del flusso in contesto”.
• Sorgente applicazione SAP: le modifiche non vengono rilevate durante le attività di trasferimento.