Uppgradera och avinstallera Gateway för dataflytt

Denna release löser följande problem:

Oracle-källa

• Vid användning av REDO-händelse 11.22 kunde det hända att INSERT saknades när flera INSERT gjordes på en komprimerad sida som inte var komprimerad före INSERT.
• I sällsynta scenarier genererade en felaktig parsning av DELETE-händelser i REDO-loggen en "DELETE-händelsen i REDO-loggen innehåller en okänd struktur"-varning, följt av olika problem.

Källa för SAP Extractor

Instruktionerna i YAML-filen uppdaterades för att återspegla rätt version av SAP Java-kopplingen.

Snowflake-mål

När Data Movement gateway används för att ansluta till Snowflake-målet via en proxy, misslyckas anslutningen med följande fel:

500 Failed to connect to Data Movement Gateway

Lösta problem

• Oracle-källa

  • Missade INSERTs kunde ibland uppstå i flera INSERT-åtgärder vid användningen av redo-händelse 11.22.

  • Efter uppgradering av Oracle 19g med patchen från juli 2024 kunde det hända att UPDATE-åtgärder inte registrerades och följande varning visades:

    A compressed row cannot be parsed

• Snowflake-mål

  När uppgiftsinställningarna konfigurerades för att skapa kontrolltabellschemat misslyckades uppgiften med följande fel:

  Failed to delete directory

• Schemalagd CDC

  När en uppgift var schemalagd för att köras regelbundet kunde den ibland misslyckas med följande fel:

  The task stopped abnormally

• Transformering och lagringsuppgifter fastnar

  Transformering och lagringsuppgifter kunde ibland ligga kvar i kö under en alltför lång tid.

• Metadatahanterare

  Uppgifter kunde misslyckas när funktionen use_manipulation_pk_for_apply användes med replikering av Lagra ändringar.

• Förlängd timeout resulterar i problem med SaaS-programkällor

  Förlängde tidsgränsen för S3 till 6 timmar för att förhindra problem till följd av långa timeouts, t.ex. förlust av token för att hämta filer.

Förbättringar

• Lägg till nyckelparsautentisering i Snowflake-målkopplingen

  Nyckel/par ger en mer robust autentiseringsmetod än användare/lösenord för att ansluta till Snowflake med dina servicekonton. Detta tillvägagångssätt rekommenderas för arbetsbelastningar som dataladdning (replikering eller mellanlagring) och transformeringar.

• Support för att hämta metadata från flera tabeller parallellt

  I tidigare versioner kunde uppdatering av metadata på en befintlig datauppsättning eller en nyligen tillagd datauppsättning ibland misslyckas och ett fel uppstod. Den här förbättringen säkerställer att metadata kan hämtas från flera tabeller parallellt utan problem.

Lösta problem

• Datatypen DECIMAL mappas felaktigt som STRING i Google BigQuery

  När en källtabell innehöll en kolumn med datatypen DECIMAL, som DECIMAL (38, 20), misslyckades förberedelsen av datalagringsuppgiften i Google BigQuery med följande fel (utdrag):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Problemet löstes genom att källdatatypen DECIMAL mappades som DECIMAL i Google BigQuery.

• Fel i regel för Schema

  Ändringar av en befintlig schemaregel i en datauppgift ledde till följande fel:

  QRI SQL error not implemented

• Saknas /QTQVC/QRI-tabell från SAP-transporten

  När en mellanlagringsuppgift kopplad till en SAP-applikationskälla förbereddes slutfördes uppgiften, men följande fel rapporterades i loggfilen repsrv.log:

  Invalid object name 'hk1./QTQVC/QRI'

Förbättringar

• Stod för metadataändringar i replikering och mellanlagring av uppgifter i sjö utan att behöva släppa och återskapa alla tabeller.

  Om en metadataändring skedde tidigare släpptes alla tabeller och återskapades även om metadataändringen inte påverkade alla tabeller. Nu släpps och återskapas bara ändrade tabeller vilket förbättrar prestanda.

• Stöd för automatisk laddning av nya tabeller i replikeringsuppgifter

  Tabeller som skapas i källdatabasen under replikeringsdatauppgiften och matchar det ingående mönstret registreras nu automatiskt under CDC (Change data capture).

• Microsoft SQL Server (MS-CDC)-källförbättringar

  • Bevarar tidsmarkör och transaktions-ID

    Vid läsning av flera transaktioner från Microsoft SQL Server (MS-CDC) bevarade Qlik Talend Data Integration transaktions-ID och tidsmarkör för enbart den första transaktionen. På målet gav detta intryck av att posterna alla ver del av en enda transaktion. Nu bevarar Qlik Talend Data Integration ursprungligt transaktions-ID och tidsmarkör för varje enskild post. Det är till hjälp för kunder som vill använda rubrikkolumner för transaktions-ID och tidsmarkör i Ändra tabeller.

  • Ordning för transaktions-ID-bytes

    Tidigare kodades bytes in transaktions-ID i omvänd ordning. Från denna version kodas bytes i korrekt ordning. Information: Kkunder som hellre vill behålla nuvarande beteende kan göra det med interna parametrar. Kontakta Qlik-support för mer information.

• Stöd för att cachelagra SHA-2 instickbar autentisering med MySQL

  Qlik Talend Data Integration har nu stöd för att cachelagra SHA-2 instickbar autentisering (caching_sha2_password) vid arbete med MySQL-källor eller -mål, antingen lokalt eller i molnet. I föregående versioner fanns endast stöd för Native Pluggable Authentication (mysql_native_password).

• Ändringar av datatypsmappningen för Amazon Redshift

  Datatyperna BYTES och BLOB kommer nu att mappas till VARBYTE på Amazon Redshift istället för VARCHAR.

Nyligen certifierade plattformar, slutpunkter och versioner

• Datakällor

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 för z/OS 3.1

• Målplattformar

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Drivrutiner

  • SQL Server ODBC Driver 18.3

Support upphört

Support för följande databasversioner har upphört:

• Alla Oracle-versioner och -drivrutiner före Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 för LUW 10.5
• IBM DB2 för z/OS: z/OS 2.3

Lösta problem

• SAP (program)-källa

  När en registrerad klusterdokumentändring raderade alla rader i sina registrerade tabeller uppstod saknad DELETE-åtgärd och överflödiga försäkransmeddelanden.

• Säkerhetssårbarheter

  Uppdaterat Microsoft Authentication Library för Java (MSAL4J) och Bouncy Castle till versioner utan kända sårbarheter.

• Snowflake-mål

  • Ibland misslyckades uppgiften när internt lagringsutrymme användes i Snowflake.
  • Uppgiften misslyckades om målets schemanamn var japansk katakana.

• Oracle-källa

  När en uppgift med en Oracle-källa återupptogs fortsatte uppgiften vänta på en raderad Archived Redo Log i stället för att misslyckas med passande fel.

Förbättringar

• Metadataschema i Snowflake

  Från och med den här versionen kommer Snowflakes metadataschema (för mellanlagrade filer) kommer att skapas om det inte finns.

Lösta problem

• Efter att en ändring hade gjorts i en regel för att Byta namn på datauppsättning (som konkatenerar tabellnamnet med schemanamnet) och en vy hade lagts till i mellanlagringsuppgiften misslyckades förbered-åtgärden med följande fel:

  QRI SQL error not implemented.

• Uppdaterade komponenten java_file_factory till en version utan några kända sårbarheter.
• Uppdaterade org.postgresql:postgresql till en version utan några kända sårbarheter.
• När data flyttas till SQL Server misslyckades förbered-åtgärden när indexnamn översteg 128 tecken. Problemet löstes genom att ändra logiken så att kortare indexnamn skapas.

• När data flyttas från SQL Server medförde ett saknat kolumnnamn i tabelldefinitionerna till en oändlig meddelandeslinga i filen repsrv.log med följande meddelande:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Förbättringar

• Hämtning av parallella metadata

  Stöd för samtidig hämtning av metadata för flera tabeller har lagts till.

• Förbättrad övervakningsprestanda

  Övervakningsinformationen för mellanlagrings- och replikeringsuppgifter uppdateras nu var 10:e sekund (i stället för var 60:e sekund), vilket ger en mer exakt indikation på deras aktuella status.

• Nytt stöd för region

  Japan stöds nu som region för Qlik Cloud-klientorganisationer.

Lösta problem

• Intervallet för nya försök mellan datagatewayen och Qlik Cloud ökade kontinuerlig, men återställdes aldrig (såvida inte tjänsten startades om).
• När data flyttades från en SaaS-programkälla hamnade tabeller ibland i ett feltillstånd under laddning.

• Uppgifter med en MySQL-källa misslyckades ibland med följande fel under CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Tidigare loggades CDC-granskningshändelser bara för mellanlagringsuppgifter. Nu loggas de även för replikeringsuppgifter.
• När data flyttades från SQL Server (MS-CDC) tog det ibland flera timmar för uppgifter med många tabeller att starta.

• När källtabellen innehöll CLOB-kolumner och värdet för "Begränsa LOB-storlek" överskred 10 240 misslyckades Snowflake med följande fel:

  Invalid character length: 0

Stöd för att installera Gateway för dataflytt på Red Hat 9.x

Kunder kan nu installera Gateway för dataflytt på Red Hat 9.x eller på valfri motsvarande och kompatibel Linuxdistribution.

Konfigurera Gateway för dataflytt

Ändringar av Gateway för dataflytt-servicekommandon

Kommandona för att stoppa, starta och kontrollera statusen för Gateway för dataflytt-tjänsten har ändrats.

Gateway för dataflytt service commands

Ändringar av datatypsmappningen för Amazon Redshift

• Datatypen BOOLEAN som mappades till VARCHAR(1) i i Amazon Redshift kommer nu att mappas till BOOLEAN.
• Datatyperna BYTES och BLOB som mappades till VARCHAR(1) i i Amazon Redshift kommer nu att mappas till VARBINARY (längd).

Databaser, databasversioner och drivrutinsversioner som nyligen fått stöd

I det här avsnittet listas databaser, databasversioner och drivrutinsversioner som nyligen fått stöd.

• Datakällversioner och -utgåvor som nyligen fått stöd

  Följande datakällversioner stöds nu:

  • Azure-databas for MySQL - Flexible Server (stöds via MySQL-källkopplingen)
  • MariaDB 10.4 - 10.11 (tidigare 10.4 och 10.5)

• Måldataplattformar och -utgåvor som nyligen fått stöd

  Följande måldataversioner stöds nu:

  • Azure-databas for MySQL - Flexible Server (stöds via MySQL-målkopplingen)
  • Databricks: Databricks 13.3 LTS and Serverless SQL Warehouse

• SAP HANA-drivrutinsversion som nyligen fått stöd

  Kunder med en SAP HANA-källa som vill installera Gateway för dataflytt på Red Hat Linux 9.x måste installera SAP HANA ODBC 64-bits drivrutinsversion 2.0.19 eller senare.

Databasversioner som inte längre stöds

Det här avsnittet ger information om databasversioner som inte längre stöds.

• Stödet för följande datakällversioner har upphört:

  • Oracle 11.x
  • SAP HANA 1.0

Lösta problem

• Om Gateway för dataflytt installerades utan att ett serverlösenord angavs kunde inte URL:erna för klientorganisationen och proxyn konfigureras i ett enda kommando.
• Om data flyttades från en Salesforce-datakälla (SaaS-program) skrevs ett stort antal onödiga varningar ut, vilket påverkade dataladdningsprestandan.
• Om ett fel inträffade när ändringar för en av tabellerna hämtades under hämtning av ändringar för en SaaS-programdatakälla inaktiverades den tabellen och togs bort från pipelinen. När ett fel påträffas nu kommer uppgiften att försöka hämta ändringarna upp till tre gånger innan tabellen inaktiveras.

Nya datasjömål för Replicate-projekt

Vi fortsätter att utöka målen som stöds för replikeringsprojekt i Qlik Cloud Data Integration. Förutom Amazon S3 kan du nu välja Azure Data Lake Storage (ADLS) och Google Cloud Storage (GCS) för datasjöleverans som antingen Parquet-, JSON- eller CSV-filformat.

Lösta problem:

• IBM DB2 för LUW-källkoppling

  Kopplingen till IBM DB2 för LUW fungerade inte när storleken på de filer som behövs för kopplingen (till exempel SSL-klientcertifikatet och keystore-filen) överskred 4 kB.

• Drivrutin för IBM DB2 för LUW och IBM DB2 för z/OS-källkopplingar

  DB2-drivrutinsinstallationen misslyckades när verktyget för installation av drivrutiner användes.

Stöd för Microsoft Fabric som datapipelinemål

Microsoft Fabric sällar sig till den ständigt växande listan över datalager som kan användas som mål i datapipelineprojekt.

Lösta problem:

Uppdaterade drivrutinen för Snowflake i verktyget för installation av drivrutiner.

Utökat stöd för privata anslutningar

En privat anslutning kan användas för att säkerställa att din datatrafik förblir säker och kompatibel. Den förenklar både nätverkshanteringen och säkerheten för ditt VPC (Virtual Private Cloud) utan behovet att öppna inkommande brandväggsportar, proxy-enheter eller routing-tabeller. Qlik Cloud Data Integration har redan stöd för privata anslutningar till Snowflake-, Microsoft SQL Server- och Amazon S3-datapipelinemål. Från och med den här utgåvan kan kunder dessutom använda privata anslutningar när du flyttar data till Databricks, Microsoft Azure Synapse, Google BigQuery och Amazon Redshift.

PostgreSQL-baserade datakällor

• Alla PostgreSQL-baserade datakällor – Stöd för flerområdesdatatyp: Följande flerområdesdatatyper stöds nu med alla PostgreSQL-baserade datakällor (lokala och moln).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud för PostgreSQL-datakälla – Rollstöd för icke-superuser: Den användare som angivits i PostgreSQL-anslutningen behöver inte längre ha superuser-rollen för att flytta data från en AWS Aurora Cloud for PostgreSQL-datakälla. Detta är särskilt användbart för organisationer med företagssäkerhetspolicyer som hindrar dem från att ge superuser-åtkomst till icke-behöriga användare.

Microsoft Azure SQL-datakälla (MS-CDC): Stöd för georeplikering

Kunder som flyttar data från en Microsoft Azure SQL-datakälla (MS-CDC) kan nu använda en Geo Replica-databas.

Oracle-datakälla: Stöd för HSM (Hardware Security Module)

Qlik Cloud Data Integration stöder nu läsning av data från Oracle-krypterade tabellutrymmen och krypterade kolumner under CDC.

Stöd för nya regioner

Qlik Cloud Data Integration har nu stöd för klientorganisationer i regioner i Tyskland och Storbritannien.

Nyligen stödda versioner och programvara från tredje part

Det här avsnittet listar versioner av databaser och drivrutiner som nyligen fått stöd.

• Datakällversioner som nyligen fått stöd Följande datakällversioner stöds nu:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (vid användning av IBM DB2 för z/OS)
  • IBM DB2 för iSeries 7.5

• Måldataplattformsversioner som nyligen fått stöd. Följande måldataversioner stöds nu:

  • Databricks (molnlagring): Databricks 12.2 LTS och Databricks SQL Serverless

• Drivrutinsversioner. Det finns nu stöd för följande ODBC-drivrutinsversioner:

  • IBM Data Server Client 11.5.8 för IBM DB2 för z/OZ och IBM DB2 för LUW
  • Simba ODBC-drivrutin 3.0.0.1001 för Google Cloud BigQuery
  • MySQL ODBC Unicode-drivrutin 64-bit 8.0.32

Microsoft SQL Server-drivrutin – obligatorisk uppgradering

Kunder som flyttar data till eller från Microsoft SQL Server måste uppgradera sin SQL Server ODBC-drivrutinsversion till 18.x eller senare. Observera att datafel kan inträffa om du fortsätter att använda SQL Server ODBC-drivrutin 17.x. Drivrutinen kan antingen uppgraderas med verktyget för drivrutinsinstallation eller manuellt. Se Konfigurering av drivrutiner för instruktioner.

Databasversioner som inte längre stöds

Det här avsnittet ger information om databasversioner som inte längre stöds.

• Databasversioner som inte längre stöds. Stödet för följande datakällversioner har upphört:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Måldataplattformsversioner som inte längre stöds. Stödet för följande datamålversioner har upphört:

  • Databricks 9.1 LTS

2022.11.74

15 augusti 2023

Replikeringsrapport

Vi tillämpar en molnet-först-metod som möjliggör snabb innovation och användning. Men det innebär inte att vi bara är för molnet. Som en del av vårt fortsatta arbete med att förbättra det långsiktiga värdet för våra kunder är vi glada över att presentera ett nytt användningsfall för replikering när dataprojekt skapas. Det nya användningsfallet för replikering är i tillägg till den befintliga möjligheten att skapa datapipelines för alla dina dataintegreringsbehov, till exempel modernisering av datalager.

Replikeringsprojektet har stöd för datareplikering i realtid från datakällor som stöds till ett mål som stöds.

Från och med den här senaste versionen är det första målet med stöd för replikering av data i realtid Microsoft SQL Server. Förutom stöd för Microsoft SQL Server lokalt stöds även följande molnleverantörer:

• På plats
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance och Microsoft Azure Database)

Microsoft Azure Synapse Analytics-mål - drivrutinsuppgradering krävs

Kunder som flyttar data till Microsoft Azure Synapse Analytics måste uppgradera sin SQL Server ODBC-drivrutinsversion till 18.x eller senare. Observera att datafel kan inträffa om du fortsätter att använda SQL Server ODBC-drivrutin 17.x. Drivrutinen kan antingen uppgraderas med verktyget för drivrutinsinstallation eller manuellt. Se Konfigurering av drivrutiner för instruktioner.

Nytt alternativ för "Ladda data från källa" för SaaS-programkällor

Ett nytt alternativ Ladda data från källa har införts. Med det kan kunder läsa sina data direkt från källan under Fullständig laddning, i stället för att använda mellanlagrade data.

Mer information om det här alternativet inklusive användningsfall finns i Inställningar för mellanlagring.

Uppdaterade CA-certifikat

Gateway för dataflytt 2022.11.74 omfattar uppdaterade CA-certifikat, vilka krävs vid autentisering av Qlik Cloud-klientorganisationen. De uppdaterade CA-certifikaten tillhandahåller också stöd för regionerna Irland och Frankfurt. Därför måste kunder med Qlik Cloud-klientorganisationer i Irland eller Frankfurt som vill använda Qlik Cloud Data Integration uppgradera till den här versionen.

Löst problem

Mellanlagringsdata om uppgifter från en Oracle-källa misslyckades ibland när en bred tabell innehöll oanvända kolumner eller kolumner som inte stöds eller LOB-kolumner som inte replikerades.

2022.11.70

28 juni 2023

Förbättrat verktyg för druivrutininstallation för SAP-klienter

I tidigare versioner behövde kunder köra kommandot "source arep_login.sh" när de installerade SAP-klienter. Från denna version behöver detta kommando inte längre köras.

Uppdaterade CA-certifikat

Den här versionen omfattar uppdaterade CA-certifikat, vilka krävs vid autentisering av Qlik Cloud-klientorganisationen.

Lösta problem

• När en replikeringsuppgift på Gateway för dataflytt har misslyckats och automatiskt återställts kommuniceras inte det återställda tillståndet till mellanlagringsdatatillgången i Qlik Cloud.

• Kryptering från början till slut för Gateway för dataflytt aktiverades inte som standard och styrdes av körningsflaggor.

2022.11.63

2 maj 2023

Verktyg för installation av drivrutiner

I den här versionen ingår ett verktyg för att installera drivrutiner som eliminerar behovet att installera och konfigurera drivrutiner manuellt. Med det nya verktyget förkortas installationsprocessen samtidigt som risken för användarfel minskar betydligt. När verktyget körs hämtas den nödvändiga drivrutinen automatiskt, om det går, och installeras. Om det inte går att hämta drivrutinen (för exempelvis DB2-drivrutiner krävs inloggning) är det enda du behöver göra att kopiera den till en dedikerad mapp på dataflytt-gatewaydatorn och kör verktyget.

Se Förutsättningar för ett exempel på hur man använder verktyget för installation av drivrutiner för att installera en PostgreSQL-drivrutin.

Snowflake-molndataplattform

Snowflake-kopplingen har nu stöds för 4-bytes emojitecken.

Stöd för Azure Database för PostgreSQL – Flexible Server som datakälla

PostgreSQL-kopplingen kan nu flytta data från Azure Database för PostgreSQL - Flexible Server.

Stöd för Cloud SQL för PostgreSQL som datakälla

PostgreSQL-kopplingen kan nu flytta data från Cloud SQL för PostgreSQL.

Nya datakällversioner som stöds

I den här versionen finns stöd för följande nya datakällversioner:

• PostgreSQL 14
• DB2 (för IBM DB2 för z/OS) 12.1
• IBM DB2 för z/OS 2.5

Nya molndataplattformsversioner som stöds

Databricks 11.3 LTS

Stöd avvecklat för följande datakällversioner

Följande datakällversioner stöds inte längre:

• DB2 (för IBM DB2 för z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Lösta problem

I den här versionen har följande problem lösts:

• Oracle-datakälla: När en uppgift stoppades och återupptogs kunde uppgiften ibland misslyckas med felet: "Kunde inte ställa in strömningspositionen i kontext".
• SAP Application-källa: Ändringar samlades inte in under mellanlagringsuppgiften.