Uppgradera och avinstallera Gateway för dataflytt

Stöd för primärnyckel i Databricks

Från och med den här versionen kommer datauppgiften att skapa en primärnyckel på Databricks Delta-måltabeller med hjälp av nyckelordet RELY. Även om Databricks inte tillämpar primärnyckelbegränsningar, antas primärnycklar med nyckelordet RELY inte ha några kopior och kan därför användas av Databricks för frågeoptimering.

Krav:

• Du måste välja en katalog i kopplingsinställningarna

• Databricks 14.2 eller senare

Datatypförbättringar

• IBM DB2 för iSerieskälla: Stöd för följande datatyper har lagts till: BINARY-DECIMAL och ZONED-DECIMAL

• Databricks-mål: I tidigare versioner mappades BYTES till STRING. Från och med den här versionen kommer det att mappas till VARCHAR (Längd i byte)

• Mål för Google Cloud BigQuery: JSON-undertypen stöds nu av målet för Google Cloud BigQuery

PostgreSQL-baserad källa: Partitionerade tabeller stöds nu som standard

Replikering (Fullständig inläsning och CDC) av partitioner och delpartitioner (och del-delpartitioner) från PostgreSQL-baserade datakällor stöds nu som standard.

Google Cloud BigQuery-mål: Stöd för hantering av fel vid datatrunkering

Google Cloud BigQuery-mål: Stöder nu hantering av fel vid datatrunkering. Om ett datatrunkeringsfel inträffar kan du nu välja om posten ska loggas till kontrolltabellen för undantag (standard), ignorera posten, pausa tabellen eller stoppa uppgiften.

Nya versioner som stöds

Följande käll- och måldataversioner stöds nu:

• MariaDB (lokal) och Amazon RDS för MariaDB: 11.4

• MySQL (lokalt installerad), MySQL Percona, Google Cloud SQL för MySQL, Amazon RDS för MySQL och Microsoft Azure Database för MySQL – flexibel server: 8.4

• PostgreSQL (lokalt installerad), Google Cloud SQL för PostgreSQL, Amazon RDS för PostgreSQL och Microsoft Azure Database för PostgreSQL – flexibel server: 17.x

Nya drivrutinsversioner som stöds

IBM Data Server Client 11.5.9 stöds nu för följande DB2-källor:

• IBM DB2 för LUW

• IBM DB2 för z/OS

Uttjänta käll- och drivrutinsversioner

• Uttjänta källor och mål: Stöd för Microsoft Azure Database för MySQL och Microsoft Azure Database för PostgreSQL, som officiellt har dragits tillbaka av Microsoft, har upphört.

• Uttjänta källversioner: Stöd för IBM DB2 för iSeries 7.2, som är EOL, har upphört.

• Drivrutinsversioner som har uppnått slutet av sin livscykel: Stödet för IBM Data Server Client 11.5.6 har upphört.

Lösta problem

• HSTS-stöd

  HSTS var inte aktiverat på Qlik Data Gateway – dataflytt-maskinen.

• Gateway för dataflytt Installationsfel

  Installationen av Gateway för dataflytt på Redhat version 9.7 skulle misslyckas med felmeddelandet "OPENSSL_3.4.0 not found".

• PostgreSQL 15.7 Källa – Ingen data fångades under CDC

  Under CDC skulle uppgiften fortsätta att läsa samma WAL-poster och bearbeta samma strömposition.

• SAP ODP – CDC-fel

  Efter att en CDC-uppgift stoppades under ändringar (till exempel på grund av ett anslutningsproblem), kunde återupptagande av uppgiften ibland resultera i fel med radlängden.

• Saknade loggar för källkopplingar

  Källans kopplingsloggar skulle vara otillgängliga efter att ha kört en uppgift som använde en förhandsgransknings- eller Lite-koppling.

• Övervakning – Saknad information

  Fliken Övervakning visade inget felmeddelande när en tabell pausades under CDC-steget i en Fullständig laddnings- och CDC-uppgift.

Stöd för att skapa kunskapsmartar i Databricks

Kunskapsmarter stöddes tidigare endast av Snowflake. Nu kan du skapa och köra kunskapsmarter och filbaserade kunskapsmarter även på Databricks.

Lösta problem:

Uppgifter misslyckades periodvis under förberedelsen med följande fel:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Lösta problem:

När den interna egenskapen för metadataschemat definierades med specialtecken, misslyckades uppgiften under CDC.

Lösta problem:

• Aviseringar om produktion i regionen EU-Central-1

  Kunder i region EU-Central-1 skulle uppleva frekventa aviseringar om produktion när de använder Gateway för dataflytt.

• Jira datakälla: Fastnad tabell

  Vid replikering av data från Jira fastnade USERS-tabellen i statusen Köad vid första körningen, medan de andra tabellerna laddades framgångsrikt.

• Övervakningsproblem

  CDC-övervakning saknades i aktivitetsmonitorn.

• Replikeringsfel för Oracle-to-Oracle

  Replikeringar för Oracle-to-Oracle kunde ibland misslyckas på grund av en felaktig beräkning av stränglängden.

• Säkerhet

  Java-serverkomponenten (sqlite-jdbc) har uppdaterats till 3.47.0 på grund av en känd sårbarhet i tidigare versioner.

• Fel vid start av en uppgift

  Felet "Ingen licens för databas" kunde ibland uppstå när en uppgift startades i återupptagningsläge för första gången, utan att tidigare ha startats.

• Problem med kopplingen till Salesforce med nya datauppsättningar

  Om du lägger till nya datauppsättningar i en uppgift för mellanlagring med en Salesforce-datakälla misslyckas uppgiften med felet "Tabellen finns inte".

Lösta problem:

• Fel i koppling till lagringsuppgifter

  Lagringsuppgifter misslyckades med en felaktig koppling som krävde att gatewayen startades om.

• Fel vid installation av DB2-drivrutin

  Installationen av DB2-drivrutinen misslyckades när åtkomsten till mappen /tmp var begränsad.

• För lång kopplingstid till Qlik Cloud

  Efter uppgradering till Gateway för dataflytt version 2024.11.65 tog det orimligt lång tid att få koppling till Qlik Cloud. Problemet löstes genom att lägga till en token för avbokning med en timeout på två minuter.

• Tjänsten kraschade efter uppgradering

  Efter uppgradering till Gateway för dataflytt 2024.11.67 kraschade tjänsten external-data-provider (som används av Lite-kopplingar) på grund av åtkomstbegränsningar i mappen /tmp.

• Säkerhetsfixar

  Följande komponenter har ersatts med senare versioner på grund av kända sårbarheter:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Knowledge marts – Filresurs (SMB)

  Koppling till SMB skulle misslyckas med följande fel:

  SmbConnection' object has no attribute 'docs_path'

• Förberedelsefel

  När man förbereder en uppgift för andra gången och en DDL inträffade efter den första förberedelsen, kunde förberedelsen ibland misslyckas med följande fel (utdrag):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problem med förhandsgranskningsdata

  Alternativet för förhandsgranskning av data fungerade inte när du använde ett Microsoft SQL Server-mål.

Förbättringar:

• Extra support för Qlik Cloud Government DoD

  I den här versionen läggs stöd till för användning av Gateway för dataflytt med Qlik Cloud Government DoD.

Förbättringar:

• Styr när policyn för felhantering av tabeller aktiveras

  En ny inställning för Antal försök innan ett tabellfel returneras har lagts till i inställningarna för hantering av tabellfel för replikering och mellanlagring. Tidigare, när ett tabellfel inträffade, skulle tabellen avbrytas eller uppgiften stoppas (enligt den valda felhanteringsåtgärden). Detta resulterade ibland i att tabeller avbröts under underhållsfönstret för SaaS-programmet. Med detta nya alternativ är det nu möjligt att bestämma hur många gånger tabellen ska provas på nytt innan policyn för hantering av tabellfel utlöses. Det här alterantivet är särskilt användbart om din SaaS-applikation genomgår periodiskt underhåll eftersom du kan åsidosätta standardvärdet för antal försök (3) så att underhållet kan slutföras utan att policyn för tabellfelshantering triggas.

  Tabellfelshantering

  Anteckning om informationDet här alternativet visas endast för uppgifter som är konfigurerade med en Lite- eller Standard SaaS-applikationskoppling.

• Förhandsgranskning av data inkluderar nu kolumndatatyper

  Vid förhandsgranskning av en SQL-transformering kommer resultatet nu att inkludera kolumndatatyperna.

  Förhandsgranska data

Förbättringar:

• Rullning och rensning av replikeringsloggfiler

  En policy för rullning och rensning har implementerats för replikeringsloggfilerna på gateway-maskinen. Rullningspolicyn kommer att förhindra att loggfilerna blir för stora (vilket påverkar prestanda och analys), medan rensningspolicyn kommer att förhindra dem från att ackumuleras och förbruka överdrivet diskutrymme.

Lösta problem:

• Felaktig tabellstatus efter ominläsning

  Vid ominläsning av en inaktiverad tabell kunde det ibland hända att tabellstatusen som visades i monitorn var felaktig.

• Tidsavbrott för förberedelseåtgärden

  Vid förberedelse av en mellanlagring efter att ha lagt till en datauppsättning kunde det ibland uppstå en timeout i katalogiseringsfasen för tillgångar. Detta ledde till att förberedelseåtgärden misslyckades.

Denna patch löser följande problem:

• Fel vid förberedelse när en ny tabell läggs till

  När du la till en ny tabell i en replikering och klickade på Förbered, kunde följande fel ibland uppstå:

  Prepare data task failed: Object reference not set to an instance of an object.

• Åtgärdade sårbarheter

  Följande Gateway för dataflytt installationsfiler uppdaterades till versioner utan kända sårbarheter:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Denna patch löser följande problem:

• IBM DB2 for LUW anslutningsfel

  Efter uppgradering till Gateway för dataflytt 2024.11.54 skulle anslutningen till databasen misslyckas.

• Förberedelsefel

  Förberedelsen av datauppgiften skulle misslyckas när uppgiften konfigurerades med en SaaS-applikationskälla och ett Google BigQuery-mål.

• Uppgifter med Java-baserade källor misslyckas efter uppgradering

  Uppgifter med Java-baserade datakällor misslyckades efter uppgradering till Gateway för dataflytt 2024.11.54.

• Snowflake-mål: uppgifter kunde ibland växla till "en-i-taget"-läge under CDC

  Under CDC, när en STRING-kolumn i en källtabell översteg 65536 byte, trunkerades data i STRING-målkolumnen. Uppgiften övergick sedan till "en-i-taget"-applikationsläge.

• Säkerhet

  Filerna java_file_factory.jar och arep-google-cloud.jar uppgraderades till versioner utan kända sårbarheter.

Denna patch löser följande problem:

• Fullständig laddning som ignorerar uppgiftsinställningar

  Under fullständig laddning skulle uppgiften släppa och återskapa måltabellerna, även om uppgiften var konfigurerad med Om måltabellen redan finns: Ignorera

• Felaktigt antal poster

  Efter att ha stoppat och förberett en befintlig replikeringsuppgift med replikeringsläget inställt på fullständig laddning och tillämpa ändringar, skulle antalet CDC-bearbetade poster öka, vilket resulterade i ett felaktigt antal.

• Koppling till JIRA-källa

  När en ny datauppsättning lades till i en befintlig uppgift, misslyckades uppgiften med följande fel:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Testkoppling misslyckades

  Testkoppling till SAP- och SQL-baserade källor misslyckades.

• Uppgradera

  Efter uppgraderingen av gatewayen kunde det hända att uppgifterna inte återupptogs som förväntat.

Stöd för Snowpipe Streaming

Tidigare var Massinläsning den enda tillgängliga metoden för att ladda data till Snowflake. Nu kan kunderna använda antingen Massinläsning eller Snowpipe Streaming för att introducera eller replikera sina data till Snowflake.

Fördelarna med Snowpipe Ström jämfört med Bulk lastning inkluderar:

• Mindre kostsamt: Eftersom Snowpipe Streaming inte använder Snowflake-lagret bör driftskostnaderna vara betydligt billigare, även om detta beror på ditt specifika användningsfall.
• Minskad latenstid: Eftersom data strömmas direkt till måltabellerna (utan mellanlagring) bör replikering från datakällan till målet vara snabbare.

Lösta problem

Denna patch löser följande problem:

• Microsoft Fabric: Problem med koppling

  När du söker efter databaser med hjälp av Microsoft Fabric-kopplingen uppstår följande fel (utdrag):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Problemet orsakades av en inkompatibilitet med JDBC-drivrutinen 12.9.0-preview.jar, som installerades med drivrutinens installationsverktyg. Verktyget har nu uppdaterats för att installera en kompatibel drivrutin.

• Fel vid omstart av Java-server

  Efter uppgradering av Gateway för dataflytt eller omstart av tjänsten Gateway för dataflytt kunde Java-servern (som krävs för Java-baserade kopplingar som SAP ODP) inte starta.

• Säkerhetshärdning

  • End-to-end-kryptering var inte ömsesidigt tvingande för nyttolaster för loggningskommandon som returnerade kundhysta loggar från aktivitetscentret för Qlik Cloud Administration.

  • SQLite-versionen som används av Gateway för dataflytt uppgraderades på grund av en sårbarhet med version 3.42.0(CVE-2023-7104).

  • Filen com.h2database som används av Gateway för dataflytt uppgraderades på grund av en sårbarhet med version h2-2.1.212(CVE-2022-45868).

Den här patchen löser följande problem när du flyttar data från en IBM DB2 för iSeries-datakälla:

När du använder iSeries Access ODBC Driver 07.01.026 eller senare, skulle uppgiften misslyckas under CDC med ett "Parsingsfel".

Standard

OAuth-stöd för Databricks-mål

Kunder kan nu koppla upp sig till Databricksmålet med hjälp av OAuth-autentisering, vilket är den metod som Databricks rekommenderar för kontoautentisering. Autentisering av token för personlig åtkomst kommer att förbli tillgänglig för bakåtkompatibilitet för tillfället, men den anses vara mindre säker än OAuth.

Lösta problem

• Problem med parallell laddning

  När en datauppsättning definierades med parallell laddning och fullständig laddning därefter inaktiverades, utförde uppgiften fortfarande en fullständig laddning av datauppsättningen, även när den återupptogs från tidsmarkör.

2024.11.24

Patch

Denna patch löser följande problem:

• SAP ODP-källa: fel vid generering av metadata

  Metadatagenereringen kunde inte slutföras för tabeller med en punkt i namnet (t.ex. Deprec.Area).

• Återställning av uppgift

  Uppgifterna återställdes endast en gång om de misslyckades vid fullständig laddning på grund av ett miljöproblem. Nu kommer de att återställas det antal gånger som har konfigurerats i Inställningar > Felhantering > Miljöfel > Maximalt antal försök.

Förbättringar

PostgreSQL redundanscertifiering

Att arbeta med en sekundär databas efter redundans har certifierats med följande datakällor (som alla kan nås med hjälp av PostgreSQL-källans koppling):

• Google Cloud SQL för PostgreSQL
• Amazon RDS för PostgreSQL
• PostgreSQL (på plats)

Se även: Konfigurera redundans

Förbättring av MySQL-prestanda

I tidigare versioner, när en MySQL-baserad källslutpunkt användes i en uppgift konfigurerad med begränsad LOB-storlek, använde Gateway för dataflytt källsökning för att läsa LOB-kolumnerna. Nu kommer Gateway för dataflytt att läsa LOB-kolumnerna direkt från binlog, vilket förbättrar prestandan.

Ändringar av datatypsmappningen

Mappningar till LOB-kolumner har ändrats för Amazon Redshift- och Snowflake-mål.

Amazon Redshift-mål

• BLOB är nu mappad till VARBYTE(16777216)
• NCLOB är nu mappad till NVARCHAR(65535)
• CLOB är nu mappad till NVARCHAR(65535)

Snowflake-mål

• BLOB är nu mappad till BINARY (8388608)
• NCLOB är nu mappad till NVARCHAR(16777216)
• CLOB är nu mappad till VARCHAR(16777216)

Nya datatyper som stöds

• IBM DB2 för LUW-källa

  Stöder nu datatypen BOOLEAN (från och med DB2 för LUW 11.5).

• Google BigQuery-mål

  Stöder nu datatypen BIGNUMERIC.

Utökat målstöd för kontrolltabellen DDL History

I tidigare versioner av Gateway för dataflytt stöddes kontrolltabellen DDL History endast med Databricks- och Microsoft Fabric-mål. Denna version introducerar stöd för följande ytterligare kopplingar till mål:

• Amazon Redshift
• Amazon S3
• Google Cloud-lagring
• Snowflake

Se även: DDL-historik

Stöd för att använda en icke-superuser med Google Cloud SQL för PostgreSQL

Från och med den här versionen är det nu möjligt att ange ett icke-superuserkonto vid replikering från Google Cloud SQL för PostgreSQL

Se även: Använda ett konto utan superuser-rollen

Nyligen certifierade plattformar och drivrutinsversioner

• Databricks-mål

  15.4 LTS

• Oracle-källa och -mål

  23ai

  Anteckning om information

  • Oracle 23ai källa och mål är endast certifierad med Oracle Standard Edition.
  • Oracle 23ai källa stöds endast med TDE-kryptering.

• Databricks drivrutinsuppdatering

  Vid flytt av data till Databricks krävs nu Simba Spark ODBC Driver 2.8.2 eller senare. Kunder måste antingen köra installationsverktyget för drivrutinen eller installera drivrutinen manuellt.

  Se också: Installation av drivrutin

Support upphört

Support för följande databasversioner har upphört:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Lösta problem

• Koppling till SAP HANA (databas): Misslyckande med att skapa __CT-tabell

  När replikeringssättet var inställt på Lagra ändringar och tabellen innehöll en .INCLUDE-kolumn, kunde inte __CT-tabellen skapas på målet.

• Mellanlagringsuppgift i sjö: Vilseledande fel

  Uppgiften misslyckades och felmeddelandet "Ingen licens för databas" visades när den hemliga nyckeln för Azure Data Lake Storage hade löpt ut.

• Koppling till Amazon S3-mål: Gamla filer raderas inte

  Äldre filer raderas inte när en ny uppgift kördes. Detta kunde leda till att uppgiften misslyckades på grund av att poster inte kopierades eller inte matchade varandra.

   

• SAP HANA (databas) källa: kopplingsfel på grund av en användardefinierad tabell

  Felet "funktionen stöds inte: kan inte välja användardefinierad typ" uppstod vid val av en användardefinierad tabell för replikering. Problemet löstes genom att utesluta användardefinierade tabeller (som inte stöds) från tabellväljaren.

• Microsoft Fabric-målkoppling: återställningsfel

  Felet "Konvertering misslyckades" kunde ibland uppstå vid återställning efter kopplingsfel som uppstått under CDC.

• Koppling av databricksmål: CDC-fel vid arbete utan LOB-stöd

  När LOB-stödet inaktiverades misslyckades CDC med meddelandet "inte tillräckligt med datakolumner" när man försökte infoga ändringen i __ct-tabellen. Det här felet uppstod vid arbete i läget "Lagra ändringar", det enda läge tillgängligt för mellanlagring.

• MySQL-källa till Snowflake-mål: CDC-fel

  Under CDC, vid replikering av en "NOT NULL"-kolumn med datatyp mediumtext, kunde uppgiften ibland misslyckas med följande fel:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Microsoft Fabric-målkoppling: trunkeringsfel

  Vid infogning av en VARCHAR-kolumn uppstod följande trunkeringsfel:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Problemet löstes genom att multiplicera VARCHAR-kolumnen i Microsoft Fabric.

Nya funktioner

Stöd för specificering av ytterligare kopplingsegenskaper för ODBC och JDBC har lagts till i Snowflakes målkoppling.

Mer information finns i Ytterligare kopplingsegenskaper.

Lösta problem

• Metadata uppdateras inte

  När en primärnyckel ändrades i källan uppdaterades inte metadata för målet efter en omladdning.

• Amazon S3-mål

  När du skapar och kör en ny uppgift raderas inte filer som finns kvar från tidigare uppgifter från tabellens plats.

• SAP HANA-källa

  Att försöka ansluta till en SAP HANA-källa med hjälp av loggbaserad CDC skulle resultera i följande fel:

  Cannot select user-defined type

2024.5.41

Patch

Denna patch löser följande problem:

• Amazon S3, Google Cloud Storage och Qlik Cloud targets: Citerar värden för tomma strängar

  Tomma strängar kommer nu att citeras i CSV-filen för att skilja dem från NULL-värden.

• Databricks mål: Data som inte stämmer överens

  En felmatchning mellan käll- och måldata skulle kunna uppstå i vissa scenarier.

• Databricks mål: CDC-fel orsakat av inaktivering av LOB-stöd

  Om du avaktiverar LOB-stöd i mellanlagringsuppgiften skulle CDC misslyckas med följande fel (utdrag):

  Cannot write to '<name>__ct', not enough data columns

• Microsoft Fabric-mål: Kopplingsfel resulterade i CDC-fel

  Att tillämpa ändringar på målet efter att återställningen efter ett kopplingsfel kan ibland misslyckas med felet "Conversion failed".

2024.5.35

Patch

Denna patch löser följande problem:

• Microsoft Fabric mål: Problem med konvertering av datatyp

  Under en lagringsuppgift konverterades datatypen NVARCHAR(3500) felaktigt till VARCHAR(10500) istället för till VARCHAR(8000) (det högsta tillåtna), vilket resulterade i ett fel.

• IBM DB2 för LUW-källa: Stöd för datatypen GRAPHIC med kodsidan 941 (japanska)

  När datatabellen innehöll en GRAPHIC-datatyp med kodsidan 941 (japanska), uppstod följande fel (utdrag):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Patch

Efter att ha uppdaterat användarnamnet och lösenordet i Workday Reports källkoppling och sedan laddat om uppgiften, uppstod felet "Ogiltigt användarnamn eller lösenord" trots att uppgifterna var korrekta. Detta problem är nu löst.

Patch

Denna patch löser följande problem:

Säkerhet

Oracle Java Standard Edition 17.0.8, som levereras med Gateway för dataflytt, har flera kända sårbarheter. Denna patch ersätter 17.0.8 med 17.0.12 och löser därmed problemen.

Salesforce-källa

Under CDC skulle för varje ändring flera INSERT-åtgärder läggas till i den associerade _ct-tabellen (i stället för bara en). Detta skulle avsevärt öka antalet poster i _ct-tabellen.

Standard

Patch

Denna patch löser följande problem:

Sårbarhet i JDBC-drivrutinen Snowflake

Den 14 augusti 2024 utfärdade Snowflake ett säkerhetsråd om Snowflake JDBC-drivrutiner >= 3.2.6 & <= 3.19.1, av vilka vissa användes med tidigare versioner av Gateway för dataflytt. Sårbarheten åtgärdades i Snowflake JDBC Driver 3.20, vilket är den version som nu installeras med installationsverktyget för drivrutinen. Befintliga kunder bör uppgradera sin drivrutin så snart som möjligt genom att följa processen för Uppdatering av drivrutinen som beskrivs i avsnittet Installation av drivrutin.

Oracle-källa

• Vid användning av REDO-händelse 11.22 kunde det hända att INSERT saknades när flera INSERT gjordes på en komprimerad sida som inte var komprimerad före INSERT.
• I sällsynta scenarier genererade en felaktig parsning av DELETE-händelser i REDO-loggen en "DELETE-händelsen i REDO-loggen innehåller en okänd struktur"-varning, följt av olika problem.

Källa för SAP Extractor

Instruktionerna i YAML-filen uppdaterades för att återspegla rätt version av SAP Java-kopplingen.

Snowflake-mål

När Gateway för dataflytt används för att ansluta till Snowflake-målet via en proxy, misslyckas kopplingen med följande fel:

500 Failed to connect to Data Movement Gateway

Patch

Patch

Lösta problem

• Oracle-källa

  • Missade INSERTs kunde ibland uppstå i flera INSERT-åtgärder vid användningen av redo-händelse 11.22.

  • Efter uppgradering av Oracle 19g med patchen från juli 2024 kunde det hända att UPDATE-åtgärder inte registrerades och följande varning visades:

    A compressed row cannot be parsed

• Snowflake-mål

  När uppgiftsinställningarna konfigurerades för att skapa kontrolltabellschemat misslyckades uppgiften med följande fel:

  Failed to delete directory

• Schemalagd CDC

  När en uppgift var schemalagd för att köras regelbundet kunde den ibland misslyckas med följande fel:

  The task stopped abnormally

• Transformering och lagringsuppgifter fastnar

  Transformering och lagringsuppgifter kunde ibland ligga kvar i kö under en alltför lång tid.

• Metadatahanterare

  Uppgifter kunde misslyckas när funktionen use_manipulation_pk_for_apply användes med replikering av Lagra ändringar.

• Förlängd timeout resulterar i problem med SaaS-programkällor

  Förlängde tidsgränsen för S3 till 6 timmar för att förhindra problem till följd av långa timeouts, t.ex. förlust av token för att hämta filer.

Standard

Förbättringar

• Lägg till nyckelparsautentisering i Snowflake-målkopplingen

  Nyckel/par ger en mer robust autentiseringsmetod än användare/lösenord för att ansluta till Snowflake med dina servicekonton. Detta tillvägagångssätt rekommenderas för arbetsbelastningar som dataladdning (replikering eller mellanlagring) och transformeringar.

• Support för att hämta metadata från flera tabeller parallellt

  I tidigare versioner kunde uppdatering av metadata på en befintlig datauppsättning eller en nyligen tillagd datauppsättning ibland misslyckas och ett fel uppstod. Den här förbättringen säkerställer att metadata kan hämtas från flera tabeller parallellt utan problem.

Lösta problem

• Datatypen DECIMAL mappas felaktigt som STRING i Google BigQuery

  När en källtabell innehöll en kolumn med datatypen DECIMAL, som DECIMAL (38, 20), misslyckades förberedelsen av datalagringsuppgiften i Google BigQuery med följande fel (utdrag):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Problemet löstes genom att källdatatypen DECIMAL mappades som DECIMAL i Google BigQuery.

• Fel i regel för Schema

  Ändringar av en befintlig schemaregel i en datauppgift ledde till följande fel:

  QRI SQL error not implemented

• Saknas /QTQVC/QRI-tabell från SAP-transporten

  När en mellanlagringsuppgift kopplad till en SAP-applikationskälla förbereddes slutfördes uppgiften, men följande fel rapporterades i loggfilen repsrv.log:

  Invalid object name 'hk1./QTQVC/QRI'

Standard

Förbättringar

• Stod för metadataändringar i replikering och mellanlagring av uppgifter i sjö utan att behöva släppa och återskapa alla tabeller.

  Om en metadataändring skedde tidigare släpptes alla tabeller och återskapades även om metadataändringen inte påverkade alla tabeller. Nu släpps och återskapas bara ändrade tabeller vilket förbättrar prestanda.

• Stöd för automatisk laddning av nya tabeller i replikeringsuppgifter

  Tabeller som skapas i källdatabasen under replikeringsdatauppgiften och matchar det ingående mönstret registreras nu automatiskt under CDC (Change data capture).

• Microsoft SQL Server (MS-CDC)-källförbättringar

  • Bevarar tidsmarkör och transaktions-ID

    Vid läsning av flera transaktioner från Microsoft SQL Server (MS-CDC) bevarade Qlik Talend Data Integration transaktions-ID och tidsmarkör för enbart den första transaktionen. På målet gav detta intryck av att posterna alla ver del av en enda transaktion. Nu bevarar Qlik Talend Data Integration ursprungligt transaktions-ID och tidsmarkör för varje enskild post. Det är till hjälp för kunder som vill använda rubrikkolumner för transaktions-ID och tidsmarkör i Ändra tabeller.

  • Ordning för transaktions-ID-bytes

    Tidigare kodades bytes in transaktions-ID i omvänd ordning. Från denna version kodas bytes i korrekt ordning. Information: Kkunder som hellre vill behålla nuvarande beteende kan göra det med interna parametrar. Kontakta Qlik-support för mer information.

• Stöd för att cachelagra SHA-2 instickbar autentisering med MySQL

  Qlik Talend Data Integration har nu stöd för att cachelagra SHA-2 instickbar autentisering (caching_sha2_password) vid arbete med MySQL-källor eller -mål, antingen lokalt eller i molnet. I föregående versioner fanns endast stöd för Native Pluggable Authentication (mysql_native_password).

• Ändringar av datatypsmappningen för Amazon Redshift

  Datatyperna BYTES och BLOB kommer nu att mappas till VARBYTE på Amazon Redshift istället för VARCHAR.

Nyligen certifierade plattformar, slutpunkter och versioner

• Datakällor

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 för z/OS 3.1

• Målplattformar

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Drivrutiner

  • SQL Server ODBC Driver 18.3

Support upphört

Support för följande databasversioner har upphört:

• Alla Oracle-versioner och -drivrutiner före Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 för LUW 10.5
• IBM DB2 för z/OS: z/OS 2.3

Lösta problem

• SAP (program)-källa

  När en registrerad klusterdokumentändring raderade alla rader i sina registrerade tabeller uppstod saknad DELETE-åtgärd och överflödiga försäkransmeddelanden.

• Säkerhetssårbarheter

  Uppdaterat Microsoft Authentication Library för Java (MSAL4J) och Bouncy Castle till versioner utan kända sårbarheter.

• Snowflake-mål

  • Ibland misslyckades uppgiften när internt lagringsutrymme användes i Snowflake.
  • Uppgiften misslyckades om målets schemanamn var japansk katakana.

• Oracle-källa

  När en uppgift med en Oracle-källa återupptogs fortsatte uppgiften vänta på en raderad Archived Redo Log i stället för att misslyckas med passande fel.

Standard

Förbättringar

• Metadataschema i Snowflake

  Från och med den här versionen kommer Snowflakes metadataschema (för mellanlagrade filer) kommer att skapas om det inte finns.

Lösta problem

• Efter att en ändring hade gjorts i en regel för att Byta namn på datauppsättning (som konkatenerar tabellnamnet med schemanamnet) och en vy hade lagts till i mellanlagringsuppgiften misslyckades förbered-åtgärden med följande fel:

  QRI SQL error not implemented.

• Uppdaterade komponenten java_file_factory till en version utan några kända sårbarheter.
• Uppdaterade org.postgresql:postgresql till en version utan några kända sårbarheter.
• När data flyttas till SQL Server misslyckades förbered-åtgärden när indexnamn översteg 128 tecken. Problemet löstes genom att ändra logiken så att kortare indexnamn skapas.

• När data flyttas från SQL Server medförde ett saknat kolumnnamn i tabelldefinitionerna till en oändlig meddelandeslinga i filen repsrv.log med följande meddelande:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standard

Förbättringar

• Hämtning av parallella metadata

  Stöd för samtidig hämtning av metadata för flera tabeller har lagts till.

• Förbättrad övervakningsprestanda

  Övervakningsinformationen för mellanlagrings- och replikeringsuppgifter uppdateras nu var 10:e sekund (i stället för var 60:e sekund), vilket ger en mer exakt indikation på deras aktuella status.

• Nytt stöd för region

  Japan stöds nu som region för Qlik Cloud-klientorganisationer.

Lösta problem

• Intervallet för nya försök mellan datagatewayen och Qlik Cloud ökade kontinuerlig, men återställdes aldrig (såvida inte tjänsten startades om).
• När data flyttades från en SaaS-programkälla hamnade tabeller ibland i ett feltillstånd under laddning.

• Uppgifter med en MySQL-källa misslyckades ibland med följande fel under CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Tidigare loggades CDC-granskningshändelser bara för mellanlagringsuppgifter. Nu loggas de även för replikeringsuppgifter.
• När data flyttades från SQL Server (MS-CDC) tog det ibland flera timmar för uppgifter med många tabeller att starta.

• När källtabellen innehöll CLOB-kolumner och värdet för "Begränsa LOB-storlek" överskred 10 240 misslyckades Snowflake med följande fel:

  Invalid character length: 0

Standard

Stöd för att installera Gateway för dataflytt på Red Hat 9.x

Kunder kan nu installera Gateway för dataflytt på Red Hat 9.x eller på valfri motsvarande och kompatibel Linuxdistribution.

Konfigurera Gateway för dataflytt

Ändringar av Gateway för dataflytt-servicekommandon

Kommandona för att stoppa, starta och kontrollera statusen för Gateway för dataflytt-tjänsten har ändrats.

Gateway för dataflytt service commands

Ändringar av datatypsmappningen för Amazon Redshift

• Datatypen BOOLEAN som mappades till VARCHAR(1) i i Amazon Redshift kommer nu att mappas till BOOLEAN.
• Datatyperna BYTES och BLOB som mappades till VARCHAR(1) i i Amazon Redshift kommer nu att mappas till VARBINARY (längd).

Databaser, databasversioner och drivrutinsversioner som nyligen fått stöd

I det här avsnittet listas databaser, databasversioner och drivrutinsversioner som nyligen fått stöd.

• Datakällversioner och -utgåvor som nyligen fått stöd

  Följande datakällversioner stöds nu:

  • Azure-databas for MySQL - Flexible Server (stöds via MySQL-källkopplingen)
  • MariaDB 10.4 - 10.11 (tidigare 10.4 och 10.5)

• Måldataplattformar och -utgåvor som nyligen fått stöd

  Följande måldataversioner stöds nu:

  • Azure-databas for MySQL - Flexible Server (stöds via MySQL-målkopplingen)
  • Databricks: Databricks 13.3 LTS and Serverless SQL Warehouse

• SAP HANA-drivrutinsversion som nyligen fått stöd

  Kunder med en SAP HANA-källa som vill installera Gateway för dataflytt på Red Hat Linux 9.x måste installera SAP HANA ODBC 64-bits drivrutinsversion 2.0.19 eller senare.

Databasversioner som inte längre stöds

Det här avsnittet ger information om databasversioner som inte längre stöds.

• Stödet för följande datakällversioner har upphört:

  • Oracle 11.x
  • SAP HANA 1.0

Lösta problem

• Om Gateway för dataflytt installerades utan att ett serverlösenord angavs kunde inte URL:erna för klientorganisationen och proxyn konfigureras i ett enda kommando.
• Om data flyttades från en Salesforce-datakälla (SaaS-program) skrevs ett stort antal onödiga varningar ut, vilket påverkade dataladdningsprestandan.
• Om ett fel inträffade när ändringar för en av tabellerna hämtades under hämtning av ändringar för en SaaS-programdatakälla inaktiverades den tabellen och togs bort från pipelinen. När ett fel påträffas nu kommer uppgiften att försöka hämta ändringarna upp till tre gånger innan tabellen inaktiveras.

Standard

Nya datasjömål för Replicate-projekt

Vi fortsätter att utöka målen som stöds för replikeringsprojekt i Qlik Cloud Data Integration. Förutom Amazon S3 kan du nu välja Azure Data Lake Storage (ADLS) och Google Cloud Storage (GCS) för datasjöleverans som antingen Parquet-, JSON- eller CSV-filformat.

Lösta problem:

• IBM DB2 för LUW-källkoppling

  Kopplingen till IBM DB2 för LUW fungerade inte när storleken på de filer som behövs för kopplingen (till exempel SSL-klientcertifikatet och keystore-filen) överskred 4 kB.

• Drivrutin för IBM DB2 för LUW och IBM DB2 för z/OS-källkopplingar

  DB2-drivrutinsinstallationen misslyckades när verktyget för installation av drivrutiner användes.

Standard

Stöd för Microsoft Fabric som datapipelinemål

Microsoft Fabric sällar sig till den ständigt växande listan över datalager som kan användas som mål i datapipelineprojekt.

Lösta problem:

Uppdaterade drivrutinen för Snowflake i verktyget för installation av drivrutiner.

Standard

Utökat stöd för privata anslutningar

En privat anslutning kan användas för att säkerställa att din datatrafik förblir säker och kompatibel. Den förenklar både nätverkshanteringen och säkerheten för ditt VPC (Virtual Private Cloud) utan behovet att öppna inkommande brandväggsportar, proxy-enheter eller routing-tabeller. Qlik Cloud Data Integration har redan stöd för privata anslutningar till Snowflake-, Microsoft SQL Server- och Amazon S3-datapipelinemål. Från och med den här utgåvan kan kunder dessutom använda privata anslutningar när du flyttar data till Databricks, Microsoft Azure Synapse, Google BigQuery och Amazon Redshift.

PostgreSQL-baserade datakällor

• Alla PostgreSQL-baserade datakällor – Stöd för flerområdesdatatyp: Följande flerområdesdatatyper stöds nu med alla PostgreSQL-baserade datakällor (lokala och moln).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud för PostgreSQL-datakälla – Rollstöd för icke-superuser: Den användare som angivits i PostgreSQL-anslutningen behöver inte längre ha superuser-rollen för att flytta data från en AWS Aurora Cloud for PostgreSQL-datakälla. Detta är särskilt användbart för organisationer med företagssäkerhetspolicyer som hindrar dem från att ge superuser-åtkomst till icke-behöriga användare.

Microsoft Azure SQL-datakälla (MS-CDC): Stöd för georeplikering

Kunder som flyttar data från en Microsoft Azure SQL-datakälla (MS-CDC) kan nu använda en Geo Replica-databas.

Oracle-datakälla: Stöd för HSM (Hardware Security Module)

Qlik Cloud Data Integration stöder nu läsning av data från Oracle-krypterade tabellutrymmen och krypterade kolumner under CDC.

Stöd för nya regioner

Qlik Cloud Data Integration har nu stöd för klientorganisationer i regioner i Tyskland och Storbritannien.

Nyligen stödda versioner och programvara från tredje part

Det här avsnittet listar versioner av databaser och drivrutiner som nyligen fått stöd.

• Datakällversioner som nyligen fått stöd Följande datakällversioner stöds nu:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (vid användning av IBM DB2 för z/OS)
  • IBM DB2 för iSeries 7.5

• Måldataplattformsversioner som nyligen fått stöd. Följande måldataversioner stöds nu:

  • Databricks (molnlagring): Databricks 12.2 LTS och Databricks SQL Serverless

• Drivrutinsversioner. Det finns nu stöd för följande ODBC-drivrutinsversioner:

  • IBM Data Server Client 11.5.8 för IBM DB2 för z/OZ och IBM DB2 för LUW
  • Simba ODBC-drivrutin 3.0.0.1001 för Google Cloud BigQuery
  • MySQL ODBC Unicode-drivrutin 64-bit 8.0.32

Microsoft SQL Server-drivrutin – obligatorisk uppgradering

Kunder som flyttar data till eller från Microsoft SQL Server måste uppgradera sin SQL Server ODBC-drivrutinsversion till 18.x eller senare. Observera att datafel kan inträffa om du fortsätter att använda SQL Server ODBC-drivrutin 17.x. Drivrutinen kan antingen uppgraderas med verktyget för drivrutinsinstallation eller manuellt. Se Konfigurering av drivrutiner för instruktioner.

Databasversioner som inte längre stöds

Det här avsnittet ger information om databasversioner som inte längre stöds.

• Databasversioner som inte längre stöds. Stödet för följande datakällversioner har upphört:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Måldataplattformsversioner som inte längre stöds. Stödet för följande datamålversioner har upphört:

  • Databricks 9.1 LTS

2022.11.74

Standard

15 augusti 2023

Replikeringsrapport

Vi tillämpar en molnet-först-metod som möjliggör snabb innovation och användning. Men det innebär inte att vi bara är för molnet. Som en del av vårt fortsatta arbete med att förbättra det långsiktiga värdet för våra kunder är vi glada över att presentera ett nytt användningsfall för replikering när dataprojekt skapas. Det nya användningsfallet för replikering är i tillägg till den befintliga möjligheten att skapa datapipelines för alla dina dataintegreringsbehov, till exempel modernisering av datalager.

Replikeringsprojektet har stöd för datareplikering i realtid från datakällor som stöds till ett mål som stöds.

Från och med den här senaste versionen är det första målet med stöd för replikering av data i realtid Microsoft SQL Server. Förutom stöd för Microsoft SQL Server lokalt stöds även följande molnleverantörer:

• På plats
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance och Microsoft Azure Database)

Microsoft Azure Synapse Analytics-mål - drivrutinsuppgradering krävs

Kunder som flyttar data till Microsoft Azure Synapse Analytics måste uppgradera sin SQL Server ODBC-drivrutinsversion till 18.x eller senare. Observera att datafel kan inträffa om du fortsätter att använda SQL Server ODBC-drivrutin 17.x. Drivrutinen kan antingen uppgraderas med verktyget för drivrutinsinstallation eller manuellt. Se Konfigurering av drivrutiner för instruktioner.

Nytt alternativ för "Ladda data från källa" för SaaS-programkällor

Ett nytt alternativ Ladda data från källa har införts. Med det kan kunder läsa sina data direkt från källan under Fullständig laddning, i stället för att använda mellanlagrade data.

Mer information om det här alternativet inklusive användningsfall finns i Inställningar för mellanlagring.

Uppdaterade CA-certifikat

Gateway för dataflytt 2022.11.74 omfattar uppdaterade CA-certifikat, vilka krävs vid autentisering av Qlik Cloud-klientorganisationen. De uppdaterade CA-certifikaten tillhandahåller också stöd för regionerna Irland och Frankfurt. Därför måste kunder med Qlik Cloud-klientorganisationer i Irland eller Frankfurt som vill använda Qlik Cloud Data Integration uppgradera till den här versionen.

Löst problem

Mellanlagringsdata om uppgifter från en Oracle-källa misslyckades ibland när en bred tabell innehöll oanvända kolumner eller kolumner som inte stöds eller LOB-kolumner som inte replikerades.

2022.11.70

Standard

28 juni 2023

Förbättrat verktyg för druivrutininstallation för SAP-klienter

I tidigare versioner behövde kunder köra kommandot "source arep_login.sh" när de installerade SAP-klienter. Från denna version behöver detta kommando inte längre köras.

Uppdaterade CA-certifikat

Den här versionen omfattar uppdaterade CA-certifikat, vilka krävs vid autentisering av Qlik Cloud-klientorganisationen.

Lösta problem

• När en replikeringsuppgift på Gateway för dataflytt har misslyckats och automatiskt återställts kommuniceras inte det återställda tillståndet till mellanlagringsdatatillgången i Qlik Cloud.

• Kryptering från början till slut för Gateway för dataflytt aktiverades inte som standard och styrdes av körningsflaggor.

2022.11.63

Standard

2 maj 2023

Verktyg för installation av drivrutiner

I den här versionen ingår ett verktyg för att installera drivrutiner som eliminerar behovet att installera och konfigurera drivrutiner manuellt. Med det nya verktyget förkortas installationsprocessen samtidigt som risken för användarfel minskar betydligt. När verktyget körs hämtas den nödvändiga drivrutinen automatiskt, om det går, och installeras. Om det inte går att hämta drivrutinen (för exempelvis DB2-drivrutiner krävs inloggning) är det enda du behöver göra att kopiera den till en dedikerad mapp på dataflytt-gatewaydatorn och kör verktyget.

Se Förutsättningar för ett exempel på hur man använder verktyget för installation av drivrutiner för att installera en PostgreSQL-drivrutin.

Snowflake-molndataplattform

Snowflake-kopplingen har nu stöds för 4-bytes emojitecken.

Stöd för Azure Database för PostgreSQL – Flexible Server som datakälla

PostgreSQL-kopplingen kan nu flytta data från Azure Database för PostgreSQL - Flexible Server.

Stöd för Cloud SQL för PostgreSQL som datakälla

PostgreSQL-kopplingen kan nu flytta data från Cloud SQL för PostgreSQL.

Nya datakällversioner som stöds

I den här versionen finns stöd för följande nya datakällversioner:

• PostgreSQL 14
• DB2 (för IBM DB2 för z/OS) 12.1
• IBM DB2 för z/OS 2.5

Nya molndataplattformsversioner som stöds

Databricks 11.3 LTS

Stöd avvecklat för följande datakällversioner

Följande datakällversioner stöds inte längre:

• DB2 (för IBM DB2 för z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Lösta problem

I den här versionen har följande problem lösts:

• Oracle-datakälla: När en uppgift stoppades och återupptogs kunde uppgiften ibland misslyckas med felet: "Kunde inte ställa in strömningspositionen i kontext".
• SAP Application-källa: Ändringar samlades inte in under mellanlagringsuppgiften.