Uppgradera och avinstallera Gateway för dataflytt

Omdöpning av Databricks-drivrutin

För att anpassa till Databricks har drivrutinen för att arbeta med Databricks-kopplingen döpts om.

Stöd för nya Snowflake- och Google BigQuery-drivrutinsversioner

I den här versionen finns stöd för följande nya datakällversioner:

• Snowflake: Snowflake ODBC-drivrutin 3.15.0 (64-bitars)

• Google BigQuery: Simba ODBC-drivrutinsversion 3.1.6.1026

Stöd för Databricks VARIANT-datatyp

Från den här versionen kommer följande datatyper att mappas till den inbyggda Databricks VARIANT-datatypen:

• STRING

• WSTRING

• NCLOB

• CLOB

Lösta problem

• IBM DB2 for iSeries-datakälla

  Efter att ha återupptagit en uppgift orsakade insamling av ändringar från en tabell som innehöll binära decimalkolumner att uppgiften kraschade.

• PostgreSQL-datakälla - CDC-problem

  Efter att ha återupptagit en uppgift som inte samlade in några ändringar under minuten innan den stoppades, samlades inga ändringar in.

• SSH-koppling - Problem med att testa koppling

  Att klicka på Testa koppling i SSH-kopplingen returnerade inte fel relaterade till SSH-anslutning när det fanns problem med SSH.

• Snowflake-mål - Problem med Snowpipe-strömning

  När Snowpipe-strömning användes som laddningsmetod förbrukade laddning av mycket stora tabeller en överdriven mängd minne, vilket så småningom resulterade i att uppgiften kraschade och hamnade i en loop av laddning och krasch.

• Microsoft SQL Server (loggbaserad) datakälla - Oklart fel

  När en Alternativ säkerhetskopieringsmapp angavs som inte innehöll de nödvändiga loggarna, stannade uppgiften med ett oklart meddelande i stället för att utfärda en varning och fortsätta.

• Säkerhet

  Komponenten org.apache.logging.log4j:log4j-core uppgraderades till 2.25.3 på grund av kända sårbarheter i de installerade versionerna.

• SAP ODP-datakälla - filtreringsproblem

  SAP ODP-filtret skickades inte till SAP när det definierades på en extraktor som kördes i läget endast CDC.

• SAP ODATA-datakälla - filtreringsproblem

  Att definiera mer än ett filtreringsintervall på en enda kolumn orsakade att fullständig laddning misslyckades.

Utökat stöd för parallell inläsning

Funktionen för parallell inläsning stöder nu Databricks-mål.

Parallell replikering av datauppsättningssegment

Kontrolltabell för DDL-historik: Nya mål som stöds

Kontrolltabellen attrep_ddl_history (DDL-historik) innehåller en historik över DDL-ändringar som inträffade på källan under replikeringen till målet.

Följande måländpunkter stöds nu:

• Google BigQuery
• Google Cloud AlloyDB för PostgreSQL
• Google Cloud SQL för PostgreSQL
• PostgreSQL (på plats)

DDL-historia

Förbättring av rubrikkolumnen ”[header]__change_mask”

Vid användning av Ändringstabeller med Parquet-format fyller rubrikkolumnen [header]__change_mask nu ut med nollor till vänster (istället för till höger), för att anpassas till little endian-regeln för lagring av byte i omvänd ordning.

Berörda målslutpunkter:

• Amazon S3

• Google Cloud-lagring

Ändra tabeller

Nyligen stödda datakäll- och målversioner

• Kafka-mål: 4.0.x

• IBM z/OS-källa: 3.2

Nya drivrutinsversioner som stöds

• Microsoft ODBC-drivrutin 18.5
• MySQL 8.4

Uttjänt för Microsoft Azure Database för MySQL och Microsoft Azure Database för PostgreSQL

Stöd för Microsoft Azure Database för MySQL och Microsoft Azure Database för PostgreSQL, som officiellt har dragits tillbaka av Microsoft, har upphört.

Uttjänta datakäll- och målversioner

• Databricks mål: 10.4 LTS och 11.3 LTS

• MariaDB källa och mål: 10.5

• PostgreSQL källa och mål: 13.x

• MySQL källa och mål: 8.1

Uttjänta drivrutinsversioner

• Microsoft ODBC-drivrutin 18.3

Lösta problem

• SAP (Applikation)-datakälla

  Uppgifter som konfigurerats för att använda en SAP (Applikation)-datakälla med en backend-process som genererade självbekräftade händelser kraschade ibland efter att en tabell laddats om.

• Microsoft Azure SQL Database-mål

  I homogen replikering, vid arbete i läget "Transaktionell tillämpning" eller i läget "Satsoptimerad tillämpning" som växlade till en-och-en-läge, inträffade ett fel med "0 rader påverkade" när en DATETIME-kolumn var en del av primärnyckeln på målet.

• Oracle-datakälla

  Oracle-uppgiften kraschar i fullständig laddning när en tabell innehåller en lång råkolumn och den maximala lob-storleken är större än eller lika med 64K.

• SAP Extractor-datakälla - Urladdningsloop på grund av avbruten CDC

  Under en tabellomladdning avbryts ibland långvariga SAP CDC-jobb. Detta resulterade i ett återställningsbart feltillstånd där urladdningen aldrig slutfördes.

• Säkerhet

  Följande komponenter uppgraderades på grund av kända sårbarheter:

  • JRE uppgraderades från 17.0.17 till 17.0.18

  • org.eclispe.jetty:jetty-io uppgraderades från 11.0.25 till 11.0.26

  • org.apache.logging.log4j:log4j-core uppgraderades från 2.23.1 till 2.25.3

• SAP ODP

  Följande fel inträffade under CDC när ett filter definierades för en tabell:

  Invalid value for parameter "I_DIMNAME"

• SAP-extraktor

  Delta slutade fungera om uppgiften stoppades och återupptogs medan en av tabellerna var i ett laddningstillstånd.

• SaaS-applikationsdatakälla (Workday Reports)

  • Under fullständig laddning, vid anslutning till S3-mellanlagringsmappen, misslyckades uppgiften ibland med följande fel:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Problemet löstes genom att implementera en mekanism för flera återförsök för att ansluta till S3-mappen när den första anslutningen misslyckas.

  • CREATE SCHEMA-behörighet krävdes även när schemat redan fanns.

• Microsoft SQL Server-mål

  Dataförlust inträffade ibland i LOB-kolumner och felaktig datareplikering inträffade under CDC när LOB-storleken var inställd på obegränsad i uppgiftsinställningarna.

• PostgreSQL-mål

  Misslyckande med att ladda CSV-filen till tabellen Net Changes returnerade ett återställningsbart fel (vilket resulterade i en oändlig loop) i stället för att växla till en-och-en-tillämpning.

• MySQL-till-MySQL-replikering

  När schemat för källan och målet fanns i samma MySQL-instans och replikeringen inkluderade en kontrolltabell, kraschade uppgiften ibland med felet "Process crashed with signal 11".

• PostgreSQL-datakälla

  Under CDC läste uppgiften ibland samma WAL-poster om och om igen, vilket resulterade i att inga data samlades in.

• Microsoft SQL Server-datakälla

  • Ett fel inträffade vid dekomprimering av en transaktionslogg som innehöll krypterade block. Problemet löstes genom att lämna loggen komprimerad i sådana fall.

  • Redundanta fel visades när en alternativ säkerhetskopieringsmapp användes, på grund av en onödig valideringskontroll för befintliga filer.

  • Uppgiften kraschade ibland efter anrop av DBCC Lookup.

Stöd för Kafka-målkoppling

Den nya versionen av Gateway för dataflytt introducerar stöd för Kafka-målkopplingen. Replikera enkelt dina data från valfri datakälla som stöds direkt till lokalt Kafka eller Amazon MSK, vilket säkerställer tillförlitliga, feltoleranta överföringar som håller dina applikationer agila och informerade. Oavsett om du upprätthåller datakonsistens över system eller driver analyser, levererar denna koppling replikering med låg latens med minimal konfiguration.

För mer information, se Kafka mål

Lösta problem

• Misslyckad replikeringsuppgift från MySQL-datakälla till MySQL-mål

  Vid replikering av en datauppsättning från ett MySQL-schema till ett annat MySQL-schema som körs på samma MySQL-serverinstans, och inkludering av en kontrolltabell i replikeringen, misslyckades CDC med följande fel:

  Process crashed with signal 11

• SAP Extractor-koppling: Tabell avbruten vid återupptagande av en uppgift

  Att återuppta en uppgift medan en tabell fortfarande var i fullständig laddning orsakade att extraheringsjobbet misslyckades och tabellen avbröts.

Lösta problem

• PostgreSQL-mål - Felaktigt felbeteende

  Misslyckande med att ladda CSV-filen till Qlik Net Changes-tabellen returnerade ett återställningsbart fel (vilket resulterade i en oändlig loop) i stället för att växla till en-och-en-tillämpning.

• SaaS-applikation Lite-kopplingar

  Under fullständig laddning misslyckades uppgifter ibland med följande fel på grund av att anslutningen aktivt nekades av Amazon:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Problemet löstes genom att implementera en mekanism för återförsök med maximalt tre återförsök innan felet inträffar.

• Microsoft SQL Server-datakälla - Misslyckad loggdekomprimering

  Ett fel inträffade vid dekomprimering av en transaktionslogg som innehöll krypterade block. Problemet löstes genom att lämna loggen komprimerad i sådana fall.

• Netsuite Suite Analytics-datakälla - Fel vid återupptagande av CDC

  Vid återupptagande av en CDC-uppgift efter att ha gjort en ändring i datakällan misslyckades uppgiften ibland med följande fel:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Microsoft SQL Server-datakälla - Falska fel

  Redundanta fel visades när en alternativ säkerhetskopieringsmapp användes, på grund av en onödig valideringskontroll för befintliga filer.

Stöd för primärnyckel i Databricks

Från och med den här versionen kommer datauppgiften att skapa en primärnyckel på Databricks Delta-måltabeller med hjälp av nyckelordet RELY. Även om Databricks inte tillämpar primärnyckelbegränsningar, antas primärnycklar med nyckelordet RELY inte ha några kopior och kan därför användas av Databricks för frågeoptimering.

Krav:

• Du måste välja en katalog i kopplingsinställningarna

• Databricks 14.2 eller senare

Datatypförbättringar

• IBM DB2 för iSerieskälla: Stöd för följande datatyper har lagts till: BINARY-DECIMAL och ZONED-DECIMAL

• Databricks-mål: I tidigare versioner mappades BYTES till STRING. Från och med den här versionen kommer det att mappas till VARCHAR (Längd i byte)

• Mål för Google Cloud BigQuery: JSON-undertypen stöds nu av målet för Google Cloud BigQuery

PostgreSQL-baserad källa: Partitionerade tabeller stöds nu som standard

Replikering (Fullständig inläsning och CDC) av partitioner och delpartitioner (och del-delpartitioner) från PostgreSQL-baserade datakällor stöds nu som standard.

Google Cloud BigQuery-mål: Stöd för hantering av fel vid datatrunkering

Google Cloud BigQuery-mål: Stöder nu hantering av fel vid datatrunkering. Om ett datatrunkeringsfel inträffar kan du nu välja om posten ska loggas till kontrolltabellen för undantag (standard), ignorera posten, pausa tabellen eller stoppa uppgiften.

Nya versioner som stöds

Följande käll- och måldataversioner stöds nu:

• MariaDB (lokal) och Amazon RDS för MariaDB: 11.4

• MySQL (lokalt installerad), MySQL Percona, Google Cloud SQL för MySQL, Amazon RDS för MySQL och Microsoft Azure Database för MySQL – flexibel server: 8.4

• PostgreSQL (lokalt installerad), Google Cloud SQL för PostgreSQL, Amazon RDS för PostgreSQL och Microsoft Azure Database för PostgreSQL – flexibel server: 17.x

Nya drivrutinsversioner som stöds

IBM Data Server Client 11.5.9 stöds nu för följande DB2-källor:

• IBM DB2 för LUW

• IBM DB2 för z/OS

Uttjänta käll- och drivrutinsversioner

• Uttjänta källor och mål: Stöd för Microsoft Azure Database för MySQL och Microsoft Azure Database för PostgreSQL, som officiellt har dragits tillbaka av Microsoft, har upphört.

• Uttjänta källversioner: Stöd för IBM DB2 för iSeries 7.2, som är EOL, har upphört.

• Drivrutinsversioner som har uppnått slutet av sin livscykel: Stödet för IBM Data Server Client 11.5.6 har upphört.

Lösta problem

• HSTS-stöd

  HSTS var inte aktiverat på Qlik Data Gateway – dataflytt-maskinen.

• Misslyckad installation av Gateway för dataflytt

  Installation av Gateway för dataflytt på Redhat version 9.7 misslyckades med felet "OPENSSL_3.4.0 not found".

• PostgreSQL 15.7-datakälla - Inga data samlades in under CDC

  Under CDC fortsatte uppgiften att läsa samma WAL-poster och bearbeta samma strömposition.

• SAP ODP - Misslyckad CDC

  Efter att en CDC-uppgift stoppats under ändringar (till exempel på grund av ett anslutningsproblem), resulterade återupptagande av uppgiften ibland i radlängdsfel.

• Saknade anslutningsloggar för datakälla

  Anslutningsloggar för datakälla var otillgängliga efter att ha kört en uppgift som använde en Preview- eller Lite-koppling.

• Övervakning - Saknad information

  Fliken Övervaka visade inte ett felmeddelande när en tabell avbröts under CDC-stadiet av en uppgift för fullständig laddning och CDC.

Stöd för att skapa kunskapsmarknader på Databricks

Kunskapsmarter stöddes tidigare endast av Snowflake. Nu kan du skapa och köra kunskapsmarter och filbaserade kunskapsmarter även på Databricks.

Lösta problem:

Uppgifter misslyckades intermittent under förberedelsen med följande fel:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Lösta problem:

När den interna egenskapen metadataschema definierades med specialtecken misslyckades uppgiften under CDC.

Lösta problem:

• Produktionsaviseringar i regionen EU-Central-1

  Kunder i regionen EU-Central-1 upplevde frekventa produktionsaviseringar vid användning av Gateway för dataflytt.

• Jira-datakälla: Fastnad tabell

  Vid replikering av data från Jira fastnade tabellen USERS i statusen I kö vid den första körningen, medan de andra tabellerna slutförde laddningen framgångsrikt.

• Övervakningsproblem

  CDC-övervakning saknades i uppgiftsövervakaren.

• Misslyckad Oracle-till-Oracle-replikering

  Oracle-till-Oracle-replikeringsuppgifter misslyckades ibland på grund av en felaktig beräkning av stränglängden.

• Säkerhet

  Java-serverkomponenten (sqlite-jdbc) uppdaterades till 3.47.0 på grund av en känd sårbarhet i tidigare versioner.

• Fel vid start av en uppgift

  Ett "No license for database"-fel inträffade ibland när en uppgift startades i återupptagningsläge för första gången, utan att tidigare ha startats.

• Problem med Salesforce-koppling med nya datauppsättningar

  Att lägga till nya datauppsättningar i en mellanlagringsuppgift med en Salesforce-datakälla orsakade att uppgiften misslyckades med felet "'Table doesn't exist'".

Lösta problem:

• Anslutningsfel för lagringsuppgifter

  Lagringsuppgifter misslyckades med ett anslutningsfel som krävde att gatewayen startades om.

• Misslyckad installation av DB2-drivrutin

  Installationen av DB2-drivrutinen misslyckades när åtkomsten till mappen /tmp var begränsad.

• Överdriven anslutningstid till Qlik Cloud

  Efter uppgradering till Gateway för dataflytt version 2024.11.65 tog det en överdriven mängd tid att ansluta till Qlik Cloud. Problemet löstes genom att lägga till en avbrytande token med en timeout på två minuter.

• Tjänsten kraschade efter uppgradering

  Efter uppgradering till Gateway för dataflytt 2024.11.67 kraschade tjänsten external-data-provider (som används av Lite-kopplingar) på grund av åtkomstbegränsningar för mappen /tmp.

• Säkerhetskorrigeringar

  Följande komponenter ersattes med senare versioner på grund av kända sårbarheter:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Kunskapsmarknader - Filresurs (SMB)

  Anslutning till SMB misslyckades med följande fel:

  SmbConnection' object has no attribute 'docs_path'

• Misslyckad förberedelse

  Vid förberedelse av en uppgift för andra gången och en DDL inträffade efter den första förberedelsen, misslyckades förberedelseåtgärden ibland med följande fel (utdrag):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problem med förhandsgranskning av data

  Alternativet för att förhandsgranska data fungerade inte när ett Microsoft SQL Server-mål användes.

Förbättringar:

• Lade till stöd för Qlik Cloud Government DoD

  Denna version lägger till stöd för att använda Gateway för dataflytt med Qlik Cloud Government DoD.

Förbättringar:

• Kontrollera när policyn för tabellfelhantering utlöses

  En ny inställning för Antal återförsök innan ett tabellfel returneras har lagts till i inställningarna för tabellfelhantering för replikerings- och mellanlagringsuppgifter. Tidigare, när ett tabellfel inträffade, avbröts tabellen eller uppgiften stoppades (enligt den valda felhanteringsåtgärden). Detta resulterade ibland i att tabeller avbröts under SaaS-applikationens underhållsfönster. Med detta nya alternativ är det nu möjligt att bestämma hur många gånger tabellen ska försökas igen innan policyn för tabellfelhantering utlöses. Detta alternativ är särskilt användbart om din SaaS-applikation genomgår periodiskt underhåll, eftersom du kan åsidosätta standardantalet återförsök (3) så att underhållet kan slutföras utan att utlösa policyn för tabellfelhantering.

  Tabellfelhantering

  Anteckning om informationDetta alternativ visas endast för uppgifter som konfigurerats med en Lite- eller Standard-SaaS-applikationskoppling.

• Förhandsgranskning av data inkluderar nu kolumndatatyper

  Vid förhandsgranskning av en SQL-transformation kommer resultaten nu att inkludera kolumndatatyperna.

  Förhandsgranska data

Förbättringar:

• Överrullning och rensning av replikeringsloggfiler

  En policy för överrullning och rensning har implementerats för replikeringsloggfilerna på gateway-maskinen. Överrullningspolicyn förhindrar att loggfilerna blir för stora (vilket påverkar prestanda och analys), medan rensningspolicyn förhindrar att de ackumuleras och förbrukar överdrivet diskutrymme.

Lösta problem:

• Felaktig tabellstatus efter omladdning

  Vid omladdning av en avbruten tabell var tabellstatusen som visades i övervakaren ibland felaktig.

• Förberedelseåtgärden gör timeout

  Vid förberedelse av en mellanlagringsuppgift efter att ha lagt till en datauppsättning inträffade ibland en timeout i stadiet för katalogisering av tillgångar. Detta orsakade att förberedelseåtgärden misslyckades.

Denna korrigering löser följande problem:

• Misslyckad förberedelse vid tillägg av en ny tabell

  När en ny tabell lades till i en replikeringsuppgift och man klickade på Förbereda, inträffade ibland följande fel:

  Prepare data task failed: Object reference not set to an instance of an object.

• Lösta sårbarheter

  Följande Gateway för dataflytt-installationsfiler uppdaterades till versioner utan kända sårbarheter:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Denna korrigering löser följande problem:

• Misslyckad anslutning till IBM DB2 for LUW

  Efter uppgradering till Gateway för dataflytt 2024.11.54 misslyckades anslutningen till databasen.

• Misslyckad förberedelse

  Förberedelse av datauppgiften misslyckades när uppgiften var konfigurerad med en SaaS-applikationsdatakälla och ett Google BigQuery-mål.

• Uppgifter med Java-baserade datakällor misslyckas efter uppgradering

  Uppgifter med Java-baserade datakällor misslyckades efter uppgradering till Gateway för dataflytt 2024.11.54.

• Snowflake-mål: Uppgifter växlade ibland till "en-och-en"-läge under CDC

  Under CDC, när en STRING-kolumn i en källtabell översteg 65536 byte, trunkerades data i målets STRING-kolumn. Uppgiften växlade sedan till "en-och-en"-tillämpningsläge.

• Säkerhet

  Filerna java_file_factory.jar och arep-google-cloud.jar uppgraderades till versioner utan kända sårbarheter.

Denna korrigering löser följande problem:

• Fullständig laddning ignorerar uppgiftsinställningar

  Under fullständig laddning tog uppgiften bort och återskapade måltabellerna, även om uppgiften var konfigurerad med Om måltabellen redan finns: Ignorera

• Felaktigt postantal

  Efter att ha stoppat och förberett en befintlig replikeringsuppgift med replikeringsläget inställt på fullständig laddning och tillämpa ändringar, ökade antalet CDC-bearbetade poster, vilket resulterade i ett felaktigt antal.

• JIRA-datakällkoppling

  När en ny datauppsättning lades till i en befintlig uppgift misslyckades uppgiften med följande fel:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Misslyckat anslutningstest

  Test av anslutning till SAP- och SQL-baserade datakällor misslyckades.

• Uppgradering

  Efter uppgradering av gatewayen återupptogs uppgifter ibland inte som förväntat.

Stöd för Snowpipe-strömning

Tidigare var Massinläsning den enda tillgängliga metoden för att ladda data till Snowflake. Nu kan kunderna använda antingen Massinläsning eller Snowpipe Streaming för att introducera eller replikera sina data till Snowflake.

Fördelarna med Snowpipe Ström jämfört med Bulk lastning inkluderar:

• Mindre kostsamt: Eftersom Snowpipe Streaming inte använder Snowflake-lagret bör driftskostnaderna vara betydligt billigare, även om detta beror på ditt specifika användningsfall.
• Minskad latenstid: Eftersom data strömmas direkt till måltabellerna (utan mellanlagring) bör replikering från datakällan till målet vara snabbare.

Lösta problem

Denna korrigering löser följande problem:

• Microsoft Fabric: Anslutningsproblem

  Vid bläddring efter databaser med Microsoft Fabric-kopplingen inträffade följande fel (utdrag):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Problemet orsakades av en inkompatibilitet med JDBC-drivrutinen 12.9.0-preview.jar, som installerades med verktyget för drivrutinsinstallation. Verktyget har nu uppdaterats för att installera en kompatibel drivrutin.

• Misslyckad omstart av Java-server

  Efter uppgradering av Gateway för dataflytt eller omstart av Gateway för dataflytt-tjänsten misslyckades Java-servern (krävs för Java-baserade kopplingar som SAP ODP) att starta.

• Säkerhetshärdning

  • End-to-end-kryptering upprätthölls inte ömsesidigt för loggningskommandonyttolaster som returnerade kundvärdloggar från Qlik Cloud Administrationsaktivitetscenter.

  • SQLite-versionen som används av Gateway för dataflytt uppgraderades på grund av en sårbarhet i version 3.42.0 (CVE-2023-7104).

  • Filen com.h2database som används av Gateway för dataflytt uppgraderades på grund av en sårbarhet i version h2-2.1.212 (CVE-2022-45868).

Denna korrigering löser följande problem vid flytt av data från en IBM DB2 for iSeries-datakälla:

Vid användning av iSeries Access ODBC Driver 07.01.026 eller senare misslyckades uppgiften under CDC med ett "Error parsing"-fel.

Standard

OAuth-stöd för Databricks-mål

Kunder kan nu koppla upp sig till Databricksmålet med hjälp av OAuth-autentisering, vilket är den metod som Databricks rekommenderar för kontoautentisering. Autentisering av token för personlig åtkomst kommer att förbli tillgänglig för bakåtkompatibilitet för tillfället, men den anses vara mindre säker än OAuth.

Lösta problem

• Problem med parallell laddning

  När en datauppsättning definierades med parallell laddning och fullständig laddning därefter inaktiverades, utförde uppgiften fortfarande en fullständig laddning av den datauppsättningen, även när den återupptogs från tidsmarkör.

2024.11.24

Korrigering

Denna korrigering löser följande problem:

• SAP ODP-datakälla: Misslyckad metadatagenerering

  Metadatagenerering slutfördes inte för tabeller med en punkt i namnet (t.ex. Deprec.Area).

• Uppgiftsåterställning

  Uppgifter återställdes endast en gång om de misslyckades under fullständig laddning på grund av ett miljöproblem. Nu återställs de det antal gånger som konfigurerats i Inställningar > Felhantering > Miljöfel > Maximalt antal återförsök.

Förbättringar

PostgreSQL redundanscertifiering

Att arbeta med en sekundär databas efter redundans har certifierats med följande datakällor (som alla kan nås med hjälp av PostgreSQL-källans koppling):

• Google Cloud SQL för PostgreSQL
• Amazon RDS för PostgreSQL
• PostgreSQL (på plats)

Se även: Konfigurera redundans

Förbättring av MySQL-prestanda

I tidigare versioner, när en MySQL-baserad källslutpunkt användes i en uppgift konfigurerad med begränsad LOB-storlek, använde Gateway för dataflytt källsökning för att läsa LOB-kolumnerna. Nu kommer Gateway för dataflytt att läsa LOB-kolumnerna direkt från binlog, vilket förbättrar prestandan.

Ändringar av datatypsmappningen

Mappningar till LOB-kolumner har ändrats för Amazon Redshift- och Snowflake-mål.

Amazon Redshift-mål

• BLOB är nu mappad till VARBYTE(16777216)
• NCLOB är nu mappad till NVARCHAR(65535)
• CLOB är nu mappad till NVARCHAR(65535)

Snowflake-mål

• BLOB är nu mappad till BINARY (8388608)
• NCLOB är nu mappad till NVARCHAR(16777216)
• CLOB är nu mappad till VARCHAR(16777216)

Nya datatyper som stöds

• IBM DB2 för LUW-källa

  Stöder nu datatypen BOOLEAN (från och med DB2 för LUW 11.5).

• Google BigQuery-mål

  Stöder nu datatypen BIGNUMERIC.

Utökat målstöd för kontrolltabellen DDL History

I tidigare versioner av Gateway för dataflytt stöddes kontrolltabellen DDL History endast med Databricks- och Microsoft Fabric-mål. Denna version introducerar stöd för följande ytterligare kopplingar till mål:

• Amazon Redshift
• Amazon S3
• Google Cloud-lagring
• Snowflake

Se även: DDL-historik

Stöd för att använda en icke-superuser med Google Cloud SQL för PostgreSQL

Från och med den här versionen är det nu möjligt att ange ett icke-superuserkonto vid replikering från Google Cloud SQL för PostgreSQL

Se även: Använda ett konto utan superuser-rollen

Nyligen certifierade plattformar och drivrutinsversioner

• Databricks-mål

  15.4 LTS

• Oracle-källa och -mål

  23ai

  Anteckning om information

  • Oracle 23ai källa och mål är endast certifierad med Oracle Standard Edition.
  • Oracle 23ai källa stöds endast med TDE-kryptering.

• Databricks drivrutinsuppdatering

  Vid flytt av data till Databricks krävs nu Simba Spark ODBC Driver 2.8.2 eller senare. Kunder måste antingen köra installationsverktyget för drivrutinen eller installera drivrutinen manuellt.

  Se också: Installation av drivrutin

Support upphört

Support för följande databasversioner har upphört:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Lösta problem

• Koppling till SAP HANA (databas): Misslyckande med att skapa __CT-tabell

  När replikeringssättet var inställt på Lagra ändringar och tabellen innehöll en .INCLUDE-kolumn, kunde inte __CT-tabellen skapas på målet.

• Mellanlagringsuppgift i sjö: Vilseledande fel

  Uppgiften misslyckades och felmeddelandet "Ingen licens för databas" visades när den hemliga nyckeln för Azure Data Lake Storage hade löpt ut.

• Koppling till Amazon S3-mål: Gamla filer raderas inte

  Äldre filer raderas inte när en ny uppgift kördes. Detta kunde leda till att uppgiften misslyckades på grund av att poster inte kopierades eller inte matchade varandra.

   

• SAP HANA (databas) källa: kopplingsfel på grund av en användardefinierad tabell

  Felet "funktionen stöds inte: kan inte välja användardefinierad typ" uppstod vid val av en användardefinierad tabell för replikering. Problemet löstes genom att utesluta användardefinierade tabeller (som inte stöds) från tabellväljaren.

• Microsoft Fabric-målkoppling: återställningsfel

  Felet "Konvertering misslyckades" kunde ibland uppstå vid återställning efter kopplingsfel som uppstått under CDC.

• Koppling av databricksmål: CDC-fel vid arbete utan LOB-stöd

  När LOB-stödet inaktiverades misslyckades CDC med meddelandet "inte tillräckligt med datakolumner" när man försökte infoga ändringen i __ct-tabellen. Det här felet uppstod vid arbete i läget "Lagra ändringar", det enda läge tillgängligt för mellanlagring.

• MySQL-källa till Snowflake-mål: CDC-fel

  Under CDC, vid replikering av en "NOT NULL"-kolumn med datatyp mediumtext, kunde uppgiften ibland misslyckas med följande fel:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Microsoft Fabric-målkoppling: trunkeringsfel

  Vid infogning av en VARCHAR-kolumn uppstod följande trunkeringsfel:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Problemet löstes genom att multiplicera VARCHAR-kolumnen i Microsoft Fabric.

Nya funktioner

Stöd för att ange ytterligare ODBC- och JDBC-anslutningsegenskaper har lagts till i Snowflake-målkopplingen.

För mer information, se Ytterligare kopplingsegenskaper.

Lösta problem

• Metadata uppdateras inte

  När en primärnyckel ändrades i datakällan uppdaterades inte målets metadata efter en omladdning.

• Amazon S3-mål

  Vid skapande och körning av en ny uppgift raderades inte filer som fanns kvar från tidigare uppgifter från tabellplatsen.

• SAP HANA-datakälla

  Försök att ansluta till en SAP HANA-datakälla med loggbaserad CDC resulterade i följande fel:

  Cannot select user-defined type

2024.5.41

Korrigering

Denna korrigering löser följande problem:

• Amazon S3-, Google Cloud Storage- och Qlik Cloud-mål: Citera tomma strängvärden

  Tomma strängar kommer nu att citeras i CSV-filen för att skilja dem från NULL-värden.

• Databricks-mål: Dataöverensstämmelse

  En bristande överensstämmelse mellan käll- och måldata inträffade i vissa scenarier.

• Databricks-mål: Misslyckad CDC orsakad av inaktivering av LOB-stöd

  Inaktivering av LOB-stöd i mellanlagringsuppgiften orsakade att CDC misslyckades med följande fel (utdrag):

  Cannot write to '<name>__ct', not enough data columns

• Microsoft Fabric-mål: Anslutningsfel som resulterar i misslyckad CDC

  Tillämpning av ändringar på målet efter återställning från ett anslutningsfel misslyckades ibland med ett "Conversion failed"-fel.

2024.5.35

Korrigering

Denna korrigering löser följande problem:

• Microsoft Fabric-mål: Problem med datatypkonvertering

  Under en lagringsuppgift konverterades datatypen NVARCHAR(3500) felaktigt till VARCHAR(10500) i stället för VARCHAR(8000) (det maximalt tillåtna), vilket resulterade i ett fel.

• IBM DB2 for LUW-datakälla: Stöd för GRAPHIC-datatyp med teckentabell 941 (japanska)

  När källtabellen innehöll en GRAPHIC-datatyp med teckentabell 941 (japanska) inträffade följande fel (utdrag):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Korrigering

Efter uppdatering av användarnamn och lösenord i Workday Reports-datakällkopplingen och därefter omladdning av uppgiften, inträffade ett "Invalid username or password"-fel även om inloggningsuppgifterna var korrekta. Detta problem är nu löst.

Korrigering

Denna korrigering löser följande problem:

Säkerhet

Oracle Java Standard Edition 17.0.8, som levereras med Gateway för dataflytt, har flera kända sårbarheter. Denna korrigering ersätter 17.0.8 med 17.0.12 och löser därmed problemen.

Salesforce-datakälla

Under CDC lades flera INSERT-åtgärder till i den associerade _ct-tabellen för varje ändring (i stället för bara en). Detta ökade antalet poster i _ct-tabellen avsevärt.

Standard

Korrigering

Denna korrigering löser följande problem:

Sårbarhet i Snowflake JDBC-drivrutin

Den 14 augusti 2024 utfärdade Snowflake en säkerhetsrådgivning om Snowflake JDBC-drivrutiner >= 3.2.6 & <= 3.19.1, varav vissa användes med tidigare versioner av Gateway för dataflytt. Sårbarheten korrigerades i Snowflake JDBC Driver 3.20, vilket är den version som nu installeras med verktyget för drivrutinsinstallation. Befintliga kunder bör uppgradera sin drivrutin så snart som möjligt genom att följa proceduren Uppdatera drivrutinen som beskrivs i Drivrutinskonfiguration.

Oracle-datakälla

• Vid användning av redo-händelse 11.22 saknades INSERTs vid bearbetning av flera INSERTs på en komprimerad sida som inte var komprimerad före INSERTs.
• I sällsynta scenarier genererade felaktig tolkning av DELETE-händelser i redo-loggposten en varning om "The Redo Log DELETE event contains an unknown structure" följt av olika problem.

SAP Extractor-datakälla

Instruktionerna i YAML-filen uppdaterades för att återspegla rätt version av SAP Java Connector.

Snowflake-mål

Vid användning av Gateway för dataflytt för att ansluta till Snowflake-mål via en proxy misslyckades anslutningen med följande fel:

500 Failed to connect to Data Movement Gateway

Korrigering

Korrigering

Lösta problem

• Oracle-källa

  • Missade INSERTs kunde ibland uppstå i flera INSERT-åtgärder vid användningen av redo-händelse 11.22.

  • Efter uppgradering av Oracle 19g med patchen från juli 2024 kunde det hända att UPDATE-åtgärder inte registrerades och följande varning visades:

    A compressed row cannot be parsed

• Snowflake-mål

  När uppgiftsinställningarna konfigurerades för att skapa kontrolltabellschemat misslyckades uppgiften med följande fel:

  Failed to delete directory

• Schemalagd CDC

  När en uppgift var schemalagd för att köras regelbundet kunde den ibland misslyckas med följande fel:

  The task stopped abnormally

• Transformering och lagringsuppgifter fastnar

  Transformering och lagringsuppgifter kunde ibland ligga kvar i kö under en alltför lång tid.

• Metadatahanterare

  Uppgifter kunde misslyckas när funktionen use_manipulation_pk_for_apply användes med replikering av Lagra ändringar.

• Förlängd timeout resulterar i problem med SaaS-programkällor

  Förlängde tidsgränsen för S3 till 6 timmar för att förhindra problem till följd av långa timeouts, t.ex. förlust av token för att hämta filer.

Standard

Förbättringar

• Lägg till nyckelparsautentisering i Snowflake-målkopplingen

  Nyckel/par ger en mer robust autentiseringsmetod än användare/lösenord för att ansluta till Snowflake med dina servicekonton. Detta tillvägagångssätt rekommenderas för arbetsbelastningar som dataladdning (replikering eller mellanlagring) och transformeringar.

• Support för att hämta metadata från flera tabeller parallellt

  I tidigare versioner kunde uppdatering av metadata på en befintlig datauppsättning eller en nyligen tillagd datauppsättning ibland misslyckas och ett fel uppstod. Den här förbättringen säkerställer att metadata kan hämtas från flera tabeller parallellt utan problem.

Lösta problem

• Datatypen DECIMAL mappas felaktigt som STRING i Google BigQuery

  När en källtabell innehöll en kolumn med datatypen DECIMAL, som DECIMAL (38, 20), misslyckades förberedelsen av datalagringsuppgiften i Google BigQuery med följande fel (utdrag):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Problemet löstes genom att källdatatypen DECIMAL mappades som DECIMAL i Google BigQuery.

• Fel i regel för Schema

  Ändringar av en befintlig schemaregel i en datauppgift ledde till följande fel:

  QRI SQL error not implemented

• Saknas /QTQVC/QRI-tabell från SAP-transporten

  När en mellanlagringsuppgift kopplad till en SAP-applikationskälla förbereddes slutfördes uppgiften, men följande fel rapporterades i loggfilen repsrv.log:

  Invalid object name 'hk1./QTQVC/QRI'

Standard

Förbättringar

• Stod för metadataändringar i replikering och mellanlagring av uppgifter i sjö utan att behöva släppa och återskapa alla tabeller.

  Om en metadataändring skedde tidigare släpptes alla tabeller och återskapades även om metadataändringen inte påverkade alla tabeller. Nu släpps och återskapas bara ändrade tabeller vilket förbättrar prestanda.

• Stöd för automatisk laddning av nya tabeller i replikeringsuppgifter

  Tabeller som skapas i källdatabasen under replikeringsdatauppgiften och matchar det ingående mönstret registreras nu automatiskt under CDC (Change data capture).

• Microsoft SQL Server (MS-CDC)-källförbättringar

  • Bevarar tidsmarkör och transaktions-ID

    Vid läsning av flera transaktioner från Microsoft SQL Server (MS-CDC) bevarade Qlik Talend Data Integration transaktions-ID och tidsmarkör för enbart den första transaktionen. På målet gav detta intryck av att posterna alla ver del av en enda transaktion. Nu bevarar Qlik Talend Data Integration ursprungligt transaktions-ID och tidsmarkör för varje enskild post. Det är till hjälp för kunder som vill använda rubrikkolumner för transaktions-ID och tidsmarkör i Ändra tabeller.

  • Ordning för transaktions-ID-bytes

    Tidigare kodades bytes in transaktions-ID i omvänd ordning. Från denna version kodas bytes i korrekt ordning. Information: Kkunder som hellre vill behålla nuvarande beteende kan göra det med interna parametrar. Kontakta Qlik-support för mer information.

• Stöd för att cachelagra SHA-2 instickbar autentisering med MySQL

  Qlik Talend Data Integration har nu stöd för att cachelagra SHA-2 instickbar autentisering (caching_sha2_password) vid arbete med MySQL-källor eller -mål, antingen lokalt eller i molnet. I föregående versioner fanns endast stöd för Native Pluggable Authentication (mysql_native_password).

• Ändringar av datatypsmappningen för Amazon Redshift

  Datatyperna BYTES och BLOB kommer nu att mappas till VARBYTE på Amazon Redshift istället för VARCHAR.

Nyligen certifierade plattformar, slutpunkter och versioner

• Datakällor

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 för z/OS 3.1

• Målplattformar

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Drivrutiner

  • SQL Server ODBC Driver 18.3

Support upphört

Support för följande databasversioner har upphört:

• Alla Oracle-versioner och -drivrutiner före Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 för LUW 10.5
• IBM DB2 för z/OS: z/OS 2.3

Lösta problem

• SAP (program)-källa

  När en registrerad klusterdokumentändring raderade alla rader i sina registrerade tabeller uppstod saknad DELETE-åtgärd och överflödiga försäkransmeddelanden.

• Säkerhetssårbarheter

  Uppdaterat Microsoft Authentication Library för Java (MSAL4J) och Bouncy Castle till versioner utan kända sårbarheter.

• Snowflake-mål

  • Ibland misslyckades uppgiften när internt lagringsutrymme användes i Snowflake.
  • Uppgiften misslyckades om målets schemanamn var japansk katakana.

• Oracle-källa

  När en uppgift med en Oracle-källa återupptogs fortsatte uppgiften vänta på en raderad Archived Redo Log i stället för att misslyckas med passande fel.

Standard

Förbättringar

• Metadataschema i Snowflake

  Från och med den här versionen kommer Snowflakes metadataschema (för mellanlagrade filer) kommer att skapas om det inte finns.

Lösta problem

• Efter att en ändring hade gjorts i en regel för att Byta namn på datauppsättning (som konkatenerar tabellnamnet med schemanamnet) och en vy hade lagts till i mellanlagringsuppgiften misslyckades förbered-åtgärden med följande fel:

  QRI SQL error not implemented.

• Uppdaterade komponenten java_file_factory till en version utan några kända sårbarheter.
• Uppdaterade org.postgresql:postgresql till en version utan några kända sårbarheter.
• När data flyttas till SQL Server misslyckades förbered-åtgärden när indexnamn översteg 128 tecken. Problemet löstes genom att ändra logiken så att kortare indexnamn skapas.

• När data flyttas från SQL Server medförde ett saknat kolumnnamn i tabelldefinitionerna till en oändlig meddelandeslinga i filen repsrv.log med följande meddelande:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standard

Förbättringar

• Hämtning av parallella metadata

  Stöd för samtidig hämtning av metadata för flera tabeller har lagts till.

• Förbättrad övervakningsprestanda

  Övervakningsinformationen för mellanlagrings- och replikeringsuppgifter uppdateras nu var 10:e sekund (i stället för var 60:e sekund), vilket ger en mer exakt indikation på deras aktuella status.

• Nytt stöd för region

  Japan stöds nu som region för Qlik Cloud-klientorganisationer.

Lösta problem

• Intervallet för nya försök mellan datagatewayen och Qlik Cloud ökade kontinuerlig, men återställdes aldrig (såvida inte tjänsten startades om).
• När data flyttades från en SaaS-programkälla hamnade tabeller ibland i ett feltillstånd under laddning.

• Uppgifter med en MySQL-källa misslyckades ibland med följande fel under CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Tidigare loggades CDC-granskningshändelser bara för mellanlagringsuppgifter. Nu loggas de även för replikeringsuppgifter.
• När data flyttades från SQL Server (MS-CDC) tog det ibland flera timmar för uppgifter med många tabeller att starta.

• När källtabellen innehöll CLOB-kolumner och värdet för "Begränsa LOB-storlek" överskred 10 240 misslyckades Snowflake med följande fel:

  Invalid character length: 0

Standard

Stöd för att installera Gateway för dataflytt på Red Hat 9.x

Kunder kan nu installera Gateway för dataflytt på Red Hat 9.x eller på valfri motsvarande och kompatibel Linuxdistribution.

Konfigurera Gateway för dataflytt

Ändringar av Gateway för dataflytt-servicekommandon

Kommandona för att stoppa, starta och kontrollera statusen för Gateway för dataflytt-tjänsten har ändrats.

Gateway för dataflytt service commands

Ändringar av datatypsmappningen för Amazon Redshift

• Datatypen BOOLEAN som mappades till VARCHAR(1) i i Amazon Redshift kommer nu att mappas till BOOLEAN.
• Datatyperna BYTES och BLOB som mappades till VARCHAR(1) i i Amazon Redshift kommer nu att mappas till VARBINARY (längd).

Databaser, databasversioner och drivrutinsversioner som nyligen fått stöd

I det här avsnittet listas databaser, databasversioner och drivrutinsversioner som nyligen fått stöd.

• Datakällversioner och -utgåvor som nyligen fått stöd

  Följande datakällversioner stöds nu:

  • Azure-databas for MySQL - Flexible Server (stöds via MySQL-källkopplingen)
  • MariaDB 10.4 - 10.11 (tidigare 10.4 och 10.5)

• Måldataplattformar och -utgåvor som nyligen fått stöd

  Följande måldataversioner stöds nu:

  • Azure-databas for MySQL - Flexible Server (stöds via MySQL-målkopplingen)
  • Databricks: Databricks 13.3 LTS and Serverless SQL Warehouse

• SAP HANA-drivrutinsversion som nyligen fått stöd

  Kunder med en SAP HANA-källa som vill installera Gateway för dataflytt på Red Hat Linux 9.x måste installera SAP HANA ODBC 64-bits drivrutinsversion 2.0.19 eller senare.

Databasversioner som inte längre stöds

Det här avsnittet ger information om databasversioner som inte längre stöds.

• Stödet för följande datakällversioner har upphört:

  • Oracle 11.x
  • SAP HANA 1.0

Lösta problem

• Om Gateway för dataflytt installerades utan att ett serverlösenord angavs kunde inte URL:erna för klientorganisationen och proxyn konfigureras i ett enda kommando.
• Om data flyttades från en Salesforce-datakälla (SaaS-program) skrevs ett stort antal onödiga varningar ut, vilket påverkade dataladdningsprestandan.
• Om ett fel inträffade när ändringar för en av tabellerna hämtades under hämtning av ändringar för en SaaS-programdatakälla inaktiverades den tabellen och togs bort från pipelinen. När ett fel påträffas nu kommer uppgiften att försöka hämta ändringarna upp till tre gånger innan tabellen inaktiveras.

Standard

Nya datasjömål för replikeringsprojekt

Vi fortsätter att utöka målen som stöds för replikeringsprojekt i Qlik Cloud Data Integration. Förutom Amazon S3 kan du nu välja Azure Data Lake Storage (ADLS) och Google Cloud Storage (GCS) för datasjöleverans som antingen Parquet-, JSON- eller CSV-filformat.

Lösta problem:

• IBM DB2 for LUW-datakällkoppling

  Anslutningen till IBM DB2 for LUW misslyckades när storleken på filer som behövdes för anslutningen (t.ex. SSL-klientcertifikatet och nyckellagerfilen) översteg 4 KB.

• Drivrutin för IBM DB2 for LUW- och IBM DB2 for z/OS-datakällkopplingar

  Installationen av DB2-drivrutinen misslyckades vid användning av verktyget för drivrutinsinstallation.

Standard

Stöd för Microsoft Fabric som datapipelinemål

Microsoft Fabric sällar sig till den ständigt växande listan över datalager som kan användas som mål i datapipelineprojekt.

Lösta problem:

Uppdaterade Snowflake-drivrutinsversionen i verktyget för drivrutinsinstallation.

Standard

Utökat stöd för privata anslutningar

En privat anslutning kan användas för att säkerställa att din datatrafik förblir säker och kompatibel. Den förenklar både nätverkshanteringen och säkerheten för ditt VPC (Virtual Private Cloud) utan behovet att öppna inkommande brandväggsportar, proxy-enheter eller routing-tabeller. Qlik Cloud Data Integration har redan stöd för privata anslutningar till Snowflake-, Microsoft SQL Server- och Amazon S3-datapipelinemål. Från och med den här utgåvan kan kunder dessutom använda privata anslutningar när du flyttar data till Databricks, Microsoft Azure Synapse, Google BigQuery och Amazon Redshift.

PostgreSQL-baserade datakällor

• Alla PostgreSQL-baserade datakällor – Stöd för flerområdesdatatyp: Följande flerområdesdatatyper stöds nu med alla PostgreSQL-baserade datakällor (lokala och moln).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud för PostgreSQL-datakälla – Rollstöd för icke-superuser: Den användare som angivits i PostgreSQL-anslutningen behöver inte längre ha superuser-rollen för att flytta data från en AWS Aurora Cloud for PostgreSQL-datakälla. Detta är särskilt användbart för organisationer med företagssäkerhetspolicyer som hindrar dem från att ge superuser-åtkomst till icke-behöriga användare.

Microsoft Azure SQL-datakälla (MS-CDC): Stöd för georeplikering

Kunder som flyttar data från en Microsoft Azure SQL-datakälla (MS-CDC) kan nu använda en Geo Replica-databas.

Oracle-datakälla: Stöd för HSM (Hardware Security Module)

Qlik Cloud Data Integration stöder nu läsning av data från Oracle-krypterade tabellutrymmen och krypterade kolumner under CDC.

Stöd för nya regioner

Qlik Cloud Data Integration har nu stöd för klientorganisationer i regioner i Tyskland och Storbritannien.

Nyligen stödda versioner och programvara från tredje part

Det här avsnittet listar versioner av databaser och drivrutiner som nyligen fått stöd.

• Datakällversioner som nyligen fått stöd Följande datakällversioner stöds nu:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (vid användning av IBM DB2 för z/OS)
  • IBM DB2 för iSeries 7.5

• Måldataplattformsversioner som nyligen fått stöd. Följande måldataversioner stöds nu:

  • Databricks (molnlagring): Databricks 12.2 LTS och Databricks SQL Serverless

• Drivrutinsversioner. Det finns nu stöd för följande ODBC-drivrutinsversioner:

  • IBM Data Server Client 11.5.8 för IBM DB2 för z/OZ och IBM DB2 för LUW
  • Simba ODBC-drivrutin 3.0.0.1001 för Google Cloud BigQuery
  • MySQL ODBC Unicode-drivrutin 64-bit 8.0.32

Microsoft SQL Server-drivrutin – obligatorisk uppgradering

Kunder som flyttar data till eller från Microsoft SQL Server måste uppgradera sin SQL Server ODBC-drivrutinsversion till 18.x eller senare. Observera att datafel kan inträffa om du fortsätter att använda SQL Server ODBC-drivrutin 17.x. Drivrutinen kan antingen uppgraderas med verktyget för drivrutinsinstallation eller manuellt. Se Konfigurering av drivrutiner för instruktioner.

Databasversioner som inte längre stöds

Det här avsnittet ger information om databasversioner som inte längre stöds.

• Databasversioner som inte längre stöds. Stödet för följande datakällversioner har upphört:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Måldataplattformsversioner som inte längre stöds. Stödet för följande datamålversioner har upphört:

  • Databricks 9.1 LTS

2022.11.74

Standard

15 augusti 2023

Replikeringsrapport

Vi tillämpar en molnet-först-metod som möjliggör snabb innovation och användning. Men det innebär inte att vi bara är för molnet. Som en del av vårt fortsatta arbete med att förbättra det långsiktiga värdet för våra kunder är vi glada över att presentera ett nytt användningsfall för replikering när dataprojekt skapas. Det nya användningsfallet för replikering är i tillägg till den befintliga möjligheten att skapa datapipelines för alla dina dataintegreringsbehov, till exempel modernisering av datalager.

Replikeringsprojektet har stöd för datareplikering i realtid från datakällor som stöds till ett mål som stöds.

Från och med den här senaste versionen är det första målet med stöd för replikering av data i realtid Microsoft SQL Server. Förutom stöd för Microsoft SQL Server lokalt stöds även följande molnleverantörer:

• På plats
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance och Microsoft Azure Database)

Microsoft Azure Synapse Analytics-mål - drivrutinsuppgradering krävs

Kunder som flyttar data till Microsoft Azure Synapse Analytics måste uppgradera sin SQL Server ODBC-drivrutinsversion till 18.x eller senare. Observera att datafel kan inträffa om du fortsätter att använda SQL Server ODBC-drivrutin 17.x. Drivrutinen kan antingen uppgraderas med verktyget för drivrutinsinstallation eller manuellt. Se Konfigurering av drivrutiner för instruktioner.

Nytt alternativ för "Ladda data från källa" för SaaS-programkällor

Ett nytt alternativ Ladda data från källa har införts. Med det kan kunder läsa sina data direkt från källan under Fullständig laddning, i stället för att använda mellanlagrade data.

Mer information om det här alternativet inklusive användningsfall finns i Inställningar för mellanlagring.

Uppdaterade CA-certifikat

Gateway för dataflytt 2022.11.74 omfattar uppdaterade CA-certifikat, vilka krävs vid autentisering av Qlik Cloud-klientorganisationen. De uppdaterade CA-certifikaten tillhandahåller också stöd för regionerna Irland och Frankfurt. Därför måste kunder med Qlik Cloud-klientorganisationer i Irland eller Frankfurt som vill använda Qlik Cloud Data Integration uppgradera till den här versionen.

Löst problem

Mellanlagringsdata om uppgifter från en Oracle-källa misslyckades ibland när en bred tabell innehöll oanvända kolumner eller kolumner som inte stöds eller LOB-kolumner som inte replikerades.

2022.11.70

Standard

28 juni 2023

Förbättrat verktyg för drivrutinsinstallation för SAP-klienter

I tidigare versioner behövde kunder köra kommandot "source arep_login.sh" vid installation av SAP-klienter. Från och med denna version är det inte längre nödvändigt att köra detta kommando.

Uppdaterade CA-certifikat

Denna version innehåller uppdaterade CA-certifikat, som behövs för att autentisera Qlik Cloud-klientorganisationen.

Lösta problem

• När en replikeringsuppgift på Gateway för dataflytt har misslyckats och automatiskt återställts kommuniceras inte det återställda tillståndet till mellanlagringsdatatillgången i Qlik Cloud.

• Kryptering från början till slut för Gateway för dataflytt aktiverades inte som standard och styrdes av körningsflaggor.

2022.11.63

Standard

2 maj 2023

Verktyg för installation av drivrutiner

I den här versionen ingår ett verktyg för att installera drivrutiner som eliminerar behovet att installera och konfigurera drivrutiner manuellt. Med det nya verktyget förkortas installationsprocessen samtidigt som risken för användarfel minskar betydligt. När verktyget körs hämtas den nödvändiga drivrutinen automatiskt, om det går, och installeras. Om det inte går att hämta drivrutinen (för exempelvis DB2-drivrutiner krävs inloggning) är det enda du behöver göra att kopiera den till en dedikerad mapp på dataflytt-gatewaydatorn och kör verktyget.

Se Förutsättningar för ett exempel på hur man använder verktyget för installation av drivrutiner för att installera en PostgreSQL-drivrutin.

Snowflake-molndataplattform

Snowflake-kopplingen har nu stöds för 4-bytes emojitecken.

Stöd för Azure Database för PostgreSQL – Flexible Server som datakälla

PostgreSQL-kopplingen kan nu flytta data från Azure Database för PostgreSQL - Flexible Server.

Stöd för Cloud SQL för PostgreSQL som datakälla

PostgreSQL-kopplingen kan nu flytta data från Cloud SQL för PostgreSQL.

Nya datakällversioner som stöds

I den här versionen finns stöd för följande nya datakällversioner:

• PostgreSQL 14
• DB2 (för IBM DB2 för z/OS) 12.1
• IBM DB2 för z/OS 2.5

Nya molndataplattformsversioner som stöds

Databricks 11.3 LTS

Stöd avvecklat för följande datakällversioner

Följande datakällversioner stöds inte längre:

• DB2 (för IBM DB2 för z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Lösta problem

I den här versionen har följande problem lösts:

• Oracle-datakälla: När en uppgift stoppades och återupptogs kunde uppgiften ibland misslyckas med felet: "Kunde inte ställa in strömningspositionen i kontext".
• SAP Application-källa: Ändringar samlades inte in under mellanlagringsuppgiften.