Upgraden en verwijderen Data Movement gateway

Opgeloste problemen

• Aggregatie van statistieken van gedeeltelijke volledige belasting

• Databricks Lakehouse (Delta) / Databricks (Cloudopslag) – ODBC-testverbinding mislukt met proxy (Gebruikersnaam/Wachtwoord) op alle staging-omgevingen

• Databricks Lakehouse (Delta) Volume - Verwijderen van map mislukt vanwege "CLOUD_FILE_NOT_FOUND"-fout

• Voor de applicatiemodus moet een taak met alleen volledige belasting DDL inschakelen

• SAP-applicatiedoel maakt speciale tekens aan in gegevens tijdens het laden naar het Snowflake-gegevensformaat

• S3-doel voor volledige lading bereidt gedupliceerde records voor op dezelfde json- of verschillende json-bestanden met SAP-bronextractor

• Ontbrekende relevante foutmelding wanneer de tabel is opgeschort

• OData-doel SAP ODP-taak voltooid maar Volledige laadbeurt wordt niet voltooid

• Ondersteuning voor SQL Server 2012 (Always-Encrypted-controle overslaan)

• Beperk LOCAL INFILE alleen tot laadmodus voor MySQL/MemSQL-doelen (LFI-oplossing)

• SAPDB-bron – Slechte gegevens (ontbrekende gegevens, duplicaten) kunnen voorkomen voor een tabel wanneer een andere tabel de LOAD TABLE-opdracht ontvangt.

• Ondersteuning voor het wijzigen van de lengte van gegevenstypen in Databricks delta

• BigQuery Streaming - Null-waarden afgekapt uit velden van het gegevenstype STRING bij het samenvoegen van tekens

• PostgreSQL LOB-opzoeking mislukt als primaire sleutel TIMESTAMPTZ bevat

• Wanneer een DBCC-aanroep in de SQL Server Deferred Constructor een herstelbare fout retourneert, moeten we één keer opnieuw verbinding maken en het opnieuw proberen, vanwege de mogelijke time-out

• HANA-bron, DECIMAL-gegevenstype in doel laat schaalwaarden vallen, wat een gegevensmismatch veroorzaakt

• SAP ODP-bron in versie 2025.11 als de optie INCLUDE is gebruikt voor het tabelselectiepatroon. Het volledig laden neemt meer uren in beslag om te voltooien.

• SQL Server Always Encrypted: Tabel wordt opgeschort in elke taak naar elke bestemming vanwege een beschadigd CSV-bestand

• SAP HANA-ondersteuning voor terugdraaien naar opslagpunt

• Taak mislukt door een tokenverloopprobleem bij het werken met Azure Active Directory Service Principal-authenticatie

• Asset uitvoeren mislukt. Foutmelding moet ontbrekende tabel in het logboek tonen.

• Redshift - kolomlengte wordt niet ondersteund

• Triggers worden onjuist verwijderd

• Oracle Update-bewerkingen op gecomprimeerde rijen nemen mogelijk geen primaire sleutelkolomwaarde op in After Image, waardoor een NULL-waarde wordt gebruikt in het doel

• Landingstaak - verwijdering en toevoeging van dezelfde tabel creëert de _ct tabel niet indien handmatig verwijderd uit de doel-DB

• UTC-indicator toevoegen aan de datum/tijd-kolomwaarde in S3 Parquet-bestanden

• Ontbrekende records bij doel ontkoppelen/herkoppelen na LOB-opzoekfout

• DB2 Z/os is groen, maar er worden geen veranderingen doorgevoerd.

• DataBricks Delta vervangt binaire nul in tekenreeksen door een spatie

• De alternateBackupFolderTransportCommand bewaart de hoofdlettergevoeligheid niet

• SAP HANA Volledige Opnamemodus - triggers kunnen mislukken als QTREP/TRAN_LOG vol raakt

• Kan geen gebruikmaken van parallel laden op SAP VBRP-tabel voor Databricks Lakehouse (Delta)

• Databricks (Cloudopslag) vervangt binaire nul in tekenreeksen door een spatie

• SAPDB - een nieuw voorkomen waarbij tabellen NULL-waarden hebben in de primaire sleutel voor sommige gebeurtenissen

• Crash bij LOB-opzoeking wanneer de volgorde van kolommen in SAP en in backend-tabellen verschillend is

• Fout bij het converteren van csv naar parquet-bestand

• Met Oracle Standby werd de online redo-logreeks overgeslagen, wat leidde tot gegevensverlies

• SAPDB - Taakcrash bij LOB-opzoeking wanneer vereiste metadata nog niet was gelezen

• Oracle leest uit online redo-log met Redo nog niet voorbereid.

• Oracle 26ai + TDE-versleuteling - Onjuiste REDO-log-parsing van versleutelde CDC-wijzigingen

• Ondersteuning voor de regio Canada toevoegen

• Ondersteuning https-proxy verbinding

• Bij gebruik van een beheerde gateway, bevat het diagnosepakket alleen de laatste log

• SQL Server (MS-CDC)-bron – Ongeldige wijzigingsquery gegenereerd voor geometriekolommen wanneer een kolomhernoemingstransformatie is geconfigureerd

• Stitch-bron – Wijzigingsregistratietabelbestanden niet gesloten wanneer volledige lading gestart of beëindigd

• Teradata bron en doel – Documentatie voor stuurprogramma-installatie bijgewerkt

• Beveiliging – netty-codec-http bijgewerkt naar 4.1.136.Definitief

• Beveiliging – lz4-java bijgewerkt naar 1.11.1

• Beveiliging – jackson-core bijgewerkt naar 2.18.8

• Beveiliging – jetty-security bijgewerkt naar 12.1.10

• Beveiliging – Bijgewerkte Log4j in SAP ODP- en Salesforce-bron-eindpunten

• Ondersteuning van foutmelding voor fullLoadPartial

• Snowflake-doeltaak toonde veel "Object '<>."attrep_status"' bestaat niet of is niet geautoriseerd." fouten.

Opgeloste problemen

• Syntaxisprobleem in de attrep_history Control Table op Databricks en Snowflake

  Na het upgraden naar Data Movement gateway 2025.11.40, resulteerden INSERT-bewerkingen in de Control Table attrep_history in een syntaxisfout.

• Oracle-bron

  Tabelselectie get_table_list mislukt met Oracle-foutcode '1406' bij het ophalen van tabelmetadata in Oracle Autonomous Database-omgevingen met compressie ingeschakeld.

• Replicate storing van het activum

  Verbeterde foutberichten om de ontbrekende tabelnaam weer te geven in het logboek wanneer een tussenopslagtaak niet kan worden uitgevoerd vanwege een ontbrekende tabel.

• Landingsactiviteit - Tabel voor wijzigingsregistratie

  Het verwijderen en opnieuw toevoegen van een dataset in een tussenopslagtaak creëerde niet langer de wijzigingsvolgtabel als deze handmatig uit de doeldatabase was verwijderd.

• SQL Server-bron - Always Encrypted-compatibiliteit

  Ondersteuning toegevoegd voor SQL Server 2012 (met behulp van een interne eigenschap) door de Always-Encrypted validatiecontrole over te slaan, die niet worden ondersteund in SQL Server-versies van vóór 2016.

• SQL Server Altijd versleuteld

  Een probleem opgelost waarbij tabellen werden opgeschort in elke taak naar elke bestemming als gevolg van onjuiste verwerking van beschadigde CSV-bestanden bij gebruik van Always Encrypted-kolommen.

• Beveiliging

  Bijgewerkte libcurl bibliotheek om de CVE-2025-14819 kwetsbaarheid aan te pakken.

• Geregistreerde gegevens met Databasenaam die een koppelteken bevat

  Een probleem opgelost waarbij de taakvoorbereiding van geregistreerde gegevens mislukte wanneer databasenamen koppeltekens bevatten.

• Snowflake-doel - COPY INTO-time-out

  Time-outfouten opgelost die optraden tijdens de stap "COPY INTO" bij het laden van grote gegevenssets naar Snowflake.

Databricks-stuurprogramma rebranding

Om beter aan te sluiten bij Databricks, heeft het stuurprogramma voor de Databricks-connector een rebranding ondergaan.

Ondersteuning voor nieuwe versies van de Snowflake- en Google BigQuery-stuurprogramma's.

Deze versie introduceert ondersteuning voor de volgende nieuwe stuurprogrammaversies:

• Snowflake: Snowflake ODBC-stuurprogramma 3.15.0 (64-bits)

• Google BigQuery: Simba ODBC-stuurprogramma versie 3.1.6.1026

Ondersteuning voor het Databricks VARIANT-gegevenstype

Vanaf deze versie worden de volgende gegevenstypen toegewezen aan het native Databricks VARIANT-gegevenstype:

• STRING

• WSTRING

• NCLOB

• CLOB

Opgeloste problemen

• IBM DB2 for iSeries-bron:

  Na het hervatten van een taak, zou het vastleggen van wijzigingen uit een tabel die binaire decimale kolommen bevatte, de taak laten crashen.

• PostgreSQL bron - CDC probleem

  Na het hervatten van een taak die gedurende de minuut voordat deze werd gestopt geen wijzigingen heeft vastgelegd, zouden er geen wijzigingen worden vastgelegd.

• SSH connector - Probleem met testverbinding

  Als u op Testverbinding klikte in de SSH-connector, werden er geen fouten geretourneerd met betrekking tot SSH-connectiviteit wanneer er problemen waren met SSH.

• Snowflake-doel - Snowpipe streamingprobleem

  Bij gebruik van Snowpipe Streaming als laadmethode, zou het laden van zeer grote tabellen een buitensporige hoeveelheid geheugen verbruiken, wat uiteindelijk zou leiden tot het crashen van de taak en het terechtkomen in een lus van laden en crashen.

• Microsoft SQL Server (op logboek gebaseerd) bron - Onduidelijke fout

  Bij het opgeven van een alternatieve back-upmap die de vereiste logboeken niet bevatte, stopte de taak met een onduidelijke melding in plaats van een waarschuwing te geven en door te gaan.

• Beveiliging

  De org.apache.logging.log4j:log4j-core component is geüpgraded naar 2.25.3 vanwege bekende kwetsbaarheden met de geïnstalleerde versies.

• SAP ODP-bron - filterprobleem

  Het SAP ODP-filter zou niet worden doorgegeven aan SAP wanneer gedefinieerd op een extractor die in alleen-CDC-modus draait.

• SAP ODATA-bron - filterprobleem

  Het definiëren van meer dan één filterbereik op één enkele kolom zou ertoe leiden dat de volledige lading mislukt.

Uitgebreide ondersteuning voor parallel laden

De Parallel Load-functie ondersteunt nu Databricks-doel.

Segmenten van gegevensverzamelingen parallel repliceren

DDL-geschiedenisbesturingstabel: Nieuw ondersteunde doelen

De attrep_ddl_history (DDL-geschiedenis) besturingstabel bevat een geschiedenis van DDL-wijzigingen die op de bron zijn opgetreden tijdens replicatie naar het doel.

De volgende doeleindpunten worden nu ondersteund:

• Google BigQuery
• Google Cloud Alloy DB for PostgreSQL
• Google Cloud SQL for PostgreSQL
• PostgreSQL (on-premises)

DDL-geschiedenis

Verbetering van de headerkolom “[header]__change_mask”

Bij gebruik van wijzigingstabellen met Parquet-indeling vult de headerkolom [header]__change_mask nu nullen aan de linkerkant aan (in plaats van de rechterkant), om aan te sluiten bij de little-endian-regel voor het opslaan van bytes in omgekeerde volgorde.

Betrokken doeleindpunten:

• Amazon S3

• Google-cloudopslag

Wijzigingstabellen

Nieuw ondersteunde gegevensbron- en doelversies

• Kafka-doel: 4.0.x

• IBM z/OS-bron: 3.2

Nieuwe ondersteunde stuurprogrammaversies

• Microsoft ODBC-stuurprogramma 18.5
• MySQL 8.4

Einde van de levensduur voor Microsoft Azure Database for MySQL en Microsoft Azure Database for PostgreSQL

Ondersteuning voor Microsoft Azure Database for MySQL en Microsoft Azure Database for PostgreSQL, die officieel door Microsoft zijn uitgefaseerd, is stopgezet.

Einde van gebruiksduur voor gegevensbron- en doelversies

• Databricks-doel: 10.4 LTS en 11.3 LTS

• MariaDB-bron en -doel: 10.5

• PostgreSQL-bron en -doel: 13.x

• MySQL bron en doel: 8.1

Einde van gebruiksduur voor stuurprogrammaversies

• Microsoft ODBC Stuurprogramma 18.3

Opgeloste problemen

• SAP (Application)-bron

  Taken die zijn geconfigureerd om een SAP (Applicatie)-bron te gebruiken met een backend-proces dat zelf-gecommitteerde gebeurtenissen genereerde, crashten soms na het opnieuw laden van een tabel.

• Microsoft Azure SQL Database-doel

  Bij homogene replicatie, bij het werken in de modus 'Transactional apply' of in de modus 'Batch Optimized Apply' die overschakelde naar de één-voor-één-modus, trad een '0 rows affected'-fout op wanneer een DATETIME-kolom deel uitmaakte van de primaire sleutel op het doel.

• Oracle-bron

  Oracle-taak crasht bij volledige lading wanneer een tabel een lange onbewerkte kolom bevat en de maximale LOB-grootte groter is dan of gelijk is aan 64K.

• SAP Extractor-bron - Leegmaaklus door CDC-annulering

  Tijdens het opnieuw laden van een tabel worden langlopende SAP CDC-taken soms geannuleerd. Dit zou resulteren in een herstelbare foutstatus waarbij het leegmaken nooit is voltooid.

• Beveiliging

  De volgende onderdelen zijn geüpgraded vanwege bekende kwetsbaarheden:

  • JRE geüpgraded van 17.0.17 naar 17.0.18

  • org.eclispe.jetty:jetty-io geüpgraded van 11.0.25 naar 11.0.26

  • org.apache.logging.log4j:log4j-core geüpgraded van 2.23.1 naar 2.25.3

• SAP ODP

  De volgende fout zou optreden tijdens CDC wanneer een filter was gedefinieerd voor een tabel:

  Invalid value for parameter "I_DIMNAME"

• SAP Extractor

  Delta zou niet meer werken als de taak werd gestopt en hervat terwijl een van de tabellen de status 'Laden' had.

• SaaS-applicatiebron (Workday-rapporten)

  • Tijdens de volledige lading, bij het verbinden met de S3-stagingmap, mislukte de taak soms met de volgende fout:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Het probleem is opgelost door een mechanisme voor meerdere nieuwe pogingen te implementeren voor het maken van verbinding met de S3-map wanneer de eerste verbinding mislukt.

  • Het CREATE SCHEMA-privilege zou vereist zijn, zelfs wanneer het schema al bestond.

• Microsoft SQL Server-doel

  Gegevensverlies trad soms op in LOB-kolommen en onjuiste gegevensreplicatie trad op tijdens CDC wanneer de LOB-grootte was ingesteld op onbeperkt in de taakinstellingen.

• PostgreSQL-doel

  Het niet laden van het CSV-bestand in de Net Changes-tabel zou een herstelbare fout retourneren (wat resulteert in een eindeloze lus) in plaats van over te schakelen naar één-voor-één toepassen.

• MySQL-naar-MySQL-replicatie

  Wanneer het schema van de bron en het doel zich in dezelfde MySQL-instantie bevonden en de replicatie een controletabel bevatte, crashte de taak soms met de foutmelding 'Process crashed with signal 11'.

• PostgreSQL-bron

  Tijdens CDC las de taak soms dezelfde WAL-vermeldingen steeds opnieuw, wat resulteerde in het niet vastleggen van gegevens.

• Microsoft SQL Server-bron

  • Er trad een fout op bij het decomprimeren van een transactielogboek dat versleutelde blokken bevatte. Het probleem werd opgelost door het logboek in dergelijke gevallen gecomprimeerd te laten.

  • Er werden overbodige fouten weergegeven bij het gebruik van een alternatieve back-upmap, vanwege een onnodige validatiecontrole op bestaande bestanden.

  • De taak crashte soms na de aanroep van DBCC Lookup.

Ondersteuning voor Kafka-doelconnector

De nieuwe versie van Data Movement gateway introduceert ondersteuning voor de Kafka-doelconnector. Repliceer moeiteloos uw gegevens van elke ondersteunde bron rechtstreeks naar on-premises Kafka of Amazon MSK, wat zorgt voor betrouwbare, fouttolerante overdrachten die uw apps flexibel en geïnformeerd houden. Of u nu gegevensconsistentie handhaaft tussen systemen of analyses voedt, deze connector levert replicatie met lage latentie en minimale configuratie.

Ga voor meer informatie naarKafka doel

Opgeloste problemen

• MySQL-bron naar MySQL-doel replicatietaak mislukt

  Bij het repliceren van een dataset van een MySQL-schema naar een ander MySQL-schema dat op dezelfde MySQL-serverinstantie draait, en inclusief een Control-tabel in de replicatie, zou CDC mislukken met de volgende fout:

  Process crashed with signal 11

• SAP Extractor-connector: Tabel opgeschort bij hervatten van een taak

  Het hervatten van een taak terwijl een tabel nog in volledige lading was, zorgde ervoor dat de extractietaak mislukte en de tabel werd opgeschort.

Opgeloste problemen

• PostgreSQL-doel - Onjuist foutgedrag

  Het niet laden van het CSV-bestand in de Qlik Net Changes-tabel zou een herstelbare fout retourneren (wat resulteert in een eindeloze lus) in plaats van over te schakelen naar één-voor-één toepassen.

• SaaS-applicatie Lite-connectoren

  Tijdens de volledige lading zouden taken soms mislukken met de volgende fout omdat de verbinding actief werd geweigerd door Amazon:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Het probleem werd opgelost door een herhaalmechanisme te implementeren met een maximum van drie herhalingen voordat de fout optreedt.

• Microsoft SQL Server-bron - Fout bij decomprimeren van logboek

  Er trad een fout op bij het decomprimeren van een transactielogboek dat versleutelde blokken bevatte. Het probleem werd opgelost door het logboek in dergelijke gevallen gecomprimeerd te laten.

• Netsuite Suite Analytics-bron - CDC-hervattingsfout

  Bij het hervatten van een CDC-taak na een wijziging in de bron, mislukte de taak soms met de volgende fout:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Microsoft SQL Server-bron - Valse fouten

  Er werden overbodige fouten weergegeven bij het gebruik van een alternatieve back-upmap, vanwege een onnodige validatiecontrole op bestaande bestanden.

Ondersteuning voor primaire sleutels in Databricks

Vanaf deze versie maakt de gegevenstaak een primaire sleutel aan in Databricks Delta-doeltabellen, met behulp van het trefwoord RELY. Hoewel Databricks geen primaire sleutelbeperkingen afdwingt, wordt aangenomen dat primaire sleutels met het trefwoord RELY geen duplicaten bevatten en kunnen ze daarom door Databricks worden gebruikt voor query-optimalisatie.

Vereisten:

• U moet een catalogus selecteren in de connectorinstellingen

• Databricks 14.2 of hoger

Verbeteringen in gegevenstypen

• IBM DB2 for iSeries-bron: Ondersteuning voor de volgende gegevenstypen is toegevoegd: BINARY-DECIMAL en ZONED-DECIMAL

• Databricks-doel: In eerdere versies werd BYTES toegewezen aan STRING. Vanaf deze versie wordt het toegewezen aan VARCHAR (lengte in bytes)

• Google Cloud BigQuery-doel: het JSON-subtype wordt nu ondersteund door het Google Cloud BigQuery-doel

PostgreSQL-gebaseerde bron: gepartitioneerde tabellen worden vanaf nu standaard ondersteund

Replicatie (volledige lading en CDC) van partities en subpartities (en sub-subpartities) van PostgreSQL-gebaseerde gegevensbronnen wordt nu standaard ondersteund.

Google Cloud BigQuery-doel: ondersteuning voor afhandeling van fouten bij het afkappen van gegevens

Het Google Cloud BigQuery-doel biedt nu ondersteuning voor afhandeling van fouten bij het afkappen van gegevens. Als er een fout optreedt bij het afkappen van gegevens, kunt u nu kiezen of u de record wilt loggen naar de uitzonderingscontroletabel (standaard), de record wilt negeren, de tabel wilt onderbreken of de taak wilt stoppen.

Nieuwe ondersteunde versies

De volgende versies van bron- en doeleindpunten worden nu ondersteund:

• MariaDB (on-premises) en Amazon RDS for MariaDB: 11.4

• MySQL (on-premises), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL en Microsoft Azure Database for MySQL - Flexible Server: 8.4

• PostgreSQL (on-premises), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL en Microsoft Azure Database for PostgreSQL - Flexible Server: 17.x

Nieuwe ondersteunde stuurprogrammaversies

IBM Data Server Client 11.5.9 wordt nu ondersteund voor de volgende DB2-bronnen:

• IBM DB2 voor LUW

• IBM DB2 voor z/OS

Einde van gebruiksduur voor bron- en stuurprogrammaversies

• Einde van gebruiksduur voor bronnen en doelen: ondersteuning voor Microsoft Azure Database for MySQL en Microsoft Azure Database for PostgreSQL, die officieel door Microsoft zijn uitgefaseerd, is stopgezet.

• Einde van gebruiksduur voor bronversies: Ondersteuning voor IBM DB2 for iSeries 7.2, die EOL is, is stopgezet.

• Einde van gebruiksduur voor stuurprogrammaversies: de ondersteuning voor IBM Data Server Client 11.5.6 is stopgezet.

Opgeloste problemen

• HSTS-ondersteuning

  HSTS was niet ingeschakeld op de Qlik Gegevensgateway - Gegevensverplaatsing machine.

• Data Movement gateway Installatie mislukt

  Installatie van Data Movement gateway op Redhat versie 9.7 zou mislukken met een foutmelding "OPENSSL_3.4.0 not found".

• PostgreSQL 15.7-bron - Geen gegevens vastgelegd tijdens CDC

  Tijdens CDC bleef de taak dezelfde WAL-vermeldingen lezen en dezelfde streampositie verwerken.

• SAP ODP - CDC-fout

  Nadat een CDC-taak was gestopt tijdens wijzigingen (bijvoorbeeld door een verbindingsprobleem), resulteerde het hervatten van de taak soms in rijlengtefouten.

• Ontbrekende logboeken bronverbinding

  Bronverbindingslogboeken zouden niet beschikbaar zijn na het uitvoeren van een taak die een Preview- of Lite-connector gebruikte.

• Monitoring - Ontbrekende informatie

  Het tabblad Monitor zou geen foutmelding weergeven wanneer een tabel werd onderbroken tijdens de CDC-fase van een Full Load- en CDC-taak.

Ondersteuning voor het maken van knowledgemarts in Databricks

Voorheen werden knowledgemarts alleen ondersteund in Snowflake. Nu kunt u ook knowledgdemarts en op bestanden gebaseerde knowledgemarts maken en uitvoeren in Databricks.

Opgeloste problemen:

Taken mislukten af en toe tijdens de voorbereiding met de volgende fout:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Opgeloste problemen:

Wanneer de interne eigenschap metadataschema werd gedefinieerd met speciale tekens, mislukte de taak tijdens CDC.

Opgeloste problemen:

• Productiewaarschuwingen in de regio EU-Centraal-1

  Klanten in de regio EU-Centraal-1 ontvingen frequente productiewaarschuwingen bij gebruik van Data Movement gateway.

• Jira-gegevensbron: tabel laadt niet

  Bij het repliceren van gegevens uit Jira bleef de tabel USERS bij de eerste uitvoering steken in de status Wachtrij, terwijl de andere tabellen succesvol werden geladen.

• Bewakingsprobleem

  CDC-bewaking ontbrak in de taakvoortgang.

• Oracle-naar-Oracle replicatie mislukt

  Oracle-naar-Oracle replicatietaken mislukten soms door een onjuiste berekening van de tekenreekslengte.

• Beveiliging

  De Java-servercomponent (sqlite-jdbc) is bijgewerkt naar 3.47.0 vanwege een bekend probleem met eerdere versies.

• Fout bij het starten van een taak

  Een "Geen licentie voor database" foutmelding kwam soms voor wanneer een taak voor de eerste keer werd gestart in de hervattingsmodus, zonder eerder te zijn gestart.

• Probleem met Salesforce-connector bij nieuwe gegevensverzamelingen

  Het toevoegen van nieuwe gegevensverzamelingen aan een tussenopslagtaak met een Salesforce-gegevensbron zorgde ervoor dat de taak mislukte met een foutmelding "Tabel bestaat niet".

Opgeloste problemen:

• Verbindingsfout opslagtaken

  Opslagtaken mislukten met een verbindingsfout waardoor de gateway opnieuw gestart moest worden.

• Installatie van DB2-stuurprogramma mislukt

  De installatie van het DB2-stuurprogramma mislukte wanneer de toegang tot de map /tmp beperkt was.

• Te lange verbindingstijd naar Qlik Cloud

  Na het upgraden naar Data Movement gateway versie 2024.11.65 duurde het buitensporig lang om verbinding te maken met Qlik Cloud. Het probleem werd opgelost door een annuleringstoken met een time-out van twee minuten toe te voegen.

• Service crasht na upgrade

  Na het upgraden naar Data Movement gateway 2024.11.67 crashte de service external-data-provider (gebruikt door Lite-connectoren) vanwege toegangsbeperkingen voor de map /tmp.

• Opgeloste beveiligingsproblemen

  De volgende onderdelen zijn vervangen door latere versies vanwege bekende kwetsbaarheden:

  • SQLite 3.49.1

  • Java runtime engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Knowledgemarts - Bestandsshare (SMB)

  Verbinding maken met SMB mislukte met de volgende fout:

  SmbConnection' object has no attribute 'docs_path'

• Voorbereidingsfout

  Wanneer een taak voor de tweede keer werd voorbereid en er een DDL optrad na de eerste voorbereiding, mislukte de voorbereidingsbewerking soms met de volgende fout (uittreksel):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Probleem met voorbeeldgegevens

  De optie Voorbeeldgegevens werkte niet bij gebruik van een Microsoft SQL Server-doel.

Verbeteringen:

• Ondersteuning toegevoegd voor Qlik Cloud Government DoD

  Deze versie voegt ondersteuning toe voor het gebruik van Data Movement gateway met Qlik Cloud Government DoD.

Verbeteringen:

• Bepalen wanneer het beleid voor afhandeling van tabelfouten wordt geactiveerd

  Een nieuwe instelling Aantal nieuwe pogingen voordat een tabelfout wordt geretourneerd is toegevoegd aan de instellingen voor tabelfoutafhandeling voor replicatie- en tussenopslagstaken. Voorheen, wanneer een tabelfout optrad, werd de tabel onderbroken of werd de taak gestopt (volgens de geselecteerde foutafhandelingsactie). Dit resulteerde er soms in dat tabellen werden onderbroken tijdens het onderhoudsvenster van de SaaS-applicatie. Met deze nieuwe optie is het nu mogelijk om te bepalen hoe vaak nieuwe pogingen voor de tabel moeten worden uitgevoerd voordat het beleid voor het afhandelen van tabelfouten geactiveerd wordt. Deze optie is vooral handig als uw SaaS-applicatie periodiek onderhoud ondergaat, aangezien u het standaard aantal nieuwe pogingen (3) kunt overschrijven, zodat het onderhoud kan worden voltooid zonder het beleid voor tabelfoutafhandeling te activeren.

  Tabelfoutafhandeling

  InformatieDeze optie wordt alleen weergegeven voor taken die zijn geconfigureerd met een Lite- of Standaard SaaS-applicatieconnector.

• Voorbeeldgegevens bevatten nu kolomgegevenstypen

  Bij het bekijken van een SQL-transformatie zullen de resultaten nu de kolomgegevenstypen bevatten.

  Voorbeeld van gegevens bekijken

Verbeteringen:

• Rollover en opschonen van replicatielogbestanden

  Er is een rollover- en opschoonbeleid geïmplementeerd voor de replicatielogbestanden op de gatewaymachine. Het rolloverbeleid voorkomt dat de logbestanden te groot worden (wat de prestaties en analyse beïnvloedt), terwijl het opschoonbeleid voorkomt dat ze zich opstapelen en te veel schijfruimte innemen.

Opgeloste problemen:

• Onjuiste tabelstatus na herladen

  Bij het herladen van een onderbroken tabel was de tabelstatus die in de monitor werd weergegeven soms onjuist.

• Time-out van voorbereidingsbewerking

  Bij het voorbereiden van een tussenopslagtaak na het toevoegen van een dataset, trad er soms een time-out op in de fase van het catalogiseren van bedrijfsmiddelen. Dit zou ertoe leiden dat de voorbereidingsbewerking mislukt.

Deze patch lost de volgende problemen op:

• Voorbereiding mislukt bij het toevoegen van een nieuwe tabel

  Bij het toevoegen van een nieuwe tabel aan een replicatietaak en klikken op Prepare, trad de volgende fout soms op:

  Prepare data task failed: Object reference not set to an instance of an object.

• Opgeloste kwetsbaarheden

  De volgende Data Movement gateway installatiebestanden zijn bijgewerkt naar versies zonder bekende kwetsbaarheden:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Deze patch lost de volgende problemen op:

• IBM DB2 for LUW-connectiviteitsfout

  Na het upgraden naar Data Movement gateway 2024.11.54, mislukte de verbinding met de database.

• Voorbereidingsfout

  Het voorbereiden van de gegevenstaak mislukte wanneer de taak was geconfigureerd met een SaaS-applicatiebron en een Google BigQuery-doel.

• Taken met Java-gebaseerde bronnen mislukken na upgrade

  Taken met Java-gebaseerde gegevensbronnen mislukten na het upgraden naar Data Movement gateway 2024.11.54.

• Snowflake-doel: Taken schakelden soms over naar de "één-voor-één"-modus tijdens CDC

  Tijdens CDC, wanneer een STRING-kolom in een brontabel 65536 bytes overschreed, werden de gegevens afgekapt in de doel-STRING-kolom. De taak schakelde dan over naar de "één-voor-één" toepassingsmodus.

• Beveiliging

  De java_file_factory.jar en arep-google-cloud.jar bestanden zijn geüpgraded naar versies zonder bekende kwetsbaarheden.

Deze patch lost de volgende problemen op:

• Volledige lading negeert taakinstellingen

  Tijdens volledige lading werden er voor de taak doeltabellen verwijdert en opnieuw aangemaakt, ook al was de taak geconfigureerd met Als de doeltabel al bestaat: negeren

• Onjuiste recordtelling

  Na het stoppen en voorbereiden van een bestaande replicatietaak met de replicatiemodus ingesteld op volledige lading en het toepassen van wijzigingen, nam het aantal verwerkte CDC-records toe, wat resulteerde in een onjuiste telling.

• JIRA-bronconnector

  Wanneer een nieuwe gegevensverzameling aan een bestaande taak werd toegevoegd, mislukte de taak met de volgende foutmelding:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Mislukte testverbinding

  Testverbinding met SAP en SQL-gebaseerde bronnen mislukt.

• Bijwerken

  Na het upgraden van de gateway werden taken soms niet hervat zoals verwacht.

Ondersteuning voor Snowpipe Streaming

Voorheen was Bulksgewijs laden de enige beschikbare methode voor het laden van gegevens in Snowflake. Klanten kunnen nu Bulksgewijs laden of Snowpipe Streaming gebruiken om hun gegevens in Snowflake te laden of te repliceren.

De voordelen van Snowpipe Streaming ten opzichte van Bulksgewijs laden zijn onder andere:

• Minder duur: aangezien Snowpipe Streaming geen gebruik maakt van het Snowflake-warehouse, zouden de bedrijfskosten aanzienlijk lager moeten zijn, hoewel dit afhangt van uw specifieke gebruikssituatie.
• Verminderde latentie: aangezien de gegevens rechtstreeks naar de doeltabellen worden gestreamd (in tegenstelling tot via fasering), zou de replicatie van de gegevensbron naar de doeltabellen sneller moeten zijn.

Opgeloste problemen

Deze patch lost de volgende problemen op:

• Microsoft Fabric: verbindingsprobleem

  Bij het bladeren naar databases met behulp van de Microsoft Fabric-connector, treedt de volgende fout op (uittreksel):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Het probleem werd veroorzaakt door een incompatibiliteit met het 12.9.0-preview.jar JDBC-stuurprogramma, dat was geïnstalleerd met het installatiehulpprogramma. Het hulpprogramma is nu bijgewerkt om een compatibel stuurprogramma te installeren.

• Fout bij opnieuw opstarten Java-server

  Na het upgraden van Data Movement gateway of het opnieuw opstarten van de Data Movement gateway-service, kon de Java-server (vereist voor Java-gebaseerde connectoren zoals SAP ODP) niet meer starten.

• Verbeterde beveiliging

  • End-to-end-encryptie werd niet wederzijds afgedwongen voor de registratie-instructies van nettoladingen die klant-gehoste logboeken terugstuurt van het Qlik Cloud Administration-activiteitencentrum.

  • De SQLite-versie die wordt gebruikt door Data Movement gateway is geüpgraded vanwege een kwetsbaarheid met versie 3.42.0(CVE-2023-7104).

  • Het bestand com.h2database dat wordt gebruikt door Data Movement gateway is geüpgraded als gevolg van een kwetsbaarheid met versie h2-2.1.212(CVE-2022-45868).

Deze patch lost het volgende probleem op bij het verplaatsen van gegevens vanuit een IBM DB2 for iSeries-gegevensbron:

Bij gebruik van iSeries Access ODBC Driver 07.01.026 of later, mislukte de taak tijdens CDC met een foutmelding "Error parsing".

Standaard

OAuth-ondersteuning voor Databricks-doel

Klanten kunnen nu verbinding maken met het Databricks-doel door gebruik te maken van OAuth-verificatie, de methode die Databricks aanbeveelt voor accountverificatie. De verificatie met persoonlijk toegangstoken blijft voorlopig beschikbaar voor achterwaartse compatibiliteit, maar wordt als minder veilig beschouwd dan OAuth.

Opgeloste problemen

• Probleem met parallel laden

  Wanneer een gegevensverzameling werd gedefinieerd met parallel laden en volledige lading vervolgens werd uitgeschakeld, voerde de taak nog steeds een volledige lading van die gegevensverzameling uit, zelfs wanneer deze werd hervat vanaf het tijdstempel.

2024.11.24

Patch

Deze patch lost de volgende problemen op:

• SAP ODP-bron: fout bij genereren metagegevens

  Het genereren van metadata zou niet voltooid kunnen worden voor tabellen met een punt in hun naam (bijv. Afschrijvingsgebied).

• Taakherstel

  Taken herstelden slechts één keer als ze tijdens een volledige lading mislukten vanwege een omgevingsprobleem. Nu zullen ze het aantal keren herstellen dat geconfigureerd is onder Instellingen > Foutafhandeling > Omgevingsfouten > Maximumaantal pogingen.

Verbeteringen

PostgreSQL failover-certificering

Werken met een secundaire database na failover is gecertificeerd met de volgende gegevensbronnen (die allemaal toegankelijk zijn met de PostgreSQL-bronconnector):

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (on-premises)

Zie ook: Failover instellen

Prestatieverbetering van MySQL

In eerdere versies, wanneer u een MySQL-gebaseerd broneindpunt gebruikte in een taak die geconfigureerd was met beperkte LOB-grootte, gebruikte Data Movement gateway bron opzoeken om de LOB-kolommen te lezen. Nu zal Data Movement gateway de LOB-kolommen rechtstreeks uit binlog lezen, waardoor de prestaties verbeteren.

Wijzigingen van de toewijzing van gegevenstypen

Toewijzingen naar LOB-kolommen zijn gewijzigd voor het Amazon Redshift- en Snowflake-doel.

Amazon Redshift-doel

• BLOB wordt nu toegewezen aan VARBYTE(16777216)
• NCLOB is nu toegewezen aan NVARCHAR(65535)
• CLOB is nu toegewezen aan NVARCHAR(65535)

Snowflake-doel

• BLOB is nu toegewezen aan BINARY (8388608)
• NCLOB is nu toegewezen aan NVARCHAR(16777216)
• CLOB is nu toegewezen aan VARCHAR(16777216)

Nieuwe ondersteunde gegevenstypen

• IBM DB2 for LUW-bron

  Ondersteunt nu het gegevenstype BOOLEAN (vanaf DB2 for LUW 11.5).

• Google BigQuery-doel

  Ondersteunt nu het gegevenstype BIGNUMERIC.

Uitgebreide doelondersteuning voor de DDL geschiedenis-controletabel

In vorige versies van Data Movement gateway werd de DDL geschiedenis-controletabel alleen ondersteund met Databricks- en Microsoft Fabric-doelen. Deze versie biedt ondersteuning voor de volgende extra doelconnectoren:

• Amazon Redshift
• Amazon S3
• Google-cloudopslag
• Snowflake

Zie ook: DDL-geschiedenis

Ondersteuning voor het gebruik van een niet-superuser met Google Cloud SQL voor PostgreSQL

Vanaf deze versie is het mogelijk om een account zonder superuser op te geven bij het repliceren vanuit Google Cloud SQL for PostgreSQL.

Zie ook: Een account gebruiken zonder de rol van superuser

Nieuwe gecertificeerde platformen en stuurprogrammaversies

• Databricks-doel

  15.4 LTS

• Oracle-bron en -doel

  23ai

  Informatie

  • Oracle 23ai-bron en -doel zijn alleen gecertificeerd met Oracle Standard Edition.
  • Oracle 23ai-bron wordt alleen ondersteund met TDE-versleuteling.

• Update voor Databricks-stuurprogramma

  Bij het verplaatsen van gegevens naar Databricks is nu Simba Spark ODBC Driver 2.8.2 of later vereist. Klanten moeten het hulpprogramma voor de installatie van het stuurprogramma uitvoeren of het stuurprogramma handmatig installeren.

  Zie ook: Setup stuurprogramma

Beëindigde ondersteuning

De volgende databaseversies worden niet meer ondersteund:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Opgeloste problemen

• SAP HANA (Database) connector: maken van __CT tabel is mislukt

  Wanneer de replicatiemodus was ingesteld op Wijzigingen opslaan en de tabel een .INCLUDE kolom bevatte, kon de taak de __CT-tabel niet in het doel aanmaken.

• Tussenopslagtaak: misleidende fout

  De taak mislukte en de foutmelding "Geen licentie voor database" verscheen wanneer de geheime sleutel van Azure Data Lake Storage verlopen was.

• Amazon S3-doelconnector: oude bestanden werden niet verwijderd

  Oudere bestanden werden niet verwijderd bij het uitvoeren van een nieuwe taak. Dit kan ertoe leiden dat de taak mislukt vanwege dubbele records of vanwege niet-overeenkomende records.

   

• SAP HANA (Database) bron: verbinding mislukt vanwege een door de gebruiker gedefinieerde tabel

  Een foutmelding "functie niet ondersteund: kan door gebruiker gedefinieerd type niet selecteren" trad op bij het selecteren van een door gebruiker gedefinieerde tabel voor replicatie. Het probleem is opgelost door door de gebruiker gedefinieerde tabellen (die niet worden ondersteund) uit te sluiten van de tabelselectie.

• Microsoft Fabric-doelconnector: herstelfout

  Een fout "Conversie mislukt" trad soms op na het herstellen van een verbindingsfout die optrad tijdens CDC.

• Databricks-doelconnector: CDC-fout bij werken zonder LOB-ondersteuning

  Bij het uitschakelen van LOB-ondersteuning gaf CDC een foutmelding "niet genoeg gegevenskolommen" wanneer geprobeerd werd de wijziging in de __ct tabel in te voegen. Deze fout treedt op wanneer u in de modus "Wijzigingen opslaan" werkt, wat de enige beschikbare modus voor tussenopslagtaken is.

• MySQL-bron naar Snowflake-doel: CDC-fout

  Tijdens CDC, bij het repliceren van een "NOT NULL" kolom met mediumtext gegevenstype, mislukte de taak soms met de volgende fout:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Microsoft Fabric-doelconnector: afkapfout

  Bij het invoegen van een VARCHAR kolom trad de volgende afkapfout op:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Het probleem werd opgelost door de VARCHAR kolom in Microsoft Fabric te vermenigvuldigen.

Nieuwe kenmerken

Ondersteuning voor het opgeven van extra ODBC- en JDBC-verbindingseigenschappen is toegevoegd aan de Snowflake-doelconnector

Zie voor meer informatie Extra verbindingseigenschappen.

Opgeloste problemen

• Metagegevens worden niet bijgewerkt

  Wanneer een primaire sleutel voor de bron werd gewijzigd, werden de doelmetagegevens niet bijgewerkt na een herlading.

• Amazon S3-doel

  Bij het aanmaken en uitvoeren van een nieuwe taak werden bestanden die overgebleven waren van eerdere taken niet verwijderd van de locatie van de tabellen.

• SAP HANA-bron

  Als u verbinding probeert te maken met een SAP HANA-bron met behulp van logboekgebaseerde CDC, leidt dit tot de volgende fout:

  Cannot select user-defined type

2024.5.41

Patch

Deze patch lost de volgende problemen op:

• Amazon S3-, Google Cloud Storage- en Qlik Cloud-doelen: lege tekenreeksen tussen aanhalingstekens plaatsen

  Lege tekenreeksen worden nu tussen aanhalingstekens geplaatst in het CSV‑bestand om ze te onderscheiden van NULL-waarden.

• Databricks doel: niet-overeenkomende gegevens

  In bepaalde scenario's komen de bron- en doelgegevens niet met elkaar overeen.

• Databricks-doel: CDC-storing veroorzaakt door het uitschakelen van LOB-ondersteuning

  Door het uitschakelen van LOB-ondersteuning in de taak voor tussenopslag faalt CDC met de volgende fout (uittreksel):

  Cannot write to '<name>__ct', not enough data columns

• Microsoft Fabric-doel: fout in verbinding resulteert in CDC-fout

  Het toepassen van wijzigingen op het doel na het herstellen van een verbindingsfout mislukte soms met de foutmelding "Conversie mislukt".

2024.5.35

Patch

Deze patch lost de volgende problemen op:

• Microsoft Fabric-doel: probleem met conversie van gegevenstype

  Tijdens een opslagtaak werd het gegevenstype NVARCHAR(3500) ten onrechte geconverteerd naar VARCHAR(10500) in plaats van VARCHAR(8000) (het toegestane maximum), wat resulteerde in een fout.

• IBM DB2 for LUW-bron: ondersteuning voor gegevenstype GRAPHIC met codepagina 941 (Japans)

  Wanneer de gegevenstabel een GRAPHIC gegevenstype met codepagina 941 (Japans) bevatte, trad de volgende fout op (uittreksel):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Patch

Na het bijwerken van de gebruikersnaam en het wachtwoord in de Workday Reports-bronconnector en het opnieuw laden van de taak, verscheen er een foutmelding "Ongeldige gebruikersnaam of wachtwoord", ook al waren de gegevens correct. Dit probleem is nu opgelost.

Patch

Deze patch lost de volgende problemen op:

Beveiliging

Oracle Java Standard Edition 17.0.8, die wordt geleverd met Data Movement gateway, heeft verschillende bekende kwetsbaarheden. Deze patch vervangt 17.0.8 door 17.0.12, waarmee de problemen zijn opgelost.

Salesforce-bron

Tijdens CDC worden er voor elke wijziging meerdere INSERT-bewerkingen toegevoegd aan de associated _ct tabel (in plaats van slechts één). Hierdoor neemt het aantal records in de _ct tabel aanzienlijk toe.

Standaard

Patch

Deze patch lost de volgende problemen op:

Kwetsbaarheid Snowflake JDBC Driver

Op 14 augustus 2024 heeft Snowflake een beveiligingswaarschuwing uitgegeven over Snowflake JDBC-drivers >= 3.2.6 & <= 3.19.1, waarvan sommige werden gebruikt met eerdere versies van Data Movement gateway. De kwetsbaarheid is door middel van een patch verholpen in Snowflake JDBC Driver 3.20, de versie die nu wordt geïnstalleerd met het installatieprogramma van het stuurprogramma. Bestaande klanten moeten hun stuurprogramma zo snel mogelijk upgraden door de procedure Stuurprogramma bijwerken te volgen die wordt beschreven in Stuurprogramma instellen.

Oracle-bron

• Bij het gebruik van een redo-gebeurtenis 11.22 ontstonden er ontbrekende INSERT's bij het verwerken van meerdere INSERT's op een gecomprimeerde pagina die voorafgaand aan de INSERT's niet was gecomprimeerd.
• In zeldzame scenario's zou het onjuist parseren van DELETE-evenementen in de redo-logboekrecord een waarschuwing "De DELETE-gebeurtenis van het redo-logboek bevat een onbekende structuur" genereren, gevolgd door verschillende problemen.

SAP Extractor-bron

De instructies in het YAML-bestand zijn bijgewerkt om de juiste versie van de SAP Java Connector weer te geven.

Snowflake-doel

Bij gebruik van de Data Movement gateway om verbinding te maken met een Snowflake-doel via een proxy, mislukt de verbinding met de volgende fout:

500 Failed to connect to Data Movement Gateway

Patch

Patch

Opgeloste problemen

• Oracle-bron

  • Gemiste INSERT's kwamen soms voor in meerdere INSERT-bewerkingen bij gebruik van de redo-gebeurtenis 11.22.

  • Na het upgraden van Oracle 19g naar de juli 2024 patch, werden UPDATE -bewerkingen soms niet vastgelegd en werd de volgende waarschuwing getoond:

    A compressed row cannot be parsed

• Snowflake-doel

  Wanneer de taakinstellingen waren geconfigureerd om het schema van de controletabel te maken, mislukte de taak met de volgende fout:

  Failed to delete directory

• Gepland CDC

  Wanneer een taak was gepland om periodiek te worden uitgevoerd, mislukte deze soms met de volgende foutmelding:

  The task stopped abnormally

• Vastgelopen transformatie- en opslagtaken

  Transformatie- en opslagtaken bleven soms buitensporig lang in de status In wachtrij staan.

• Metagegevensmanager

  Taken mislukten bij gebruik van de use_manipulation_pk_for_apply functievlag door replicatie met wijzigingen opslaan.

• Langdurige time-out resulteert in problemen door SaaS-applicatiebronnen

  De S3 time-out is verlengd naar 6 uur om problemen als gevolg van langdurige time-outs te voorkomen, zoals het verliezen van het token om de bestanden te downloaden.

Standaard

Verbeteringen

• Sleutelpaar-authenticatie is toegevoegd aan de Snowflake-doelconnector.

  Sleutel/paar biedt een robuustere verificatiemethode dan gebruiker/wachtwoord om met uw serviceaccounts verbinding te maken met Snowflake. Deze aanpak wordt aanbevolen voor werklasten zoals gegevensladingen (replicatie- of tussenopslagtaken) en transformaties.

• Ondersteuning voor het parallel ophalen van metagegevens uit meerdere tabellen

  In vorige versies mislukte het vernieuwen van de metagegevens van een bestaande gegevensverzameling of een nieuw toegevoegde gegevensverzameling soms met een foutmelding. Deze verbetering zorgt ervoor dat metagegevens zonder problemen tegelijkertijd uit meerdere tabellen kunnen worden opgehaald.

Opgeloste problemen

• Gegevenstype DECIMAL verkeerd toegewezen aan STRING in Google BigQuery

  Wanneer een brontabel een kolom met het gegevenstype DECIMAL bevatte - bijvoorbeeld DECIMAL (38, 20) - mislukte het voorbereiden van de opslagtaak in Google BigQuery met de volgende fout (fragment):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Het probleem is opgelost door het brongegevenstype DECIMAL te koppelen aan DECIMAL in Google BigQuery

• Fout bij schemaregel

  Na het aanbrengen van wijzigingen in een bestaande schemaregel in een gegevenstaak, trad de volgende fout op:

  QRI SQL error not implemented

• Ontbrekende /QTQVC/QRI-tabel van het SAP-transport

  Bij het voorbereiden van een tussenopslagstaak die verbinding maakt met een SAP Application-bron, wordt de taak met succes voltooid, maar wordt de volgende fout gerapporteerd in het repsrv.log logboekbestand:

  Invalid object name 'hk1./QTQVC/QRI'

Standaard

Verbeteringen

• Ondersteuning voor wijzigingen van metagegevens in replicatie- en tussenopslagtaken in een datalake zonder dat alle tabellen verwijderd en opnieuw gemaakt hoeven te worden

  Als er eerder een wijziging van de metagegevens plaatsvond, werden alle tabellen verwijderd en opnieuw gemaakt, zelfs als de wijziging geen invloed had op alle tabellen. Nu worden alleen de gewijzigde tabellen verwijderd en opnieuw gemaakt, waardoor de prestaties worden verbeterd.

• Ondersteuning voor automatisch laden van nieuwe tabellen in replicatietaken

  Tabellen die zijn gemaakt in de brondatabase tijdens de replicatiegegevenstaak die overeenkomen met het opgenomen patroon, worden nu automatisch tijdens CDC (wijzigingsgegevens vastleggen) opgenomen

• Verbeteringen Microsoft SQL Server (MS-CDC)-bron

  • Behoud van tijdstempel en transactie-id

    Voorheen zorgde Qlik Talend Data Integration er bij het lezen van meerdere transacties vanuit Microsoft SQL Server (MS-CDC) voor dat alleen de transactie-id en het tijdstempel van de eerste transactie werden behouden. Hierdoor leek het in het doel alsof de records deel uitmaakten van een afzonderlijke transactie. Vanaf nu behoudt Qlik Talend Data Integration de originele transactie-id en tijdstempel voor elk afzonderlijk record. Dit is praktisch voor klanten die de koptekstkolommen voor transactie-id en tijdstempel willen toepassen in wijzigingstabellen.

  • Volgorde van bytes van transactie-id

    Eerder werden de bytes in de transactie-id in omgekeerde volgorde gecodeerd. Vanaf deze versie worden de bytes in de juiste volgorde gecodeerd. Klanten die liever het bestaande gedrag behouden, kunnen dit doen met behulp van interne parameters. Neem contact op met Qlik Support voor meer informatie.

• Ondersteuning voor het cachen van SHA-2 pluggable authenticatie met MySQL

  Qlik Talend Data Integration biedt nu ondersteuning voor het cachen van SHA-2 pluggable authenticatie (caching_sha2_password) bij het werken met MySQL-bronnen of -doelen, zowel on-premises als in de cloud. In eerdere versies werd alleen systeemeigen pluggable authenticatie (mysql_native_password) ondersteund.

• Wijzigingen van de toewijzing van Amazon Redshift-gegevenstypen

  BYTES- en BLOB-gegevenstypen worden nu toegewezen aan VARBYTE op Amazon Redshift in plaats van VARCHAR.

Nieuwe gecertificeerde platformen, eindpunten en versies

• Gegevensbronnen.

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• Doelplatformen

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Stuurprogramma's

  • SQL Server ODBC Driver 18.3

Beëindigde ondersteuning

De volgende databaseversies worden niet meer ondersteund:

• Alle Oracle-versies en -stuurprogramma's die ouder zijn dan Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

Opgeloste problemen

• SAP (Application)-bron

  Als een vastgelegde documentwijziging van een cluster alle rijen van de vastgelegde tabellen verwijdert, kregen gebruikers te maken met een ontbrekende DELETE-bewerking en onnodige bevestigingsberichten.

• Beveiligingsproblemen

  Microsoft Authentication Library for Java (MSAL4J) en Bouncy Castle zijn bijgewerkt naar versies zonder bekende beveiligingsproblemen.

• Snowflake-doel

  • De taak mislukte soms bij gebruik van interne opslag van Snowflake.
  • De taak mislukte als de naam van het doelschema in Japanse Katakana was.

• Oracle-bron

  Als een taak met een Oracle-bron werd hervat, wachtte de taak op een verwijderd gearchiveerd redo-logboek in plaats van te mislukken met de juiste fout.

Standaard

Verbeteringen

• Snowflake-metagegevensschema

  Vanaf deze versie wordt het Snowflake-metagegevensschema (voor tussentijds opgeslagen bestanden) gemaakt als dit nog niet bestaat.

Opgeloste problemen

• Nadat een wijziging was toegepast op de regel Naam gegevensverzameling wijzigen (die de tabelnaam heeft samengevoegd met de schemanaam) en een weergave is toegevoegd aan de tussenopslagtaak, mislukte de Prepare-bewerking met de volgende fout:

  QRI SQL error not implemented.

• Het component java_file_factory is bijgewerkt naar een versie zonder bekende beveiligingsproblemen.
• org.postgresql:postgresql is bijgewerkt naar een versie zonder bekende beveiligingsproblemen.
• Bij het verplaatsen van gegevens naar SQL Server, mislukte de Prepare-bewerking als indexnamen langer dan 128 tekens waren. Het probleem is verholpen door de logica te wijzigen voor het maken van kortere indexnamen.

• Bij het verplaatsen van gegevens vanuit SQL Sever veroorzaakte een ontbrekende kolomnaam in de tabeldefinities een oneindige meldingsloop in het bestand repsrv.log, met het volgende bericht:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standaard

Verbeteringen

• Metagegevens parallel ophalen

  Er is ondersteuning toegevoegd zodat de metagegevens voor meerdere tabellen tegelijkertijd worden opgehaald.

• Verbeterde monitoringprestaties

  De monitoringgegevens voor de tussenopslag- en replicatietaken worden nu elke 10 seconden bijgewerkt (in plaats van elke 60 seconden) voor een nauwkeurigere indicatie van hun huidige status.

• Nieuw ondersteunde regio

  Japan wordt nu ondersteund als een tenantregio voor Qlik Cloud.

Opgeloste problemen

• De interval voor nieuwe poging tussen de gegevensgateway en Qlik Cloud bleef regelmatig toenemen, maar werd nooit gereset (tenzij de service opnieuw werd gestart).
• Bij het verplaatsen van gegevens vanuit een SaaS-applicatiebron ontstond bij sommige tabellen een foutstatus tijdens het opnieuw laden.

• Taken met een MySQL-bron mislukten soms met de volgende fout tijdens CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Eerder werden auditgebeurtenissen van CDC alleen geregistreerd voor tussenopslagtaken. Nu worden ze ook geregistreerd voor replicatietaken.
• Bij het verplaatsen van gegevens van SQL Server (MS-CDC) duurde het soms enkele uren voordat taken met veel tabellen werden gestart.

• Als de brontabel CLOB-kolommen bevatte en de waarde 'LOB-grootte beperken' 10240 overschreed, mislukte de replicatie naar Snowflake met de volgende fout:

  Invalid character length: 0

Standaard

Ondersteuning voor het installeren van Data Movement gateway op Red Hat 9.x

Klanten kunnen nu Data Movement gateway installeren op Red Hat 9.x of een andere overeenkomende en compatibele Linux-distributie.

Data Movement gateway installeren

Wijzigingen van de opdrachten van de Data Movement gateway-service

De opdrachten voor het stoppen, starten en controleren van de status van de Data Movement gateway-service zijn gewijzigd.

Service-instructies Data Movement gateway

Wijzigingen van de toewijzing van Amazon Redshift-gegevenstypen

• Het BOOLEAN-gegevenstype, dat is toegewezen aan VARCHAR(1) in Amazon Redshift, wordt nu toegewezen aan BOOLEAN.
• De BYTES- en BLOB‑gegevenstypen, die zijn toegewezen aan VARCHAR(1) in Amazon Redshift, worden nu toegewezen aan VARBINARY (length).

Nieuw ondersteunde databases, databaseversies en stuurprogrammaversies

Deze sectie toont de nieuwe ondersteunde databases, databaseversies en stuurprogrammaversies.

• Nieuwe ondersteunde versies en edities van gegevensbronnen

  De volgende versies van gegevensbronnen worden nu ondersteund:

  • Azure Database for MySQL - Flexible Server (ondersteund via de MySQL-bronconnector)
  • MariaDB 10.4 - 10.11 (voorheen 10.4 en 10.5)

• Nieuwe ondersteunde versies en edities van doelgegevensplatformen

  De volgende versies van gegevensdoelen worden nu ondersteund:

  • Azure Database for MySQL - Flexible Server (ondersteund via de MySQL-doelconnector)
  • Databricks: Databricks 13.3 LTS en Serverless SQL Warehouse

• Nieuwe ondersteunde SAP HANA stuurprogrammaversie

  Klanten met een SAP HANA-bron die Data Movement gateway willen installeren op Red Hat Linux 9.x, moeten de SAP HANA ODBC 64-bits stuurprogrammaversie versie 2.0.19 of hoger installeren.

Databaseversies die niet meer worden ondersteund

Deze sectie biedt informatie over databaseversies waarvoor de ondersteuning eindigt.

• De volgende gegevensbronversies worden niet meer ondersteund:

  • Oracle 11.x
  • SAP HANA 1.0

Opgeloste problemen

• Als Data Movement gateway werd geïnstalleerd zonder het opgeven van een serverwachtwoord, konden de tenant- en proxy-URL's met een opdracht worden geconfigureerd.
• Het verplaatsen van een Salesforce (SaaS application) gegevensbron zorgde voor een groter aantal redundante waarschuwingen, wat van invloed was op de laadprestaties van gegevens.
• Als er bij het ophalen van wijzigingen voor een gegevensbron van een SaaS-applicatie een fout optrad bij het ophalen van wijzigingen voor één van de tabellen, werd die tabel onderbroken en verwijderd uit de pijplijn. Als er nu een fout optreedt, probeert de taak tot drie keer om de wijzigingen op te halen voordat de tabel wordt onderbroken.

Standaard

Nieuwe datalakedoelen voor Replication-projecten

We blijven de ondersteunde doelen voor het Replication-project in Qlik Cloud Data Integration uitbreiden. Naast Amazon S3, kunt u nu kiezen uit Azure Data Lake Storage (ADLS) en Google Cloud Storage (GCS) voor leveringen in een datalake in de bestandsindeling Parquet, JSON of CSV.

Opgeloste problemen:

• Connector voor IBM DB2 for LUW-bron

  De verbinding met IBM DB2 for LUW werd verbroken als de grootte van de bestanden die zijn vereist voor de verbinding (zoals het SSL-clientcertificaat en het keystore-bestand) groter was dan 4 KB.

• Stuurprogramma voor IBM DB2 for LUW en IBM DB2 for z/OS-bronconnectors

  De installatie van het DB2-stuurprogramma mislukte bij gebruik van het hulpprogramma voor installatie van het stuurprogramma.

Standaard

Ondersteuning voor Microsoft Fabric als een gegevenspijplijndoel

Microsoft Fabric wordt toegevoegd aan de steeds langer wordende lijst met datawarehouses die als doel in gegevenspijplijnprojecten kunnen worden gebruikt.

Opgeloste problemen:

Heeft de Snowflake-besturingsprogrammaversie bijgewerkt in het hulpprogramma voor installatie van stuurprogramma's.

Standaard

Uitgebreide ondersteuning voor privéverbindingen

U kunt een privéverbinding gebruiken om te garanderen dat uw gegevensverkeer veilig en compliant blijft. Dit vereenvoudigt zowel het netwerkbeheer als de beveiliging van uw VPC (virtuele privécloud) zonder dat u binnenkomende firewallpoorten moet openen, een proxy voor apparaten moet instellen of routeringstabellen nodig hebt. Qlik Cloud Gegevensintegratie biedt al ondersteuning voor privéverbindingen naar doelen van Snowflake-, Microsoft SQL Server- en Amazon S3-gegevenspijplijnen. Met deze release kunnen klanten ook privéverbindingen gebruiken als ze gegevens verplaatsen naar Databricks, Microsoft Azure Synapse, Google BigQuery en Amazon Redshift.

Gegevensbronnen op basis van PostgreSQL

• Ondersteuning van alle gegevensbronnen op basis van PostgreSQL - Multirange-gegevenstypen: De volgende multirange-gegevenstypen worden nu ondersteund met alle gegevensbronnen op basis van PostgreSQL (on-premises en de cloud).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud for PostgreSQL-gegevensbron - Ondersteuning van rol niet-beheerders: De gebruiker die is opgegeven in de PostgreSQL-connector heeft niet langer de beheerdersrol nodig om gegevens te verplaatsen van een AWS Aurora Cloud for PostgreSQL-gegevensbron. Dit is met name handig voor organisaties met een bedrijfsveiligheidsbeleid waarbij beheerdersmachtigingen niet kunnen worden toegewezen aan niet-gemachtigde gebruikers.

Microsoft Azure SQL-gegevensbron (MS-CDC): Ondersteuning voor geo-replication

Klanten die gegevens verplaatsen van een Microsoft Azure SQL-gegevensbron (MS-CDC) kunnen vanaf nu gebruikmaken van een Geo Replica-database.

Oracle gegevensbron: Ondersteuning voor HSM (Hardware Security Module)

Qlik Cloud Gegevensintegratie biedt nu ondersteuning voor het lezen van gegevens van door Oracle versleutelde tabelruimten en versleutelde kolommen tijdens CDC.

Ondersteuning voor nieuwe regio's

Qlik Cloud Gegevensintegratie biedt nu ondersteuning voor tenants in Duitsland en het Verenigd Koninkrijk.

Nieuwe ondersteunde versies en software van derden

Deze sectie toont nieuwe ondersteunde database- en stuurprogrammaversies.

• Nieuwe ondersteunde gegevensbronversies. De volgende versies van gegevensbronnen worden nu ondersteund:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (bij gebruik van IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Nieuwe ondersteunde versies van doelgegevensplatforms De volgende versies van gegevensdoelen worden nu ondersteund:

  • Databricks (cloudopslag): Databricks 12.2 LTS en Databricks SQL Serverless

• Stuurprogrammaversies. De volgende versies van ODBC-stuurprogramma's worden nu ondersteund:

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ en IBM DB2 for LUW
  • Simba ODBC-stuurprogramma 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64-bits 8.0.32

Stuurprogramma Microsoft SQL Server - Vereiste upgrade

Klanten die gegevens verplaatsen naar of vanuit Microsoft SQL Server moeten hun SQL Server ODBC-stuurprogrammaversie bijwerken naar 18.x of later. Let op: door SQL Server ODBC Driver 17.x te blijven gebruiken, kunnen er gegevensfouten ontstaan. Het stuurprogramma kan handmatig worden bijgewerkt of met behulp van het stuurprogramma-installatieprogramma. Raadpleeg Installatie stuurprogramma voor instructies.

Databaseversies die niet meer worden ondersteund

Deze sectie biedt informatie over databaseversies waarvoor de ondersteuning eindigt.

• Gegevensbronversies die niet meer worden ondersteund. De volgende gegevensbronversies worden niet meer ondersteund:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versies van doelgegevensplatforms die niet meer worden ondersteund. De volgende gegevensdoelversies worden niet meer ondersteund:

  • Databricks 9.1 LTS

2022.11.74

Standaard

15 augustus 2023

Ondersteuning van replication

We volgen een 'cloud-first'-aanpak om snelle innovaties en toepassingen mogelijk te maken. Dit betekent niet dat we 'cloud-only' zijn. Als onderdeel van onze voortdurende inzet om de langetermijnwaarde voor onze klanten te verbeteren, zijn we verheugd om onze nieuwe release aan te kondigen van een nieuwe gebruikscase voor Replication voor het maken van gegevensprojecten. De nieuwe gebruikscase voor Replication is een aanvulling op de bestaande mogelijkheid om gegevenspijplijnen te maken voor al uw behoeften voor gegevensintegratie, zoals het moderniseren van uw datawarehouse.

Het replicationproject ondersteunt realtime replication van ondersteunde gegevensbronnen naar een ondersteund doel.

Vanaf deze laatste release is Microsoft SQL Server het eerste doel dat het realtime repliceren van gegevens ondersteunt. Naast dat Microsoft SQL Server on-premises ondersteuning biedt, worden de volgende cloudproviders ook ondersteund:

• On-premises
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance en Microsoft Azure Database)

Microsoft Azure Synapse Analytics-doel - vereiste upgrade van stuurprogramma

Klanten die gegevens verplaatsen naar Microsoft Azure Synapse Analytics moeten hun SQL Server ODBC Driver-versie bijwerken naar 18.x of later. Let op: door SQL Server ODBC Driver 17.x te blijven gebruiken, kunnen er gegevensfouten ontstaan. Het stuurprogramma kan handmatig worden bijgewerkt of met behulp van het stuurprogramma-installatieprogramma. Raadpleeg Installatie stuurprogramma voor instructies.

Nieuwe optie 'Gegevens laden van bron' voor SaaS-applicatiebronnen

Een nieuwe optie Gegevens laden vanuit bron is geïntroduceerd, waarmee klanten hun gegevens direct vanuit de bron kunnen lezen met behulp van volledig laden, in plaats van gecachete gegevens te moeten gebruiken.

Voor meer informatie over deze optie en gebruikstoepassingen, gaat u naar Instellingen voor tussenopslag.

Bijgewerkte CA-certificaten

Data Movement gateway 2022.11.74 bevat bijgewerkte CA-certificaten die nodig zijn voor verificatie van de Qlik Cloud-tenant. De bijgewerkte CA-certificaten bieden tevens ondersteuning voor de regio's Ierland en Frankfurt. Daarom moeten klanten met Qlik Cloud-tenants in Ierland of Frankfurt die Qlik Cloud Gegevensintegratie willen gebruiken, upgraden naar deze versie.

Opgeloste probleem

Taken waarmee gegevens van een Oracle-bron tijdelijk worden opgeslagen mislukken soms als een brede tabel niet-gebruikte of niet-ondersteunde kolommen bevat of LOB-kolommen bevat die niet zijn gerepliceerd.

2022.11.70

Standaard

28 juni 2023

Verbeterd hulpprogamma voor de installatie van stuurprogramma's voor SAP-clients

In voorgaande versies moesten klanten de opdracht "source arep_login.sh" uitvoeren bij de installatie van SAP-clients. Vanaf deze versie is het niet meer nodig om deze opdracht uit te voeren.

Bijgewerkte CA-certificaten

Deze versie bevat bijgewerkte CA-certificaten die nodig zijn voor verificatie van de Qlik Cloud-tenant.

Opgeloste problemen

• Als een replicatietaak in Data Movement gateway is mislukt en automatisch is hersteld, wordt de herstelde staat niet gecommuniceerd met de tijdelijke gegevensasset in Qlik Cloud.

• End-to-endversleuteling voor de Data Movement gateway wordt niet standaard ingeschakeld en wordt aangestuurd door runtimevlaggen.

2022.11.63

Standaard

2 mei 2023

Installatieprogramma voor stuurprogramma's

In deze versie wordt een installatieprogramma voor stuurprogramma's geïntroduceerd waardoor stuurprogramma's niet meer handmatig hoeven te worden geïnstalleerd en geconfigureerd. Het nieuwe hulpprogramma verkort het installatieproces en vermindert de kans op menselijke fouten drastisch. Zodra het hulpprogramma wordt uitgevoerd, wordt het vereiste stuurprogramma automatisch gedownload en waar mogelijk geïnstalleerd. Als het stuurprogramma niet kan worden gedownload (omdat DB2-stuurprogramma's bijvoorbeeld vereisen dat de gebruiker zich aanmeldt), downloadt u het stuurprogramma en kopieert u het naar een speciale map op machine voor de gateway voor gegevensverplaatsing. Hiervandaan voert u het hulpprogramma uit.

Voor een voorbeeld van hoe u een PostgreSQL-stuurprogramma installeert met behulp van het installatieprogramma voor stuurprogramma's, zie Vereisten

Snowflake-cloudgegevensplatform

De Snowflake-connector biedt nu ondersteuning voor emoticons van 4 bytes.

Ondersteuning voor Azure Database for PostgreSQL - Flexibele server als gegevensbron

De PostgreSQL-connector kan nu gegevens verplaatsen vanuit de Azure Database for PostgreSQL - Flexibele server.

Ondersteuning voor Cloud SQL for PostgreSQL als een gegevensbron

De PostgreSQL-connector kan nu gegevens verplaatsen vanuit Cloud SQL for PostgreSQL.

Nieuwe ondersteunde gegevensbronversies

Deze versie introduceert ondersteuning voor de volgende nieuwe gegevensbronversies:

• PostgreSQL 14
• DB2 (voor IBM DB2 voor z/OS) 12.1
• IBM DB2 voor z/OS 2.5

Nieuwe ondersteunde versies van cloudgegevensplatforms

Databricks 11.3 LTS

De volgende gegevensbronversies worden niet meer ondersteund

De volgende gegevensbronversies worden niet meer ondersteund:

• DB2 (voor IBM DB2 voor z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Opgeloste problemen

Deze versie biedt oplossingen voor de volgende problemen:

• Oracle gegevensbron: Wanneer een taak werd gestopt en hervat, mislukte de taak soms met de foutmelding "Failed to set stream position on context".
• SAP-applicatiebron: Veranderingen werden niet vastgelegd tijdens de tussenopslagtaak.