Data Movement gateway upgraden en verwijderen

Verbeteringen:

• Beheren wanneer het beleid voor tabelfoutafhandeling wordt geactiveerd

  Een nieuwe instelling Aantal nieuwe pogingen voordat een tabelfout wordt geretourneerd is toegevoegd aan de instellingen voor tabelfoutafhandeling voor replicatie- en tussenopslagstaken. Voorheen, wanneer een tabelfout optrad, werd de tabel onderbroken of werd de taak gestopt (volgens de geselecteerde foutafhandelingsactie). Dit resulteerde er soms in dat tabellen werden onderbroken tijdens het onderhoudsvenster van de SaaS-applicatie. Met deze nieuwe optie is het nu mogelijk om te bepalen hoe vaak de tabel opnieuw moet worden geprobeerd voordat het beleid voor tabelfoutafhandeling wordt geactiveerd. Deze optie is vooral handig als uw SaaS-applicatie periodiek onderhoud ondergaat, aangezien u het standaard aantal nieuwe pogingen (3) kunt overschrijven, zodat het onderhoud kan worden voltooid zonder het beleid voor tabelfoutafhandeling te activeren.

  Tabelfoutafhandeling

  InformatieDeze optie wordt alleen weergegeven voor taken die zijn geconfigureerd met een Lite- of Standaard SaaS-applicatieconnector.

• Voorbeeldgegevens bevatten nu kolomgegevenstypen

  Bij het bekijken van een SQL-transformatie zullen de resultaten nu de kolomgegevenstypen bevatten.

  Voorbeeld van gegevens bekijken

• Ondersteuning voor JSON-naar-JSON-kolomtoewijzing

  Een nieuwe optie Compatibele JSON-bronkolommen toewijzen aan JSON-kolommen op het doel is toegevoegd aan het tabblad Metadata van de taakinstellingen. Deze optie is standaard geselecteerd bij nieuwe taken als de bron compatibele JSON-gegevenstypen bevat, die ook door het doel worden ondersteund. Voordat deze optie werd geïntroduceerd, werden JSON-kolommen echter toegewezen aan STRING op het doel. Daarom zal bij bestaande taken (dat wil zeggen, taken die zijn gemaakt vóór Data Movement gateway 2024.11.70) deze optie standaard zijn uitgeschakeld, aangezien alle downstream-processen - zoals transformaties - verwachten dat de doelgegevens in STRING-indeling zijn. U kunt de optie uitgeschakeld laten of u kunt de downstream-processen bewerken om compatibel te zijn met JSON-indeling en vervolgens deze optie inschakelen.

  Informatie

  Deze optie wordt alleen ondersteund bij taken die zijn geconfigureerd om een Preview SaaS-applicatieconnector te gebruiken.

  Metagegevens

Verbeteringen:

• Rollover en opschonen van replicatielogbestanden

  Er is een rollover- en opschoonbeleid geïmplementeerd voor de replicatielogbestanden op de gatewaymachine. Het rolloverbeleid voorkomt dat de logbestanden te groot worden (wat de prestaties en analyse beïnvloedt), terwijl het opschoonbeleid voorkomt dat ze zich opstapelen en te veel schijfruimte innemen.

Opgeloste problemen:

• Onjuiste tabelstatus na herladen

  Bij het herladen van een onderbroken tabel was de tabelstatus die in de monitor werd weergegeven soms onjuist.

• Time-out van voorbereidingsbewerking

  Bij het voorbereiden van een tussenopslagtaak na het toevoegen van een dataset, trad er soms een time-out op in de fase van het catalogiseren van bedrijfsmiddelen. Dit zou ertoe leiden dat de voorbereidingsbewerking mislukt.

Deze patch lost de volgende problemen op:

• Voorbereiding mislukt bij het toevoegen van een nieuwe tabel

  Bij het toevoegen van een nieuwe tabel aan een replicatietaak en klikken op Prepare, trad de volgende fout soms op:

  Prepare data task failed: Object reference not set to an instance of an object.

• Opgeloste kwetsbaarheden

  De volgende Data Movement gateway installatiebestanden zijn bijgewerkt naar versies zonder bekende kwetsbaarheden:
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Deze patch lost de volgende problemen op:

• IBM DB2 for LUW-connectiviteitsfout

  Na het upgraden naar Data Movement gateway 2024.11.54, mislukte de verbinding met de database.

• Voorbereidingsfout

  Het voorbereiden van de gegevenstaak mislukte wanneer de taak was geconfigureerd met een SaaS-applicatiebron en een Google BigQuery-doel.

• Taken met Java-gebaseerde bronnen mislukken na upgrade

  Taken met Java-gebaseerde gegevensbronnen mislukten na het upgraden naar Data Movement gateway 2024.11.54.

• Snowflake-doel: Taken schakelden soms over naar de "één-voor-één"-modus tijdens CDC

  Tijdens CDC, wanneer een STRING-kolom in een brontabel 65536 bytes overschreed, werden de gegevens afgekapt in de doel-STRING-kolom. De taak schakelde dan over naar de "één-voor-één" toepassingsmodus.

• Beveiliging

  De java_file_factory.jar en arep-google-cloud.jar bestanden zijn geüpgraded naar versies zonder bekende kwetsbaarheden.

Deze patch lost de volgende problemen op:

• Volledige lading negeert taakinstellingen

  Tijdens volledige lading werden er voor de taak doeltabellen verwijdert en opnieuw aangemaakt, ook al was de taak geconfigureerd met Als de doeltabel al bestaat: negeren

• Onjuiste recordtelling

  Na het stoppen en voorbereiden van een bestaande replicatietaak met de replicatiemodus ingesteld op volledige lading en het toepassen van wijzigingen, nam het aantal verwerkte CDC-records toe, wat resulteerde in een onjuiste telling.

• JIRA-bronconnector

  Wanneer een nieuwe gegevensverzameling aan een bestaande taak werd toegevoegd, mislukte de taak met de volgende foutmelding:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Mislukte testverbinding

  Testverbinding met SAP en SQL-gebaseerde bronnen mislukt.

• Bijwerken

  Na het upgraden van de gateway werden taken soms niet hervat zoals verwacht.

Ondersteuning voor Snowpipe Streaming

Voorheen was Bulksgewijs laden de enige beschikbare methode voor het laden van gegevens in Snowflake. Klanten kunnen nu Bulksgewijs laden of Snowpipe Streaming gebruiken om hun gegevens in Snowflake te laden of te repliceren.

De voordelen van Snowpipe Streaming ten opzichte van Bulksgewijs laden zijn onder andere:

• Minder duur: aangezien Snowpipe Streaming geen gebruik maakt van het Snowflake-warehouse, zouden de bedrijfskosten aanzienlijk lager moeten zijn, hoewel dit afhangt van uw specifieke gebruikssituatie.
• Verminderde latentie: aangezien de gegevens rechtstreeks naar de doeltabellen worden gestreamd (in tegenstelling tot via fasering), zou de replicatie van de gegevensbron naar de doeltabellen sneller moeten zijn.

Opgeloste problemen

Deze patch lost de volgende problemen op:

• Microsoft Fabric: verbindingsprobleem

  Bij het bladeren naar databases met behulp van de Microsoft Fabric-connector, treedt de volgende fout op (uittreksel):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Het probleem werd veroorzaakt door een incompatibiliteit met het 12.9.0-preview.jar JDBC-stuurprogramma, dat was geïnstalleerd met het installatiehulpprogramma. Het hulpprogramma is nu bijgewerkt om een compatibel stuurprogramma te installeren.

• Fout bij opnieuw opstarten Java-server

  Na het upgraden van Data Movement gateway of het opnieuw opstarten van de Data Movement gateway-service, kon de Java-server (vereist voor Java-gebaseerde connectoren zoals SAP ODP) niet meer starten.

• Verbeterde beveiliging

  • End-to-end-encryptie werd niet wederzijds afgedwongen voor de registratie-instructies van nettoladingen die klant-gehoste logboeken terugstuurt van het Qlik Cloud Administration-activiteitencentrum.

  • De SQLite-versie die wordt gebruikt door Data Movement gateway is geüpgraded vanwege een kwetsbaarheid met versie 3.42.0(CVE-2023-7104).

  • Het bestand com.h2database dat wordt gebruikt door Data Movement gateway is geüpgraded als gevolg van een kwetsbaarheid met versie h2-2.1.212(CVE-2022-45868).

Deze patch lost het volgende probleem op bij het verplaatsen van gegevens vanuit een IBM DB2 for iSeries-gegevensbron:

Bij gebruik van iSeries Access ODBC Driver 07.01.026 of later, mislukte de taak tijdens CDC met een foutmelding "Error parsing".

Standaard

OAuth-ondersteuning voor Databricks-doel

Klanten kunnen nu verbinding maken met het Databricks-doel door gebruik te maken van OAuth-verificatie, de methode die Databricks aanbeveelt voor accountverificatie. De verificatie met persoonlijk toegangstoken blijft voorlopig beschikbaar voor achterwaartse compatibiliteit, maar wordt als minder veilig beschouwd dan OAuth.

Opgeloste problemen

• Probleem met parallel laden

  Wanneer een gegevensverzameling werd gedefinieerd met parallel laden en volledige lading vervolgens werd uitgeschakeld, voerde de taak nog steeds een volledige lading van die gegevensverzameling uit, zelfs wanneer deze werd hervat vanaf het tijdstempel.

2024.11.24

Patch

Deze patch lost de volgende problemen op:

• SAP ODP-bron: fout bij genereren metagegevens

  Het genereren van metagegevens mislukte bij tabellen met een punt in de naam (bijv. Deprec.Area).

• Taakherstel

  Taken herstelden slechts één keer als ze tijdens een volledige lading mislukten vanwege een omgevingsprobleem. Nu zullen ze het aantal keren herstellen dat geconfigureerd is onder Instellingen > Foutafhandeling > Omgevingsfouten > Maximumaantal pogingen.

Verbeteringen

PostgreSQL failover-certificering

Werken met een secundaire database na failover is gecertificeerd met de volgende gegevensbronnen (die allemaal toegankelijk zijn met de PostgreSQL-bronconnector):

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (on-premises)

Zie ook: Failover instellen

Prestatieverbetering van MySQL

In eerdere versies, wanneer u een MySQL-gebaseerd broneindpunt gebruikte in een taak die geconfigureerd was met beperkte LOB-grootte, gebruikte Data Movement gateway bron opzoeken om de LOB-kolommen te lezen. Nu zal Data Movement gateway de LOB-kolommen rechtstreeks uit binlog lezen, waardoor de prestaties verbeteren.

Wijzigingen van de toewijzing van gegevenstypen

Toewijzingen naar LOB-kolommen zijn gewijzigd voor het Amazon Redshift- en Snowflake-doel.

Amazon Redshift-doel

• BLOB wordt nu toegewezen aan VARBYTE(16777216)
• NCLOB is nu toegewezen aan NVARCHAR(65535)
• CLOB is nu toegewezen aan NVARCHAR(65535)

Snowflake-doel

• BLOB is nu toegewezen aan BINARY (8388608)
• NCLOB is nu toegewezen aan NVARCHAR(16777216)
• CLOB is nu toegewezen aan VARCHAR(16777216)

Nieuwe ondersteunde gegevenstypen

• IBM DB2 for LUW-bron

  Ondersteunt nu het gegevenstype BOOLEAN (vanaf DB2 for LUW 11.5).

• Google BigQuery-doel

  Ondersteunt nu het gegevenstype BIGNUMERIC.

Uitgebreide doelondersteuning voor de DDL geschiedenis-controletabel

In vorige versies van Data Movement gateway werd de DDL geschiedenis-controletabel alleen ondersteund met Databricks- en Microsoft Fabric-doelen. Deze versie biedt ondersteuning voor de volgende extra doelconnectoren:

• Amazon Redshift
• Amazon S3
• Google-cloudopslag
• Snowflake

Zie ook: DDL-geschiedenis

Ondersteuning voor het gebruik van een niet-superuser met Google Cloud SQL voor PostgreSQL

Vanaf deze versie is het mogelijk om een account zonder superuser op te geven bij het repliceren vanuit Google Cloud SQL for PostgreSQL.

Zie ook: Een account gebruiken zonder de rol van superuser

Nieuwe gecertificeerde platformen en stuurprogrammaversies

• Databricks-doel

  15.4 LTS

• Oracle-bron en -doel

  23ai

  Informatie

  • Oracle 23ai-bron en -doel zijn alleen gecertificeerd met Oracle Standard Edition.
  • Oracle 23ai-bron wordt alleen ondersteund met TDE-versleuteling.

• Update voor Databricks-stuurprogramma

  Bij het verplaatsen van gegevens naar Databricks is nu Simba Spark ODBC Driver 2.8.2 of later vereist. Klanten moeten het hulpprogramma voor de installatie van het stuurprogramma uitvoeren of het stuurprogramma handmatig installeren.

  Zie ook: Setup stuurprogramma

Beëindigde ondersteuning

De volgende databaseversies worden niet meer ondersteund:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Opgeloste problemen

• SAP HANA (Database) connector: maken van __CT tabel is mislukt

  Wanneer de replicatiemodus was ingesteld op Wijzigingen opslaan en de tabel een .INCLUDE kolom bevatte, kon de taak de __CT-tabel niet in het doel aanmaken.

• Tussenopslagtaak: misleidende fout

  De taak mislukte en de foutmelding "Geen licentie voor database" verscheen wanneer de geheime sleutel van Azure Data Lake Storage verlopen was.

• Amazon S3-doelconnector: oude bestanden werden niet verwijderd

  Oudere bestanden werden niet verwijderd bij het uitvoeren van een nieuwe taak. Dit kan ertoe leiden dat de taak mislukt vanwege dubbele records of vanwege niet-overeenkomende records.

   

• SAP HANA (Database) bron: verbinding mislukt vanwege een door de gebruiker gedefinieerde tabel

  Een foutmelding "functie niet ondersteund: kan door gebruiker gedefinieerd type niet selecteren" trad op bij het selecteren van een door gebruiker gedefinieerde tabel voor replicatie. Het probleem is opgelost door door de gebruiker gedefinieerde tabellen (die niet worden ondersteund) uit te sluiten van de tabelselectie.

• Microsoft Fabric-doelconnector: herstelfout

  Een fout "Conversie mislukt" trad soms op na het herstellen van een verbindingsfout die optrad tijdens CDC.

• Databricks-doelconnector: CDC-fout bij werken zonder LOB-ondersteuning

  Bij het uitschakelen van LOB-ondersteuning gaf CDC een foutmelding "niet genoeg gegevenskolommen" wanneer geprobeerd werd de wijziging in de __ct tabel in te voegen. Deze fout treedt op wanneer u in de modus "Wijzigingen opslaan" werkt, wat de enige beschikbare modus voor tussenopslagtaken is.

• MySQL-bron naar Snowflake-doel: CDC-fout

  Tijdens CDC, bij het repliceren van een "NOT NULL" kolom met mediumtext gegevenstype, mislukte de taak soms met de volgende fout:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Microsoft Fabric-doelconnector: afkapfout

  Bij het invoegen van een VARCHAR kolom trad de volgende afkapfout op:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Het probleem werd opgelost door de VARCHAR kolom in Microsoft Fabric te vermenigvuldigen.

Nieuwe kenmerken

Ondersteuning voor het opgeven van extra ODBC- en JDBC-verbindingseigenschappen is toegevoegd aan de Snowflake-doelconnector

Ga voor meer informatie naar Extra verbindingseigenschappen.

Opgeloste problemen

• Metagegevens worden niet bijgewerkt

  Wanneer een primaire sleutel voor de bron werd gewijzigd, werden de doelmetagegevens niet bijgewerkt na een herlading.

• Amazon S3-doel

  Bij het aanmaken en uitvoeren van een nieuwe taak werden bestanden die overgebleven waren van eerdere taken niet verwijderd van de locatie van de tabellen.

• SAP HANA-bron

  Als u verbinding probeert te maken met een SAP HANA-bron met behulp van logboekgebaseerde CDC, leidt dit tot de volgende fout:

  Cannot select user-defined type

2024.5.41

Patch

Deze patch lost de volgende problemen op:

• Amazon S3-, Google Cloud Storage- en Qlik Cloud-doelen: lege tekenreeksen tussen aanhalingstekens plaatsen

  Lege tekenreeksen worden nu tussen aanhalingstekens geplaatst in het CSV‑bestand om ze te onderscheiden van NULL-waarden.

• Databricks doel: niet-overeenkomende gegevens

  In bepaalde scenario's komen de bron- en doelgegevens niet met elkaar overeen.

• Databricks-doel: CDC-storing veroorzaakt door het uitschakelen van LOB-ondersteuning

  Door het uitschakelen van LOB-ondersteuning in de taak voor tussenopslag faalt CDC met de volgende fout (uittreksel):

  Cannot write to '<name>__ct', not enough data columns

• Microsoft Fabric-doel: fout in verbinding resulteert in CDC-fout

  Het toepassen van wijzigingen op het doel na het herstellen van een verbindingsfout mislukte soms met de foutmelding "Conversie mislukt".

2024.5.35

Patch

Deze patch lost de volgende problemen op:

• Microsoft Fabric-doel: probleem met conversie van gegevenstype

  Tijdens een opslagtaak werd het gegevenstype NVARCHAR(3500) ten onrechte geconverteerd naar VARCHAR(10500) in plaats van VARCHAR(8000) (het toegestane maximum), wat resulteerde in een fout.

• IBM DB2 for LUW-bron: ondersteuning voor gegevenstype GRAPHIC met codepagina 941 (Japans)

  Wanneer de gegevenstabel een GRAPHIC gegevenstype met codepagina 941 (Japans) bevatte, trad de volgende fout op (uittreksel):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Patch

Na het bijwerken van de gebruikersnaam en het wachtwoord in de Workday Reports-bronconnector en het opnieuw laden van de taak, verscheen er een foutmelding "Ongeldige gebruikersnaam of wachtwoord", ook al waren de gegevens correct. Dit probleem is nu opgelost.

Patch

Deze patch lost de volgende problemen op:

Beveiliging

Oracle Java Standard Edition 17.0.8, die wordt geleverd met Data Movement gateway, heeft verschillende bekende kwetsbaarheden. Deze patch vervangt 17.0.8 door 17.0.12, waarmee de problemen zijn opgelost.

Salesforce-bron

Tijdens CDC worden er voor elke wijziging meerdere INSERT-bewerkingen toegevoegd aan de associated _ct tabel (in plaats van slechts één). Hierdoor neemt het aantal records in de _ct tabel aanzienlijk toe.

Standaard

Patch

Deze patch lost de volgende problemen op:

Kwetsbaarheid Snowflake JDBC Driver

Op 14 augustus 2024 heeft Snowflake een beveiligingswaarschuwing uitgegeven over Snowflake JDBC-drivers >= 3.2.6 & <= 3.19.1, waarvan sommige werden gebruikt met eerdere versies van Data Movement gateway. De kwetsbaarheid is door middel van een patch verholpen in Snowflake JDBC Driver 3.20, de versie die nu wordt geïnstalleerd met het installatieprogramma van het stuurprogramma. Bestaande klanten moeten hun stuurprogramma zo snel mogelijk upgraden door de procedure Stuurprogramma bijwerken te volgen die wordt beschreven in Stuurprogramma instellen.

Oracle-bron

• Bij het gebruik van een redo-gebeurtenis 11.22 ontstonden er ontbrekende INSERT's bij het verwerken van meerdere INSERT's op een gecomprimeerde pagina die voorafgaand aan de INSERT's niet was gecomprimeerd.
• In zeldzame scenario's zou het onjuist parseren van DELETE-evenementen in de redo-logboekrecord een waarschuwing "De DELETE-gebeurtenis van het redo-logboek bevat een onbekende structuur" genereren, gevolgd door verschillende problemen.

SAP Extractor-bron

De instructies in het YAML-bestand zijn bijgewerkt om de juiste versie van de SAP Java Connector weer te geven.

Snowflake-doel

Bij gebruik van de Data Movement gateway om verbinding te maken met een Snowflake-doel via een proxy, mislukt de verbinding met de volgende fout:

500 Failed to connect to Data Movement Gateway

Patch

Patch

Opgeloste problemen

• Oracle-bron

  • Gemiste INSERT's kwamen soms voor in meerdere INSERT-bewerkingen bij gebruik van de redo-gebeurtenis 11.22.

  • Na het upgraden van Oracle 19g naar de juli 2024 patch, werden UPDATE -bewerkingen soms niet vastgelegd en werd de volgende waarschuwing getoond:

    A compressed row cannot be parsed

• Snowflake-doel

  Wanneer de taakinstellingen waren geconfigureerd om het schema van de controletabel te maken, mislukte de taak met de volgende fout:

  Failed to delete directory

• Gepland CDC

  Wanneer een taak was gepland om periodiek te worden uitgevoerd, mislukte deze soms met de volgende foutmelding:

  The task stopped abnormally

• Vastgelopen transformatie- en opslagtaken

  Transformatie- en opslagtaken bleven soms buitensporig lang in de status In wachtrij staan.

• Metagegevensmanager

  Taken mislukten bij gebruik van de use_manipulation_pk_for_apply functievlag door replicatie met wijzigingen opslaan.

• Langdurige time-out resulteert in problemen door SaaS-applicatiebronnen

  De S3 time-out is verlengd naar 6 uur om problemen als gevolg van langdurige time-outs te voorkomen, zoals het verliezen van het token om de bestanden te downloaden.

Standaard

Verbeteringen

• Sleutelpaar-authenticatie is toegevoegd aan de Snowflake-doelconnector.

  Sleutel/paar biedt een robuustere verificatiemethode dan gebruiker/wachtwoord om met uw serviceaccounts verbinding te maken met Snowflake. Deze aanpak wordt aanbevolen voor werklasten zoals gegevensladingen (replicatie- of tussenopslagtaken) en transformaties.

• Ondersteuning voor het parallel ophalen van metagegevens uit meerdere tabellen

  In vorige versies mislukte het vernieuwen van de metagegevens van een bestaande gegevensverzameling of een nieuw toegevoegde gegevensverzameling soms met een foutmelding. Deze verbetering zorgt ervoor dat metagegevens zonder problemen tegelijkertijd uit meerdere tabellen kunnen worden opgehaald.

Opgeloste problemen

• Gegevenstype DECIMAL verkeerd toegewezen aan STRING in Google BigQuery

  Wanneer een brontabel een kolom met het gegevenstype DECIMAL bevatte - bijvoorbeeld DECIMAL (38, 20) - mislukte het voorbereiden van de opslagtaak in Google BigQuery met de volgende fout (fragment):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Het probleem is opgelost door het brongegevenstype DECIMAL te koppelen aan DECIMAL in Google BigQuery

• Fout bij schemaregel

  Na het aanbrengen van wijzigingen in een bestaande schemaregel in een gegevenstaak, trad de volgende fout op:

  QRI SQL error not implemented

• Ontbrekende /QTQVC/QRI-tabel van het SAP-transport

  Bij het voorbereiden van een tussenopslagstaak die verbinding maakt met een SAP Application-bron, wordt de taak met succes voltooid, maar wordt de volgende fout gerapporteerd in het repsrv.log logboekbestand:

  Invalid object name 'hk1./QTQVC/QRI'

Standaard

Verbeteringen

• Ondersteuning voor wijzigingen van metagegevens in replicatie- en tussenopslagtaken in een datalake zonder dat alle tabellen verwijderd en opnieuw gemaakt hoeven te worden

  Als er eerder een wijziging van de metagegevens plaatsvond, werden alle tabellen verwijderd en opnieuw gemaakt, zelfs als de wijziging geen invloed had op alle tabellen. Nu worden alleen de gewijzigde tabellen verwijderd en opnieuw gemaakt, waardoor de prestaties worden verbeterd.

• Ondersteuning voor automatisch laden van nieuwe tabellen in replicatietaken

  Tabellen die zijn gemaakt in de brondatabase tijdens de replicatiegegevenstaak die overeenkomen met het opgenomen patroon, worden nu automatisch tijdens CDC (wijzigingsgegevens vastleggen) opgenomen

• Verbeteringen Microsoft SQL Server (MS-CDC)-bron

  • Behoud van tijdstempel en transactie-id

    Voorheen zorgde Qlik Talend Data Integration er bij het lezen van meerdere transacties vanuit Microsoft SQL Server (MS-CDC) voor dat alleen de transactie-id en het tijdstempel van de eerste transactie werden behouden. Hierdoor leek het in het doel alsof de records deel uitmaakten van een afzonderlijke transactie. Vanaf nu behoudt Qlik Talend Data Integration de originele transactie-id en tijdstempel voor elk afzonderlijk record. Dit is praktisch voor klanten die de koptekstkolommen voor transactie-id en tijdstempel willen toepassen in wijzigingstabellen.

  • Volgorde van bytes van transactie-id

    Eerder werden de bytes in de transactie-id in omgekeerde volgorde gecodeerd. Vanaf deze versie worden de bytes in de juiste volgorde gecodeerd. Klanten die liever het bestaande gedrag behouden, kunnen dit doen met behulp van interne parameters. Neem contact op met Qlik Support voor meer informatie.

• Ondersteuning voor het cachen van SHA-2 pluggable authenticatie met MySQL

  Qlik Talend Data Integration biedt nu ondersteuning voor het cachen van SHA-2 pluggable authenticatie (caching_sha2_password) bij het werken met MySQL-bronnen of -doelen, zowel on-premises als in de cloud. In eerdere versies werd alleen systeemeigen pluggable authenticatie (mysql_native_password) ondersteund.

• Wijzigingen van de toewijzing van Amazon Redshift-gegevenstypen

  BYTES- en BLOB-gegevenstypen worden nu toegewezen aan VARBYTE op Amazon Redshift in plaats van VARCHAR.

Nieuwe gecertificeerde platformen, eindpunten en versies

• Gegevensbronnen.

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• Doelplatformen

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Stuurprogramma's

  • SQL Server ODBC Driver 18.3

Beëindigde ondersteuning

De volgende databaseversies worden niet meer ondersteund:

• Alle Oracle-versies en -stuurprogramma's die ouder zijn dan Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

Opgeloste problemen

• SAP (Application)-bron

  Als een vastgelegde documentwijziging van een cluster alle rijen van de vastgelegde tabellen verwijdert, kregen gebruikers te maken met een ontbrekende DELETE-bewerking en onnodige bevestigingsberichten.

• Beveiligingsproblemen

  Microsoft Authentication Library for Java (MSAL4J) en Bouncy Castle zijn bijgewerkt naar versies zonder bekende beveiligingsproblemen.

• Snowflake-doel

  • De taak mislukte soms bij gebruik van interne opslag van Snowflake.
  • De taak mislukte als de naam van het doelschema in Japanse Katakana was.

• Oracle-bron

  Als een taak met een Oracle-bron werd hervat, wachtte de taak op een verwijderd gearchiveerd redo-logboek in plaats van te mislukken met de juiste fout.

Standaard

Verbeteringen

• Snowflake-metagegevensschema

  Vanaf deze versie wordt het Snowflake-metagegevensschema (voor tussentijds opgeslagen bestanden) gemaakt als dit nog niet bestaat.

Opgeloste problemen

• Nadat een wijziging was toegepast op de regel Naam gegevensverzameling wijzigen (die de tabelnaam heeft samengevoegd met de schemanaam) en een weergave is toegevoegd aan de tussenopslagtaak, mislukte de Prepare-bewerking met de volgende fout:

  QRI SQL error not implemented.

• Het component java_file_factory is bijgewerkt naar een versie zonder bekende beveiligingsproblemen.
• org.postgresql:postgresql is bijgewerkt naar een versie zonder bekende beveiligingsproblemen.
• Bij het verplaatsen van gegevens naar SQL Server, mislukte de Prepare-bewerking als indexnamen langer dan 128 tekens waren. Het probleem is verholpen door de logica te wijzigen voor het maken van kortere indexnamen.

• Bij het verplaatsen van gegevens vanuit SQL Sever veroorzaakte een ontbrekende kolomnaam in de tabeldefinities een oneindige meldingsloop in het bestand repsrv.log, met het volgende bericht:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Standaard

Verbeteringen

• Metagegevens parallel ophalen

  Er is ondersteuning toegevoegd zodat de metagegevens voor meerdere tabellen tegelijkertijd worden opgehaald.

• Verbeterde monitoringprestaties

  De monitoringgegevens voor de tussenopslag- en replicatietaken worden nu elke 10 seconden bijgewerkt (in plaats van elke 60 seconden) voor een nauwkeurigere indicatie van hun huidige status.

• Nieuw ondersteunde regio

  Japan wordt nu ondersteund als een tenantregio voor Qlik Cloud.

Opgeloste problemen

• De interval voor nieuwe poging tussen de gegevensgateway en Qlik Cloud bleef regelmatig toenemen, maar werd nooit gereset (tenzij de service opnieuw werd gestart).
• Bij het verplaatsen van gegevens vanuit een SaaS-applicatiebron ontstond bij sommige tabellen een foutstatus tijdens het opnieuw laden.

• Taken met een MySQL-bron mislukten soms met de volgende fout tijdens CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Eerder werden auditgebeurtenissen van CDC alleen geregistreerd voor tussenopslagtaken. Nu worden ze ook geregistreerd voor replicatietaken.
• Bij het verplaatsen van gegevens van SQL Server (MS-CDC) duurde het soms enkele uren voordat taken met veel tabellen werden gestart.

• Als de brontabel CLOB-kolommen bevatte en de waarde 'LOB-grootte beperken' 10240 overschreed, mislukte de replicatie naar Snowflake met de volgende fout:

  Invalid character length: 0

Standaard

Ondersteuning voor het installeren van Data Movement gateway op Red Hat 9.x

Klanten kunnen nu Data Movement gateway installeren op Red Hat 9.x of een andere overeenkomende en compatibele Linux-distributie.

Data Movement gateway installeren

Wijzigingen van de opdrachten van de Data Movement gateway-service

De opdrachten voor het stoppen, starten en controleren van de status van de Data Movement gateway-service zijn gewijzigd.

Service-instructies Data Movement gateway

Wijzigingen van de toewijzing van Amazon Redshift-gegevenstypen

• Het BOOLEAN-gegevenstype, dat is toegewezen aan VARCHAR(1) in Amazon Redshift, wordt nu toegewezen aan BOOLEAN.
• De BYTES- en BLOB‑gegevenstypen, die zijn toegewezen aan VARCHAR(1) in Amazon Redshift, worden nu toegewezen aan VARBINARY (length).

Nieuw ondersteunde databases, databaseversies en stuurprogrammaversies

Deze sectie toont de nieuwe ondersteunde databases, databaseversies en stuurprogrammaversies.

• Nieuwe ondersteunde versies en edities van gegevensbronnen

  De volgende versies van gegevensbronnen worden nu ondersteund:

  • Azure Database for MySQL - Flexible Server (ondersteund via de MySQL-bronconnector)
  • MariaDB 10.4 - 10.11 (voorheen 10.4 en 10.5)

• Nieuwe ondersteunde versies en edities van doelgegevensplatformen

  De volgende versies van gegevensdoelen worden nu ondersteund:

  • Azure Database for MySQL - Flexible Server (ondersteund via de MySQL-doelconnector)
  • Databricks: Databricks 13.3 LTS en Serverless SQL Warehouse

• Nieuwe ondersteunde SAP HANA stuurprogrammaversie

  Klanten met een SAP HANA-bron die Data Movement gateway willen installeren op Red Hat Linux 9.x, moeten de SAP HANA ODBC 64-bits stuurprogrammaversie versie 2.0.19 of hoger installeren.

Databaseversies die niet meer worden ondersteund

Deze sectie biedt informatie over databaseversies waarvoor de ondersteuning eindigt.

• De volgende gegevensbronversies worden niet meer ondersteund:

  • Oracle 11.x
  • SAP HANA 1.0

Opgeloste problemen

• Als Data Movement gateway werd geïnstalleerd zonder het opgeven van een serverwachtwoord, konden de tenant- en proxy-URL's met een opdracht worden geconfigureerd.
• Het verplaatsen van een Salesforce (SaaS application) gegevensbron zorgde voor een groter aantal redundante waarschuwingen, wat van invloed was op de laadprestaties van gegevens.
• Als er bij het ophalen van wijzigingen voor een gegevensbron van een SaaS-applicatie een fout optrad bij het ophalen van wijzigingen voor één van de tabellen, werd die tabel onderbroken en verwijderd uit de pijplijn. Als er nu een fout optreedt, probeert de taak tot drie keer om de wijzigingen op te halen voordat de tabel wordt onderbroken.

Standaard

Nieuwe datalakedoelen voor Replication-projecten

We blijven de ondersteunde doelen voor het Replication-project in Qlik Cloud Data Integration uitbreiden. Naast Amazon S3, kunt u nu kiezen uit Azure Data Lake Storage (ADLS) en Google Cloud Storage (GCS) voor leveringen in een datalake in de bestandsindeling Parquet, JSON of CSV.

Opgeloste problemen:

• Connector voor IBM DB2 for LUW-bron

  De verbinding met IBM DB2 for LUW werd verbroken als de grootte van de bestanden die zijn vereist voor de verbinding (zoals het SSL-clientcertificaat en het keystore-bestand) groter was dan 4 KB.

• Stuurprogramma voor IBM DB2 for LUW en IBM DB2 for z/OS-bronconnectors

  De installatie van het DB2-stuurprogramma mislukte bij gebruik van het hulpprogramma voor installatie van het stuurprogramma.

Standaard

Ondersteuning voor Microsoft Fabric als een gegevenspijplijndoel

Microsoft Fabric wordt toegevoegd aan de steeds langer wordende lijst met datawarehouses die als doel in gegevenspijplijnprojecten kunnen worden gebruikt.

Opgeloste problemen:

Heeft de Snowflake-besturingsprogrammaversie bijgewerkt in het hulpprogramma voor installatie van stuurprogramma's.

Standaard

Uitgebreide ondersteuning voor privéverbindingen

U kunt een privéverbinding gebruiken om te garanderen dat uw gegevensverkeer veilig en compliant blijft. Dit vereenvoudigt zowel het netwerkbeheer als de beveiliging van uw VPC (virtuele privécloud) zonder dat u binnenkomende firewallpoorten moet openen, een proxy voor apparaten moet instellen of routeringstabellen nodig hebt. Qlik Cloud Gegevensintegratie biedt al ondersteuning voor privéverbindingen naar doelen van Snowflake-, Microsoft SQL Server- en Amazon S3-gegevenspijplijnen. Met deze release kunnen klanten ook privéverbindingen gebruiken als ze gegevens verplaatsen naar Databricks, Microsoft Azure Synapse, Google BigQuery en Amazon Redshift.

Gegevensbronnen op basis van PostgreSQL

• Ondersteuning van alle gegevensbronnen op basis van PostgreSQL - Multirange-gegevenstypen: De volgende multirange-gegevenstypen worden nu ondersteund met alle gegevensbronnen op basis van PostgreSQL (on-premises en de cloud).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud for PostgreSQL-gegevensbron - Ondersteuning van rol niet-beheerders: De gebruiker die is opgegeven in de PostgreSQL-connector heeft niet langer de beheerdersrol nodig om gegevens te verplaatsen van een AWS Aurora Cloud for PostgreSQL-gegevensbron. Dit is met name handig voor organisaties met een bedrijfsveiligheidsbeleid waarbij beheerdersmachtigingen niet kunnen worden toegewezen aan niet-gemachtigde gebruikers.

Microsoft Azure SQL-gegevensbron (MS-CDC): Ondersteuning voor geo-replication

Klanten die gegevens verplaatsen van een Microsoft Azure SQL-gegevensbron (MS-CDC) kunnen vanaf nu gebruikmaken van een Geo Replica-database.

Oracle gegevensbron: Ondersteuning voor HSM (Hardware Security Module)

Qlik Cloud Gegevensintegratie biedt nu ondersteuning voor het lezen van gegevens van door Oracle versleutelde tabelruimten en versleutelde kolommen tijdens CDC.

Ondersteuning voor nieuwe regio's

Qlik Cloud Gegevensintegratie biedt nu ondersteuning voor tenants in Duitsland en het Verenigd Koninkrijk.

Nieuwe ondersteunde versies en software van derden

Deze sectie toont nieuwe ondersteunde database- en stuurprogrammaversies.

• Nieuwe ondersteunde gegevensbronversies. De volgende versies van gegevensbronnen worden nu ondersteund:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (bij gebruik van IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Nieuwe ondersteunde versies van doelgegevensplatforms De volgende versies van gegevensdoelen worden nu ondersteund:

  • Databricks (cloudopslag): Databricks 12.2 LTS en Databricks SQL Serverless

• Stuurprogrammaversies. De volgende versies van ODBC-stuurprogramma's worden nu ondersteund:

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ en IBM DB2 for LUW
  • Simba ODBC-stuurprogramma 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64-bits 8.0.32

Stuurprogramma Microsoft SQL Server - Vereiste upgrade

Klanten die gegevens verplaatsen naar of vanuit Microsoft SQL Server moeten hun SQL Server ODBC-stuurprogrammaversie bijwerken naar 18.x of later. Let op: door SQL Server ODBC Driver 17.x te blijven gebruiken, kunnen er gegevensfouten ontstaan. Het stuurprogramma kan handmatig worden bijgewerkt of met behulp van het stuurprogramma-installatieprogramma. Raadpleeg Installatie stuurprogramma voor instructies.

Databaseversies die niet meer worden ondersteund

Deze sectie biedt informatie over databaseversies waarvoor de ondersteuning eindigt.

• Gegevensbronversies die niet meer worden ondersteund. De volgende gegevensbronversies worden niet meer ondersteund:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versies van doelgegevensplatforms die niet meer worden ondersteund. De volgende gegevensdoelversies worden niet meer ondersteund:

  • Databricks 9.1 LTS

2022.11.74

Standaard

15 augustus 2023

Ondersteuning van replication

We volgen een 'cloud-first'-aanpak om snelle innovaties en toepassingen mogelijk te maken. Dit betekent niet dat we 'cloud-only' zijn. Als onderdeel van onze voortdurende inzet om de langetermijnwaarde voor onze klanten te verbeteren, zijn we verheugd om onze nieuwe release aan te kondigen van een nieuwe gebruikscase voor Replication voor het maken van gegevensprojecten. De nieuwe gebruikscase voor Replication is een aanvulling op de bestaande mogelijkheid om gegevenspijplijnen te maken voor al uw behoeften voor gegevensintegratie, zoals het moderniseren van uw datawarehouse.

Het replicationproject ondersteunt realtime replication van ondersteunde gegevensbronnen naar een ondersteund doel.

Vanaf deze laatste release is Microsoft SQL Server het eerste doel dat het realtime repliceren van gegevens ondersteunt. Naast dat Microsoft SQL Server on-premises ondersteuning biedt, worden de volgende cloudproviders ook ondersteund:

• On-premises
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance en Microsoft Azure Database)

Microsoft Azure Synapse Analytics-doel - vereiste upgrade van stuurprogramma

Klanten die gegevens verplaatsen naar Microsoft Azure Synapse Analytics moeten hun SQL Server ODBC Driver-versie bijwerken naar 18.x of later. Let op: door SQL Server ODBC Driver 17.x te blijven gebruiken, kunnen er gegevensfouten ontstaan. Het stuurprogramma kan handmatig worden bijgewerkt of met behulp van het stuurprogramma-installatieprogramma. Raadpleeg Installatie stuurprogramma voor instructies.

Nieuwe optie 'Gegevens laden van bron' voor SaaS-applicatiebronnen

Een nieuwe optie Gegevens laden vanuit bron is geïntroduceerd, waarmee klanten hun gegevens direct vanuit de bron kunnen lezen met behulp van volledig laden, in plaats van gecachete gegevens te moeten gebruiken.

Voor meer informatie over deze optie en gebruikstoepassingen, gaat u naar Instellingen voor tussenopslag.

Bijgewerkte CA-certificaten

Data Movement gateway 2022.11.74 bevat bijgewerkte CA-certificaten die nodig zijn voor verificatie van de Qlik Cloud-tenant. De bijgewerkte CA-certificaten bieden tevens ondersteuning voor de regio's Ierland en Frankfurt. Daarom moeten klanten met Qlik Cloud-tenants in Ierland of Frankfurt die Qlik Cloud Gegevensintegratie willen gebruiken, upgraden naar deze versie.

Opgeloste probleem

Taken waarmee gegevens van een Oracle-bron tijdelijk worden opgeslagen mislukken soms als een brede tabel niet-gebruikte of niet-ondersteunde kolommen bevat of LOB-kolommen bevat die niet zijn gerepliceerd.

2022.11.70

Standaard

28 juni 2023

Verbeterd hulpprogamma voor de installatie van stuurprogramma's voor SAP-clients

In voorgaande versies moesten klanten de opdracht "source arep_login.sh" uitvoeren bij de installatie van SAP-clients. Vanaf deze versie is het niet meer nodig om deze opdracht uit te voeren.

Bijgewerkte CA-certificaten

Deze versie bevat bijgewerkte CA-certificaten die nodig zijn voor verificatie van de Qlik Cloud-tenant.

Opgeloste problemen

• Als een replicatietaak in Data Movement gateway is mislukt en automatisch is hersteld, wordt de herstelde staat niet gecommuniceerd met de tijdelijke gegevensasset in Qlik Cloud.

• End-to-endversleuteling voor de Data Movement gateway wordt niet standaard ingeschakeld en wordt aangestuurd door runtimevlaggen.

2022.11.63

Standaard

2 mei 2023

Installatieprogramma voor stuurprogramma's

In deze versie wordt een installatieprogramma voor stuurprogramma's geïntroduceerd waardoor stuurprogramma's niet meer handmatig hoeven te worden geïnstalleerd en geconfigureerd. Het nieuwe hulpprogramma verkort het installatieproces en vermindert de kans op menselijke fouten drastisch. Zodra het hulpprogramma wordt uitgevoerd, wordt het vereiste stuurprogramma automatisch gedownload en waar mogelijk geïnstalleerd. Als het stuurprogramma niet kan worden gedownload (omdat DB2-stuurprogramma's bijvoorbeeld vereisen dat de gebruiker zich aanmeldt), downloadt u het stuurprogramma en kopieert u het naar een speciale map op machine voor de gateway voor gegevensverplaatsing. Hiervandaan voert u het hulpprogramma uit.

Voor een voorbeeld van hoe u een PostgreSQL-stuurprogramma installeert met behulp van het installatieprogramma voor stuurprogramma's, zie Vereisten

Snowflake-cloudgegevensplatform

De Snowflake-connector biedt nu ondersteuning voor emoticons van 4 bytes.

Ondersteuning voor Azure Database for PostgreSQL - Flexibele server als gegevensbron

De PostgreSQL-connector kan nu gegevens verplaatsen vanuit de Azure Database for PostgreSQL - Flexibele server.

Ondersteuning voor Cloud SQL for PostgreSQL als een gegevensbron

De PostgreSQL-connector kan nu gegevens verplaatsen vanuit Cloud SQL for PostgreSQL.

Nieuwe ondersteunde gegevensbronversies

Deze versie introduceert ondersteuning voor de volgende nieuwe gegevensbronversies:

• PostgreSQL 14
• DB2 (voor IBM DB2 voor z/OS) 12.1
• IBM DB2 voor z/OS 2.5

Nieuwe ondersteunde versies van cloudgegevensplatforms

Databricks 11.3 LTS

De volgende gegevensbronversies worden niet meer ondersteund

De volgende gegevensbronversies worden niet meer ondersteund:

• DB2 (voor IBM DB2 voor z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Opgeloste problemen

Deze versie biedt oplossingen voor de volgende problemen:

• Oracle gegevensbron: Wanneer een taak werd gestopt en hervat, mislukte de taak soms met de foutmelding "Failed to set stream position on context".
• SAP-applicatiebron: Veranderingen werden niet vastgelegd tijdens de tussenopslagtaak.