Aggregation von Statistiken des partiellen Full Loads
Databricks Lakehouse (Delta) / Databricks (Cloud Storage) – ODBC-Testverbindung schlägt mit Proxy (Benutzername/Passwort) in allen Staging-Umgebungen fehl
Databricks Lakehouse (Delta) Volume - Löschen eines Verzeichnisses schlägt aufgrund des Fehlers "CLOUD_FILE_NOT_FOUND" fehl
Für den Anwendungsmodus sollte ein Task nur für das vollständige Laden DDL aktivieren
SAP Application-Ziel erzeugt Sonderzeichen in Daten beim Laden in das Snowflake-Datenformat
Full-Load-S3-Ziel bereitet vor, Datensätze in derselben JSON- oder in unterschiedlichen JSON-Dateien mit Quelle SAP-Extraktor zu duplizieren
Fehlende relevante Fehlermeldung, wenn die Tabelle angehalten ist
SAP-ODP-Job mit OData-Ziel abgeschlossen, aber vollständiges Laden wird nicht abgeschlossen
Unterstützung für SQL Server 2012 (Always-Encrypted-Prüfung überspringen)
LOCAL INFILE für MySQL-/MemSQL-Ziele nur auf den Lademodus beschränken (LFI-Fix)
SAPDB-Quelle – Fehlerhafte Daten (fehlende Daten, Duplikate) können bei einer Tabelle auftreten, wenn eine andere Tabelle den Befehl LOAD TABLE empfängt.
Unterstützung für die Änderung der Datentyplänge in Databricks Delta
BigQuery Streaming – Nullwerte aus Feldern des Datentyps STRING beim Verketten von Zeichen abgeschnitten
PostgreSQL-LOB-Lookup schlägt fehl, wenn der Primärschlüssel TIMESTAMPTZ enthält
Wenn ein DBCC-Aufruf im SQL Server Deferred Constructor einen behebbaren Fehler zurückgibt, müssen wir aufgrund des möglichen Timeouts die Verbindung einmalig neu herstellen und den Vorgang wiederholen.
HANA-Quelle, DECIMAL-Datentyp im Ziel verwirft Nachkommastellen, was zu Datenabweichungen führt
SAP ODP-Quelle in Version 2025.11 bei Verwendung der Option INCLUDE für das Tabellenauswahlmuster. Vollständiges Laden dauert mehrere Stunden bis zum Abschluss.
SQL Server Always Encrypted: Tabelle wird aufgrund einer beschädigten CSV-Datei in jeder Aufgabe für jedes Ziel ausgesetzt
Unterstützung für SAP-HANA-Rollback auf Savepoint
Aufgabe schlägt mit Token-Ablaufproblem fehl, wenn mit der Azure Active Directory-Dienstprinzipal-Authentifizierung gearbeitet wird
Asset konnte nicht ausgeführt werden. Die Fehlermeldung sollte die fehlende Tabelle im Protokoll anzeigen.
Redshift - Spaltenlänge wird nicht unterstützt
Trigger werden fälschlicherweise gelöscht
Oracle-Update-Operationen auf komprimierten Zeilen enthalten möglicherweise keinen Primärschlüsselspaltenwert im After-Image, was dazu führt, dass im Ziel ein NULL-Wert verwendet wird.
Landing-Task – Entfernen und Hinzufügen derselben Tabelle erstellt die _ct-Tabelle nicht, wenn sie manuell aus der Ziel-DB gelöscht wurde
Anhängen eines UTC-Indikators für Datetime-Spaltenwerte in S3-Parquet-Dateien
Fehlende Datensätze beim Trennen/Wiederverbinden des Ziels nach LOB-Lookup-Fehler
DB2 Z/os ist grün, aber es werden keine Änderungen übertragen
DataBricks Delta ersetzt binäre Nullen in Zeichenfolgen durch ein Leerzeichen.
Der alternateBackupFolderTransportCommand behält die Groß-/Kleinschreibung nicht bei
SAP HANA Full Record Mode - Trigger könnten fehlschlagen, wenn QTREP/TRAN_LOG vollläuft
Paralleles Laden kann für die SAP-VBRP-Tabelle für Databricks Lakehouse (Delta) nicht verwendet werden
Databricks (Cloud Storage) ersetzt die binäre Null in Zeichenfolgen durch ein Leerzeichen
SAPDB – ein neues Auftreten von Tabellen mit NULL-Werten im Primärschlüssel bei einigen Ereignissen
Absturz beim LOB-Lookup, wenn die Spaltenreihenfolge in SAP und in Backend-Tabellen unterschiedlich ist
Fehler beim Konvertieren von CSV in eine Parquet-Datei
Bei Verwendung von Oracle Standby wurde die Online-Redo-Log-Sequenz übersprungen, was zu Datenverlust führte
SAPDB - Task-Absturz beim LOB-Lookup, wenn erforderliche Metadaten noch nicht gelesen wurden
Oracle liest aus dem Online-Redo-Log mit noch nicht vorbereitetem Redo.
Oracle 26ai + TDE-Verschlüsselung - Fehlerhaftes REDO-Log-Parsing verschlüsselter CDC-Änderungen
Unterstützung für die Region Kanada hinzufügen
HTTPS-Proxy-Verbindung unterstützen
Bei Verwendung eines Managed Gateways enthält das Diagnosepaket nur das letzte Protokoll.
SQL Server (MS-CDC)-Quelle – Ungültige Änderungsabfrage für Geometriespalten generiert, wenn eine Transformation zur Spaltenumbenennung konfiguriert ist
Stitch-Quelle – Dateien der Änderungsnachverfolgungstabelle nicht geschlossen, wenn Vollständiges Laden gestartet oder beendet wurde
Teradata-Quelle und -Ziel – Dokumentation zur Treibereinrichtung aktualisiert
Sicherheit – netty-codec-http auf 4.1.136.Final aktualisiert
Sicherheit – lz4-java auf 1.11.1 aktualisiert
Sicherheit – jackson-core auf 2.18.8 aktualisiert
Sicherheit – jetty-security auf 12.1.10 aktualisiert
Sicherheit – Log4j in SAP ODP- und Salesforce-Quellendpunkten aktualisiert
Unterstützung für errorMessage bei fullLoadPartial
Snowflake-Zieltask zeigte viele Fehler des Typs "Object '<>."attrep_status"' does not exist or not authorized." an.
Snowflake-Ziel mit Snowpipe Streaming-Option schlägt nach Upgrade auf 2026.5.0.169 mit XMLOutputFactory-Fehler fehl
Absturz des MySQL-Treibers beim Zugriff auf Metadaten
Null-Byte in einer Quelle wird im S3-Ziel in ein Leerzeichen konvertiert
Änderungen an LCHR-Spalten werden in CDC nicht erfasst (DB LUW-Datentyp CLOB)
Upgrade von GA aufgrund fehlender Daten in unserem SAPSLT-Task zwischen dem FULL- und CDC-Zeitraum – Task geht nun in die Wiederherstellung und schlägt fehl
psqlODBC: Konvertierung von LF in CRLF führt dazu, dass die Zeichenfolge zu groß für die Zielspalte ist
"Optimize handling when LOB size is less than" schreibt beim Full Load falsche Daten in die XMLTYPE-Spalte
Reserviertes Schlüsselwort in der Abfrage verwendet bei PostgreSQL-EDB-Quelle mit Oracle-Kompatibilitätsmodus
Syntaxproblem in der Steuertabelle attrep_history auf Databricks und Snowflake
Nach dem Upgrade auf Data Movement Gateway 2025.11.40 führten INSERT-Operationen in die Steuertabelle attrep_history zu einem Syntaxfehler.
Oracle-Quelle
Die Tabellenauswahl get_table_list schlug mit dem Oracle-Fehlercode '1406' beim Abrufen von Tabellenmetadaten in Oracle Autonomous Database-Umgebungen mit aktivierter Komprimierung fehl.
Replicate-Asset-Fehler
Verbesserte Fehlermeldungen zur Anzeige des Namens der fehlenden Tabelle im Protokoll, wenn eine Bereitstellungsaufgabe aufgrund einer fehlenden Tabelle fehlschlägt.
Landing-Task - Änderungsverfolgungstabelle
Das Entfernen und erneute Hinzufügen eines Datasets in einer Bereitstellungsaufgabe erstellte die Änderungserfassungstabelle nicht mehr, wenn diese manuell aus der Zieldatenbank gelöscht wurde.
SQL Server-Quelle – Always-Encrypted-Kompatibilität
Unterstützung für SQL Server 2012 (unter Verwendung einer internen Eigenschaft) durch Überspringen der Always-Encrypted-Validierungsprüfung hinzugefügt, da diese in SQL Server-Versionen vor 2016 nicht unterstützt wird.
SQL Server Immer verschlüsselt
Ein Problem wurde behoben, bei dem Tabellen bei beliebigen Aufgaben für beliebige Ziele aufgrund einer fehlerhaften CSV-Dateiverarbeitung bei Verwendung von Always Encrypted-Spalten ausgesetzt wurden.
Sicherheit
Die libcurl-Bibliothek wurde aktualisiert, um die Sicherheitslücke CVE-2025-14819 zu beheben.
Registrierte Daten mit Datenbanknamen, der einen Bindestrich enthält
Ein Problem wurde behoben, bei dem die Aufgabenvorbereitung registrierter Daten fehlschlug, wenn Datenbanknamen Bindestriche enthielten.
Snowflake-Ziel – COPY INTO-Timeout
Timeout-Fehler behoben, die während des „COPY INTO“-Schritts beim Laden großer Datensätze in Snowflake auftraten.
Snowflake: Snowflake ODBC-Treiber 3.15.0 (64-Bit)
Google BigQuery: Simba ODBC-Treiberversion 3.1.6.1026
STRING
WSTRING
NCLOB
CLOB
IBM DB2 for iSeries-Quelle
Nach dem Fortsetzen einer Aufgabe führte das Erfassen von Änderungen aus einer Tabelle, die binäre Dezimalspalten enthielt, zum Absturz der Aufgabe.
PostgreSQL-Quelle – CDC-Problem
Nach dem Fortsetzen einer Aufgabe, die in der Minute vor dem Anhalten keine Änderungen erfasst hatte, wurden keine Änderungen erfasst.
SSH-Konnektor – Problem bei „Verbindung testen“
Das Klicken auf „Verbindung testen“ im SSH-Konnektor gab keine Fehler im Zusammenhang mit der SSH-Konnektivität zurück, wenn es Probleme mit SSH gab.
Snowflake-Ziel – Problem beim Snowpipe-Streaming
Bei Verwendung von Snowpipe-Streaming als Lademethode wurde beim Laden sehr großer Tabellen eine übermäßige Menge an Arbeitsspeicher genutzt, was schließlich zum Absturz der Aufgabe und einer Schleife aus Lade- und Absturzvorgängen führte.
Microsoft SQL Server-Quelle (protokollbasiert) – unklarer Fehler
Wenn ein alternativer Sicherungsordner angegeben wurde, der nicht die erforderlichen Protokolle enthielt, hielt die Aufgabe mit einer unklaren Meldung an, anstatt eine Warnung auszugeben und fortzufahren.
Sicherheit
Die Komponente org.apache.logging.log4j:log4j-core wurde aufgrund bekannter Schwachstellen in den installierten Versionen auf 2.25.3 aktualisiert.
SAP ODP-Quelle – Filterproblem
Der SAP ODP-Filter wurde nicht an SAP übergeben, wenn er für einen Extraktor definiert war, der im Nur-CDC-Modus ausgeführt wurde.
SAP ODATA-Quelle – Filterproblem
Das Definieren von mehr als einem Filterbereich für eine einzelne Spalte führte dazu, dass das vollständige Laden fehlschlug.
Amazon S3
Google Cloud Storage
Kafka-Ziel: 4.0.x
IBM z/OS-Quelle: 3.2
Databricks-Ziel: 10.4 LTS und 11.3 LTS
MariaDB-Quelle und -Ziel: 10.5
PostgreSQL-Quelle und -Ziel: 13.x
MySQL-Quelle und -Ziel: 8.1
Microsoft ODBC Driver 18.3
SAP-Quelle (Anwendung)
Aufgaben, die für die Verwendung einer SAP-(Anwendungs-)Quelle mit einem Backend-Prozess konfiguriert waren, der Selbst-Commit-Ereignisse generierte, stürzten manchmal nach dem Laden einer Tabelle ab.
Microsoft Azure SQL Database-Ziel
Bei homogener Replikation trat bei der Arbeit im „transaktionalen Anwendungsmodus“ oder im „stapeloptimierten Anwendungsmodus“, der in den „Nacheinander“-Modus wechselte, ein „0 Zeilen betroffen“-Fehler auf, wenn eine DATETIME-Spalte Teil des Primärschlüssels im Ziel war.
Oracle-Quelle
Die Oracle-Aufgabe stürzt beim vollständigen Laden ab, wenn eine Tabelle eine „Long Raw“-Spalte enthält und die maximale LOB-Größe größer oder gleich 64K ist.
SAP-Extraktor-Quelle – Entladeschleife aufgrund von CDC-Abbruch
Während eines Tabellenladevorgangs werden lang laufende SAP CDC-Jobs manchmal abgebrochen. Dies führte zu einem wiederherstellbaren Fehlerzustand, bei dem das Entladen nie abgeschlossen wurde.
Sicherheit
Für die folgenden Komponenten wurde aufgrund von bekannten Sicherheitslücken ein Upgrade durchgeführt:
org.eclispe.jetty:jetty-io-Upgrade von 11.0.25 auf 11.0.26
org.apache.logging.log4j:log4j-core-Upgrade von 2.23.1 auf 2.25.3
SAP ODP
Der folgende Fehler trat während CDC auf, wenn ein Filter für eine Tabelle definiert wurde:
Invalid value for parameter "I_DIMNAME"
SAP-Extraktor
Delta funktionierte nicht mehr, wenn die Aufgabe angehalten und fortgesetzt wurde, während sich eine der Tabellen im Ladezustand befand.
SaaS-Anwendungsquelle (Workday-Berichte)
Während des vollständigen Ladens schlug die Aufgabe beim Verbinden mit dem S3-Bereitstellungsordner manchmal mit folgendem Fehler fehl:
Unable to execute HTTP request: Connect to s3.amazonaws.com:443
Das Problem wurde durch die Implementierung eines Mehrfachwiederholungsmechanismus für die Verbindung zum S3-Ordner behoben, wenn die erste Verbindung nicht erfolgreich ist.
Die CREATE SCHEMA-Berechtigung war erforderlich, selbst wenn das Schema bereits vorhanden war.
Microsoft SQL Server-Ziel
Datenverlust trat manchmal in LOB-Spalten auf und eine falsche Datenreplikation trat während CDC auf, wenn die LOB-Größe in den Aufgabeneinstellungen als unbegrenzt festgelegt war.
PostgreSQL-Ziel
Wenn das Laden der CSV-Datei in die Tabelle der Nettoänderungen fehlschlug, wurde ein wiederherstellbarer Fehler zurückgegeben (was zu einer Endlosschleife führte), anstatt in den „Nacheinander“-Anwendungsmodus zu wechseln.
MySQL-zu-MySQL-Replikation
Wenn das Schema von Quelle und Ziel sich in derselben MySQL-Instanz befand und die Replikation eine Steuertabelle enthielt, stürzte die Aufgabe manchmal mit dem Fehler „Prozess mit Signal 11 abgestürzt“ ab.
PostgreSQL-Quelle
Während CDC las die Aufgabe manchmal dieselben WAL-Einträge immer wieder, was dazu führte, dass keine Daten erfasst wurden.
Microsoft SQL Server-Quelle
Ein Fehler trat beim Dekomprimieren eines Transaktionsprotokolls auf, das verschlüsselte Blöcke enthielt. Das Problem wurde behoben, indem das Protokoll in solchen Fällen komprimiert belassen wurde.
Aufgrund einer unnötigen Validierungsprüfung für bestehende Dateien wurden beim Verwenden eines alternativen Sicherungsordners redundante Fehler angezeigt.
Die Aufgabe stürzte manchmal nach dem Aufruf von DBCC Lookup ab.
Fehler bei der Replikationsaufgabe von MySQL-Quelle zu MySQL-Ziel
Wenn ein Datensatz von einem MySQL-Schema in ein anderes, auf derselben MySQL-Serverinstanz ausgeführtes MySQL-Schema repliziert wurde und eine Kontrolltabelle in die Replikation eingeschlossen wurde, schlug CDC mit dem folgenden Fehler fehl:
Process crashed with signal 11
SAP Extractor-Konnektor: Tabelle angehalten, wenn eine Aufgabe fortgesetzt wurde
Das Fortsetzen einer Aufgabe, während sich eine Tabelle noch in vollständigen Ladevorgang befand, führte dazu, dass der Extraktionsauftrag fehlschlug und die Tabelle angehalten wurde.
PostgreSQL-Ziel –Inkorrektes Fehlerverhalten
Wenn das Laden der CSV-Datei in die Tabelle der Nettoänderungen in Qlik fehlschlug, wurde ein wiederherstellbarer Fehler zurückgegeben (was zu einer Endlosschleife führt), anstatt zur Nacheinander-Anwendung zu wechseln.
Lite-Konnektoren für SaaS-Anwendungen
Während des vollständigen Ladevorgangs schlugen Aufgaben manchmal mit dem folgenden Fehler fehl, da die Verbindung von Amazon aktiv verweigert wurde:
Unable to execute HTTP request: Connect to s3.amazonaws.com:443 Das Problem wurde durch die Implementierung eines Wiederholungsmechanismus mit maximal drei Wiederholungen vor Auftreten des Fehlers behoben.
Microsoft SQL Server-Quelle – Fehler bei der Protokolldekomprimierung
Ein Fehler trat beim Dekomprimieren eines Transaktionsprotokolls auf, das verschlüsselte Blöcke enthielt. Das Problem wurde behoben, indem das Protokoll in solchen Fällen komprimiert belassen wurde.
Netsuite Suite Analytics-Quelle - CDC-Wiederaufnahme-Fehler
Beim Wiederaufnehmen einer CDC-Aufgabe nach einer Änderung an der Quelle schlug die Aufgabe manchmal mit dem folgenden Fehler fehl:
Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported. Microsoft SQL Server-Quelle – falsche Fehler
Aufgrund einer unnötigen Validierungsprüfung für bestehende Dateien wurden beim Verwenden eines alternativen Sicherungsordners redundante Fehler angezeigt.
Sie müssen einen Katalog in den Konnektor-Einstellungen auswählen
Databricks 14.2 oder höher
IBM DB2 for iSeries-Quelle: Unterstützung für die folgenden Datentypen wurde hinzugefügt: BINARY-DECIMAL und ZONED-DECIMAL
Databricks-Ziel: In früheren Versionen wurde BYTES STRING zugeordnet. Ab dieser Version wird es VARCHAR (Länge in Bytes) zugeordnet.
Google Cloud BigQuery-Ziel: Der JSON-Untertyp wird jetzt vom Google Cloud BigQuery-Ziel unterstützt.
MariaDB (lokal) und Amazon RDS für MariaDB: 11.4
MySQL (lokal), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL und Microsoft Azure Database for MySQL – Flexible Server: 8.4
PostgreSQL (lokal), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL und Microsoft Azure Database for PostgreSQL – Flexible Server: 17.x
IBM DB2 for LUW
IBM DB2 for z/OS
End-of-Life-Quellen und -Ziele: Die Unterstützung für Microsoft Azure Database for MySQL und Microsoft Azure Database for PostgreSQL, die von Microsoft offiziell eingestellt wurden, wurde eingestellt.
End-of-Life-Quellversionen: Die Unterstützung für IBM DB2 for iSeries 7.2, die EOL ist, wurde eingestellt.
End-of-Life-Treiberversionen: Die Unterstützung für IBM Data Server Client 11.5.6 wurde eingestellt.
HSTS-Unterstützung
HSTS war auf dem Rechner für Qlik Data Gateway – Datenbewegung nicht aktiviert.
Data Movement Gateway-Installation fehlgeschlagen
Die Installation von Data Movement Gateway auf Redhat Version 9.7 schlug mit dem Fehler „OPENSSL_3.4.0 nicht gefunden“ fehl.
PostgreSQL 15.7-Quelle – Keine Daten während CDC erfasst
Während CDC las die Aufgabe immer wieder dieselben WAL-Einträge und verarbeitete dieselbe Stream-Position.
SAP ODP – CDC-Fehler
Nachdem eine CDC-Aufgabe während Änderungen (z. B. aufgrund eines Konnektivitätsproblems) angehalten wurde, führte die Wiederaufnahme der Aufgabe manchmal zu Zeilenlängenfehlern.
Fehlende Quellverbindungsprotokolle
Quellverbindungsprotokolle waren nach dem Ausführen einer Aufgabe, die einen Vorschau- oder Lite-Konnektor verwendete, nicht verfügbar.
Überwachung – Fehlende Informationen
Die Registerkarte Überwachen zeigte keine Fehlermeldung an, wenn eine Tabelle während der CDC-Phase einer Aufgabe für „Vollständiges Laden und CDC“ angehalten wurde.
Produktionswarnungen in der Region EU-Central-1
Bei Kunden in der Region EU-Central-1 kam es bei der Verwendung von Data Movement Gateway häufig zu Produktionsalarmen.
Jira-Datenquelle: Hängende Tabelle
Bei der Replikation von Daten aus Jira blieb die Tabelle USERS bei der ersten Ausführung im Status „In Warteschlange gestellt“ hängen, während die anderen Tabellen erfolgreich geladen wurden.
Überwachungsproblem
Die CDC-Überwachung fehlte in der Aufgabenüberwachung.
Fehler bei der Oracle-to-Oracle-Replikation
Oracle-zu-Oracle-Replikationsaufgaben schlugen manchmal aufgrund einer falschen Berechnung der String-Länge fehl.
Sicherheit
Die Java-Serverkomponente (sqlite-jdbc) wurde aufgrund einer bekannten Sicherheitslücke in früheren Versionen auf 3.47.0 aktualisiert.
Fehler beim Starten einer Aufgabe
Der Fehler „Keine Lizenz für die Datenbank“ trat manchmal auf, wenn eine Aufgabe zum ersten Mal im Wiederaufnahmemodus gestartet wurde, ohne zuvor gestartet worden zu sein.
Salesforce-Konnektorproblem mit neuen Datensätzen
Das Hinzufügen neuer Datensätze zu einer Bereitstellungsaufgabe mit einer Salesforce-Datenquelle führte dazu, dass die Aufgabe mit dem Fehler „Tabelle nicht vorhanden“ fehlschlug.
Verbindungsfehler bei Speicheraufgaben
Speicheraufgaben schlugen mit einem Verbindungsfehler fehl, der einen Neustart des Gateways erforderte.
DB2-Treiberinstallation fehlgeschlagen
Die Installation des DB2-Treibers schlug fehl, wenn der Zugriff auf den Ordner /tmp eingeschränkt war.
Verbindungsaufbau zu Qlik Cloud dauerte zu lange
Nach einem Upgrade auf Data Movement Gateway Version 2024.11.65 dauerte der Verbindungsaufbau zu Qlik Cloud übermäßig lange. Das Problem wurde durch Hinzufügen eines Abbruch-Tokens mit einer zweiminütigen Zeitüberschreitung behoben.
Dienst stürzte nach Upgrade ab
Nach dem Upgrade auf Data Movement Gateway 2024.11.67 stürzte der externe Datenanbieterdienst (der von Lite-Konnektoren verwendet wird) aufgrund von Zugriffsbeschränkungen auf den Ordner /tmp ab.
Sicherheits-Fixes
Die folgenden Komponenten wurden aufgrund von bekannten Sicherheitslücken durch neuere Versionen ersetzt:
SQLite 3.49.1
Java Runtime Engine 17.0.15
org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)
org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)
Wissensdatenbanken – Dateifreigabe (SMB)
Die Verbindung zu SMB schlug mit dem folgenden Fehler fehl:
SmbConnection' object has no attribute 'docs_path'
Vorbereitungsfehler
Wenn eine Aufgabe zum zweiten Mal vorbereitet wurde und nach der ersten Vorbereitung eine DDL auftrat, schlug der Vorbereitungsvorgang manchmal mit dem folgenden Fehler fehl (Auszug):
Could not find match between landing metadata with gateway task metadata for the following tables: <name>
Problem mit der Datenvorschau
Die Option für die Datenvorschau funktionierte nicht, wenn ein Microsoft SQL Server-Ziel verwendet wurde.
Unterstützung für Qlik Cloud Government DoD hinzugefügt
In dieser Version wurde Unterstützung für die Verwendung von Data Movement Gateway mit Qlik Cloud Government DoD hinzugefügt.
Steuerung, wann die Richtlinie zur Behandlung von Tabellenfehlern ausgelöst wird
Zu den Einstellungen für die Behandlung von Tabellenfehlern bei Replikation und Bereitstellung wurde eine neue Einstellung für Anzahl der Wiederholungsversuche vor der Rückgabe eines Tabellenfehlers hinzugefügt. Bisher wurde beim Auftreten eines Tabellenfehlers die Tabelle angehalten oder die Aufgabe gestoppt (je nach der gewählten Fehlerbehandlung). Dies führte manchmal dazu, dass Tabellen während des SaaS-Anwendungswartungsfensters ausgesetzt wurden. Mit dieser neuen Option ist es nun möglich, festzulegen, wie oft die Tabelle erneut versucht werden soll, bevor die Richtlinie zur Behandlung von Tabellenfehlern ausgelöst wird. Diese Option ist besonders nützlich, wenn Ihre SaaS-Anwendung regelmäßig gewartet wird, da Sie die Standardanzahl der Wiederholungsversuche (3) außer Kraft setzen können, sodass die Wartung abgeschlossen werden kann, ohne dass die Richtlinie zur Behandlung von Tabellenfehlern ausgelöst wird.
Vorschaudaten enthalten jetzt auch Spalten-Datentypen
Bei der Vorschau einer SQL-Transformation enthalten die Ergebnisse jetzt die Datentypen der Spalten.
Rollover und Bereinigung von Replikationsprotokolldateien
Für die Replikationsprotokolldateien auf dem Gateway-Rechner wurde eine Rollover- und Bereinigungsrichtlinie implementiert. Die Rollover-Richtlinie verhindert, dass die Protokolldateien zu groß werden (was sich auf die Leistung und die Analyse auswirkt), während die Bereinigungsrichtlinie verhindert, dass sich Protokolle ansammeln und übermäßig viel Speicherplatz belegen.
Falscher Tabellenstatus nach Ladevorgang
Beim Laden einer ausgesetzten Tabelle war der in der Überwachung angezeigte Tabellenstatus manchmal nicht korrekt.
Zeitüberschreitung bei Vorbereitungsvorgang
Bei der Vorbereitung einer Bereitstellungsaufgabe nach dem Hinzufügen eines Datensatzes kam es manchmal zu einer Zeitüberschreitung bei der Katalogisierung von Extras. Das führte dazu, dass der Vorbereitungsvorgang fehlschlug.
Vorbereitungsfehler beim Hinzufügen einer neuen Tabelle
Beim Hinzufügen einer neuen Tabelle zu einer Replikations-Aufgabe und Klicken auf Vorbereiten tritt manchmal der folgende Fehler auf:
Prepare data task failed: Object reference not set to an instance of an object.
Behobene Schwachstellen
Die folgenden Data Movement Gateway Setup-Dateien wurden auf Versionen ohne bekannte Schwachstellen aktualisiert:
java
jetty-io-<version>.jar
jetty-http-<version>.jar
spring-expression-<version>.jar
spring-core-<version>.jar
spring-context-<version>.jar
IBM DB2 for LUW-Verbindungsfehler
Nach dem Upgrade auf Data Movement Gateway 2024.11.54 schlug die Verbindung zur Datenbank fehl.
Vorbereitungsfehler
Das Vorbereiten der Datenaufgabe schlug fehl, wenn die Aufgabe mit einer SaaS-Anwendungsquelle und einem Google BigQuery-Ziel konfiguriert war.
Aufgaben mit Java-basierten Quellen schlugen nach dem Upgrade fehl
Aufgaben mit Java-basierten Datenquellen schlugen nach einem Upgrade auf Data Movement Gateway 2024.11.54 fehl.
Snowflake-Ziel: Aufgaben wechselten während CDC manchmal in den „Nacheinander“-Modus.
Wenn während CDC eine STRING-Spalte in einer Quelltabelle 65536 Bytes überschritt, wurden die Daten in der STRING-Zielspalte abgeschnitten. Die Aufgabe wechselte dann in den „Nacheinander“-Anwendungsmodus.
Sicherheit
Die Dateien java_file_factory.jar und arep-google-cloud.jar wurden auf Versionen ohne bekannte Sicherheitslücken aktualisiert.
Vollständiges Laden ohne Berücksichtigung der Aufgabeneinstellungen
Beim vollständigen Laden verwarf die Aufgabe die Zieltabellen und erstellte sie neu, obwohl die Aufgabe mit Wenn Zieltabelle bereits vorhanden ist: Ignorieren konfiguriert war.
Falsche Anzahl von Datensätzen
Nach dem Anhalten und Vorbereiten einer bestehenden Replikationsaufgabe mit dem Replikationsmodus „Vollständiges Laden und Änderungen anwenden“ wurde die Anzahl der verarbeiteten CDC-Datensätze erhöht, was zu einer falschen Anzahl führte.
JIRA-Quellkonnektor
Wenn ein neuer Datensatz zu einer bestehenden Aufgabe hinzugefügt wurde, schlug die Aufgabe mit der folgenden Fehlermeldung fehl:
Could not find a match between landing metadata and gateway task metadata for the following tables: <name>
Testverbindung fehlgeschlagen
Testverbindungen zu SAP- und SQL-basierten Quellen schlugen fehl.
Upgrade
Nach dem Upgrade des Gateways wurden Aufgaben manchmal nicht wie erwartet fortgesetzt.
Microsoft Fabric: Verbindungsproblem
Wenn Sie mit dem Microsoft Fabric-Konnektor nach Datenbanken suchten, trat der folgende Fehler auf (Auszug):
Create connection failed'' with error 'java.lang.NoSuchMethodError
Das Problem wurde durch eine Inkompatibilität mit dem JDBC-Treiber 12.9.0-preview.jar verursacht, der mit dem Treiberinstallations-Dienstprogramm installiert wurde. Das Dienstprogramm ist jetzt aktualisiert und installiert einen kompatiblen Treiber.
Neustart des Java-Servers fehlgeschlagen
Nach einem Upgrade von Data Movement Gateway oder einem Neustart des Data Movement Gateway-Dienstes konnte der Java-Server (erforderlich für Java-basierte Konnektoren wie SAP ODP) nicht gestartet werden.
Verstärkung der Sicherheit
Die End-to-End-Verschlüsselung wurde für Protokollierbefehl-Nutzlasten, die vom Kunden gehostete Protokolle vom Qlik Cloud Aktivitätscenter „Administration“ zurückgaben, nicht gegenseitig durchgesetzt.
Die von Data Movement Gateway verwendete SQLite-Version wurde aufgrund einer Sicherheitslücke in Version 3.42.0 aktualisiert (CVE-2023-7104).
Die von Data Movement Gateway verwendete com.h2database-Datei wurde aufgrund einer Sicherheitslücke in Version h2-2.1.212 aktualisiert (CVE-2022-45868).
Problem mit parallelem Laden
Wenn ein Datensatz mit parallelem Laden definiert wurde und das vollständige Laden anschließend deaktiviert wurde, führte die Aufgabe dennoch ein vollständiges Laden dieses Datensatzes durch, auch wenn sie ab einem Zeitstempel wieder aufgenommen wurde.
SAP ODP-Quelle: Fehler bei der Metadatengenerierung
Die Metadatengenerierung konnte für Tabellen mit einem Punkt im Namen nicht abgeschlossen werden (z. B. AfA-Bereich).
Aufgabenwiederherstellung
Aufgaben konnten nur einmal wiederhergestellt werden, wenn sie während des vollständigen Ladens aufgrund eines Umgebungsproblems fehlschlugen. Jetzt werden sie so oft wiederhergestellt, wie unter Einstellungen > Fehlerbearbeitung > Umgebungsbezogene Fehler > Maximale Anzahl Wiederholungsversuche festgelegt ist.
IBM DB2 for LUW-Quelle
Unterstützt jetzt den BOOLEAN-Datentyp (ab DB2 for LUW 11.5).
Google BigQuery-Ziel
Unterstützt jetzt den BIGNUMERIC-Datentyp.
Databricks-Ziel
15.4 LTS
Oracle-Quelle und -Ziel
23ai
Databricks-Treiber-Update
Für das Verschieben von Daten zu Databricks ist jetzt der Simba Spark ODBC-Treiber 2.8.2 oder höher erforderlich. Kunden sollten entweder das Treiberinstallationsprogramm ausführen oder den Treiber manuell installieren.
Siehe auch: Treibereinrichtung
Konnektor für SAP HANA (Datenbank): Fehler bei der Erstellung der __CT-Tabelle
Wenn der Replikationsmodus auf Änderungen speichern festgelegt war und die Tabelle eine .INCLUDE-Spalte enthielt, konnte die Aufgabe die __CT-Tabelle im Ziel nicht erstellen.
Lake-Bereitstellungsaufgabe: Irreführender Fehler
Die Aufgabe schlug fehl und es wurde die Fehlermeldung „Keine Lizenz für Datenbank“ angezeigt, wenn der geheime Schlüssel für Azure Data Lake Storage abgelaufen war.
Amazon S3-Zielkonnektor: Alte Dateien wurden nicht gelöscht
Ältere Dateien wurden bei der Ausführung einer neuen Aufgabe nicht gelöscht. Dies konnte dazu führen, dass die Aufgabe aufgrund von duplizierten Datensätzen oder nicht übereinstimmenden Datensätzen fehlschlug.
SAP HANA (Datenbank)-Quelle: Verbindungsfehler aufgrund einer benutzerdefinierten Tabelle
Bei der Auswahl einer benutzerdefinierten Tabelle für die Replikation trat der Fehler „Funktion nicht unterstützt: benutzerdefinierter Typ kann nicht ausgewählt werden“ auf. Das Problem wurde behoben, indem benutzerdefinierte Tabellen (die nicht unterstützt werden) aus der Tabellenauswahl ausgeschlossen wurden.
Microsoft Fabric-Zielkonnektor: Fehler bei der Wiederherstellung
Der Fehler „Konvertierung fehlgeschlagen“ trat manchmal nach der Wiederherstellung eines Verbindungsfehlers auf, der während CDC aufgetreten war.
Databricks-Zielkonnektor: CDC-Fehler beim Arbeiten ohne LOB-Unterstützung
Wenn die LOB-Unterstützung deaktiviert war, schlug CDC beim Versuch, die Änderung in die __ct-Tabelle einzufügen, mit der Meldung „nicht genügend Datenspalten“ fehl. Dieser Fehler trat bei der Arbeit im Modus „Änderungen speichern“ auf. Dies ist der einzige Modus, der für Bereitstellungsaufgaben zur Verfügung steht.
MySQL-Quelle zu Snowflake-Ziel: CDC-Fehler
Bei der Replikation einer „NOT NULL“-Spalte mit dem Datentyp „mediumtext“ während CDC schlug die Aufgabe manchmal mit folgendem Fehler fehl:
A NOT NULL constraint violation occurred on LOB column from MySQL source
Microsoft Fabric-Zielkonnektor: Abschneidefehler
Beim Einfügen einer VARCHAR-Spalte trat der folgende Abschneidefehler auf:
String or binary data would be truncated while reading column of type 'VARCHAR'
Das Problem wurde durch Vervielfältigen der VARCHAR-Spalte in Microsoft Fabric behoben.
Metadaten wurden nicht aktualisiert
Wenn ein Primärschlüssel in der Quelle geändert wurde, wurden die Ziel-Metadaten nach einem Neuladen nicht aktualisiert.
Amazon S3-Ziel
Nach dem Erstellen und Ausführen einer neuen Aufgabe wurden verbleibende Dateien aus früheren Aufgaben nicht aus dem Tabellenspeicherort gelöscht.
SAP HANA-Quelle
Der Versuch, eine Verbindung zu einer SAP HANA-Quelle mit Hilfe von protokollbasiertem CDC herzustellen, führte zu folgendem Fehler:
Cannot select user-defined type
Amazon S3-, Google Cloud Storage- und Qlik Cloud-Ziele: Anführungszeichen für leere String-Werte
Leere Strings werden jetzt in der CSV-Datei in Anführungszeichen gesetzt, um sie von NULL-Werten zu unterscheiden.
Databricks-Ziel: Daten stimmen nicht überein
In bestimmten Szenarien kann es zu einer Nichtübereinstimmung zwischen den Quell- und Zieldaten kommen.
Databricks-Ziel: CDC-Fehler durch Deaktivierung der LOB-Unterstützung verursacht
Die Deaktivierung der LOB-Unterstützung in der Bereitstellung führte dazu, dass CDC mit folgendem Fehler fehlschlug (Auszug):
Cannot write to '<name>__ct', not enough data columns
Microsoft Fabric-Ziel: Fehler in der Verbindung führt zu CDC-Ausfall
Das Anwenden von Änderungen auf das Ziel nach der Wiederherstellung nach einem Verbindungsfehler schlug manchmal mit der Fehlermeldung „Konvertierung fehlgeschlagen“ fehl.
Microsoft Fabric-Ziel: Problem mit der Datentypkonvertierung
Während einer Speicheraufgabe wurde der Datentyp NVARCHAR(3500) fälschlicherweise in VARCHAR(10500) statt in VARCHAR(8000) (dem maximal zulässigen Wert) konvertiert, was zu einem Fehler führte.
IBM DB2 für LUW-Quelle: Unterstützung für GRAPHIC-Datentyp mit Codepage 941 (Japanisch)
Wenn die Quelltabelle einen GRAPHIC-Datentyp mit der Codepage 941 (Japanisch) enthalten hätte, wäre der folgende Fehler aufgetreten (Auszug):
Unexpected CCSID '941' in column 'PNTNM'
Oracle-Quelle
Nach dem Upgrade von Oracle 19g auf den Patch Juli 2024 wurden UPDATE-Vorgänge manchmal nicht erfasst, und es wurde die folgende Warnung angezeigt:
A compressed row cannot be parsed
Snowflake-Ziel
Wenn die Aufgabeneinstellungen für die Erstellung des Kontrolltabellenschemas konfiguriert waren, schlug die Aufgabe mit folgendem Fehler fehl:
Failed to delete directory
Geplante CDC
Wenn eine Aufgabe für regelmäßige Ausführung geplant war, schlug sie manchmal mit folgendem Fehler fehl:
The task stopped abnormally
Hängende Umwandlungs- und Speicheraufgaben
Umwandlungs- und Speicheraufgaben blieben manchmal übermäßig lange in der Warteschlange hängen.
Metadata Manager
Aufgaben schlugen fehl, wenn das Funktions-Flag use_manipulation_pk_for_apply mit der Replikation von Speicheränderungen verwendet wurde.
Lange Zeitüberschreitung führte zu Problemen mit SaaS-Anwendungsquellen
Die S3-Zeitüberschreitung wurde auf 6 Stunden verlängert, um Probleme zu vermeiden, die sich aus längeren Zeitüberschreitungen ergeben, z. B. Verlust des Tokens zum Herunterladen der Dateien.
Dem Snowflake -Zielkonnektor wurde Schlüsselpaar-Authentifizierung hinzugefügt
Schlüssel/Paar bietet eine robustere Methode zur Authentifizierung als Benutzer/Passwort für die Verbindung zu Snowflake mit Ihren Servicekonten. Dieser Ansatz wird für Arbeitslasten wie das Laden von Daten (Replikations- oder Bereitstellungsaufgaben) und Umwandlungen empfohlen.
Unterstützung für den parallelen Abruf von Metadaten aus mehreren Tabellen
In früheren Versionen schlug das Aktualisieren der Metadaten eines vorhandenen oder neu hinzugefügten Datensatzes manchmal mit einem Fehler fehl. Diese Erweiterung stellt sicher, dass Metadaten ohne Probleme aus mehreren Tabellen parallel abgerufen werden können.
Datentyp DECIMAL wurde in Google BigQuery fälschlicherweise STRING zugeordnet
Wenn eine Quelltabelle eine Spalte mit einem DECIMAL-Datentyp enthielt – zum Beispiel DECIMAL (38, 20) –, schlug die Vorbereitung der Speicheraufgabe in Google BigQuery mit folgendem Fehler fehl (Auszug):
Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]
Das Problem wurde gelöst, indem der Quelldatentyp DECIMAL in Google BigQuery DECIMAL zugeordnet wurde.
Schemaregelfehler
Nach dem Ändern einer bestehenden Schemaregel in einer Datenaufgabe trat folgender Fehler auf:
QRI SQL error not implemented
Fehlende /QTQVC/QRI Tabelle aus SAP-Transport
Bei der Vorbereitung einer Bereitstellungsaufgabe, bei der eine Verbindung mit einer SAP-Anwendungsquelle hergestellt wurde, wurde die Aufgabe zwar erfolgreich abgeschlossen, aber in der Protokolldatei repsrv.log wurde der folgende Fehler gemeldet:
Invalid object name 'hk1./QTQVC/QRI'
Unterstützung für Metadatenänderungen in Replikations- und Lake-Bereitstellungsaufgaben ohne Notwendigkeit zum Verwerfen und Neuerstellen aller Tabellen
Bisher wurden alle Tabellen bei einer Metadatenänderung verworfen und neu erstellt, selbst wenn die Metadatenänderung nicht alle Tabellen betraf. Jetzt werden nur die geänderten Tabellen verworfen und neu erstellt, wodurch die Leistung verbessert wird.
Unterstützung automatischer Ladevorgänge neuer Tabellen in Replikationsaufgaben
Tabellen, die in der Quelldatenbank während der Replikationsdatenaufgabe erstellt wurden und mit dem Einschließen-Muster übereinstimmen, werden jetzt automatisch während der Erfassung von Änderungsdaten (CDC) aufgenommen.
Verbesserungen der Microsoft SQL Server-Quelle (MS-CDC)
Zeitstempel- und Transaktions-ID-Beibehaltung
Bisher hat Qlik Talend Data Integration beim Auslesen mehrerer Transaktionen aus Microsoft SQL Server (MS-CDC) die Transaktions-ID und den Zeitstempel nur der ersten Transaktion beibehalten. Dies hat auf dem Ziel so ausgesehen, als ob die Datensätze Teil einer einzigen Transaktion seien. Jetzt behält Qlik Talend Data Integration die Original-Transaktions-ID und den Original-Zeitstempel für jeden einzelnen Datensatz bei. Davon profitieren Kunden, die die Kopfzeilenspalten für Transaktions-ID und Zeitstempel in Änderungstabellen nutzen möchten.
Reihenfolge von Transaktions-ID-Bytes
Bisher wurden die Bytes in der Transaktions-ID in umgekehrter Reihenfolge codiert. Ab dieser Version werden die Bytes in der richtigen Reihenfolge codiert. Informationskunden, die lieber die bisherige Codierung beibehalten möchten, können dies mithilfe von internen Parametern tun. Um Details zu erhalten, wenden Sie sich an den Qlik-Support.
Unterstützung für das Caching der austauschbaren Authentifizierung durch SHA-2 mit MySQL
Qlik Talend Data Integration unterstützt jetzt das Caching der austauschbaren Authentifizierung durch SHA-2 (caching_sha2_password) bei der Arbeit mit MySQL-Quellen oder -Zielen, entweder lokal oder in der Cloud. In früheren Versionen wurde nur die native austauschbare Authentifizierung (mysql_native_password) unterstützt.
Änderungen an der Datentypzuordnung für Amazon Redshift
BYTES- und BLOB-Datentypen werden für Amazon Redshift nun VARBYTE statt VARCHAR zugeordnet.
Datenquellen
PostgreSQL 16.x
Zielplattformen
Treiber
SAP-Quelle (Anwendung)
Wenn eine erfasste Cluster-Dokumentänderung alle Zeile aller ihrer erfassten Tabellen gelöscht hat, wurden Meldungen über eine fehlende LÖSCHEN-Vorgänge und unnötige Assertions angezeigt.
Sicherheitsschwachstellen
Die Microsoft Authentication Library für Java (MSAL4J) und Bouncy Castle wurden auf Versionen ohne bekannte Schwachstellen aktualisiert.
Snowflake-Ziel
Oracle-Quelle
Wenn eine Aufgabe mit einer Oracle-Quelle fortgeführt wurde, hat die Aufgabe weiterhin auf ein gelöschtes archiviertes Wiederholungsprotokoll gewartet anstatt einen Abbruch mit einer entsprechenden Fehlermeldung durchzuführen.
Snowflake-Metadatenschema
Ab dieser Version wird das Snowflake-Metadatenschema (für bereitgestellte Dateien) erstellt, wenn es nicht vorhanden ist.
Nachdem eine Änderung an einer Regel Datensatz umbenennen vorgenommen wurde (die den Tabellennamen mit dem Schemanamen zusammenfasste) und eine Ansicht zur Bereitstellungsaufgabe hinzugefügt wurde, schlug die Vorbereiten-Aufgabe mit dem folgenden Fehler fehl:
QRI SQL error not implemented.
Beim Verschieben von Daten von SQL Server löste ein fehlender Spaltenname in den Tabellendefinitionen eine Benachrichtigungs-Endlosschleife in der Datei repsrv.log mit folgender Meldung aus:
mssql_resolve_sqlserver_table_column_attributes(...) failed to find column
Paralleles Abrufen von Metadaten
Unterstützung für das gleichzeitige Abrufen von Metadaten aus mehreren Tabellen wurde hinzugefügt.
Verbesserte Überwachungsleistung
Die Überwachungsinformationen für Bereitstellungs- und Replikationsaufgaben werden jetzt alle 10 Sekunden (statt alle 60 Sekunden) aktualisiert, was genauere Informationen zum aktuellen Status liefert.
Neu unterstützte Region
Japan wird jetzt als Qlik Cloud Mandantenregion unterstützt.
Aufgaben mit einer MySQL-Quelle schlugen manchmal während CDC mit folgendem Fehler fehl:
Read next binary log event failed; mariadb_rpl_fetch error 0Error reading binary log.
Wenn die Quelltabelle CLOB-Spalten enthielt und der Wert für „LOB-Größe begrenzen“ 10240 überschritt, schlug die Replikation in Snowflake mit dem folgenden Fehler fehl:
Invalid character length: 0
Neu unterstützte Datenquellenversionen und -editionen
Die folgenden Datenquellenversionen werden jetzt unterstützt:
Neu unterstützte Zieldatenplattformen und-editionen
Die folgenden Datenzielversionen werden jetzt unterstützt:
Neu unterstützte SAP HANA-Treiberversion
Kunden mit einer SAP HANA-Quelle, die Data Movement Gateway unter Red Hat Linux 9.x installieren möchten, müssen die SAP HANA ODBC 64-Bit-Treiberversion 2.0.19 oder höher installieren.
Die Unterstützung für die folgenden Datenquellenversionen wurde eingestellt:
IBM DB2 for LUW-Quellkonnektor
Die Verbindung zu IBM DB2 for LUW schlug fehl, wenn die Größe der für die Verbindung benötigten Dateien (z. B. das SSL-Clientzertifikat und die Schlüsselspeicherdatei) größer als 4 KB waren.
Treiber für IBM DB2 for LUW- und IBM DB2 for z/OS-Quellkonnektoren
Die DB2-Treiberinstallation schlug fehl, wenn das Treiberinstallations-Dienstprogramm verwendet wurde.
Alle PostgreSQL-basierten Datenquellen – Unterstützung für Mehrbereichsdatentypen: Die folgenden Mehrbereichsdatentypen werden jetzt für alle PostgreSQL-basierten Datenquellen (lokal und Cloud) unterstützt.
Neue unterstützte Datenquellenversionen. Die folgenden Datenquellenversionen werden jetzt unterstützt:
Neue unterstützte Zieldatenplattformversionen. Die folgenden Datenzielversionen werden jetzt unterstützt:
Treiberversionen. Die folgenden ODBC-Treiberversionen werden jetzt unterstützt:
Ende der Unterstützung für Datenquellenversionen. Die Unterstützung für die folgenden Datenquellenversionen wurde eingestellt:
Ende der Unterstützung für Zieldatenplattformversionen. Die Unterstützung für die folgenden Datenzielversionen wurde eingestellt:
Wenn eine Replikationsaufgabe in Data Movement Gateway fehlgeschlagen war und automatisch wiederhergestellt wurde, wurde der Wiederherstellungsstatus nicht an das Bereitstellungsdatenobjekt in Qlik Cloud gemeldet.