Aktualisierung von Data Movement Gateway

Unterstützung für die Installation von Data Movement Gateway unter Red Hat 9.x

Kunden können jetzt Data Movement Gateway unter Red Hat 9.x oder jeder anderen entsprechenden und kompatiblen Linux-Distribution installieren.

Einrichten von Data Movement Gateway

Änderungen an den Data Movement Gateway-Dienstbefehlen

Die Befehle für das Anhalten, Starten und Prüfen des Status des Data Movement Gateway-Diensts haben sich geändert.

Data Movement Gateway-Dienstbefehle

Änderungen an der Datentypzuordnung für Amazon Redshift

• Der Datentyp BOOLEAN, der in Amazon Redshift VARCHAR(1) zugeordnet war, wird jetzt BOOLEAN zugeordnet.
• Die Datentypen BYTES und BLOB, die in Amazon Redshift VARCHAR(1) zugeordnet waren, werden jetzt VARBINARY (Länge) zugeordnet.

Neu unterstützte Datenbanken, Datenbankversionen und Treiberversionen

In diesem Abschnitt werden die neu unterstützten Datenbanken, Datenbankversionen und Treiberversionen aufgelistet.

• Neu unterstützte Datenquellenversionen und -editionen

  Die folgenden Datenquellenversionen werden jetzt unterstützt:

  • Azure Database for MySQL – Flexibler Server (unterstützt über den MySQL-Quellkonnektor)
  • MariaDB 10.4 – 10.11 (zuvor 10.4 und 10.5)

• Neu unterstützte Zieldatenplattformen und-editionen

  Die folgenden Datenzielversionen werden jetzt unterstützt:

  • Azure Database for MySQL – Flexibler Server (unterstützt über den MySQL-Zielkonnektor)
  • Databricks: Databricks 13.3 LTS und Serverless SQL Warehouse

• Neu unterstützte SAP HANA-Treiberversion

  Kunden mit einer SAP HANA-Quelle, die Data Movement Gateway unter Red Hat Linux 9.x installieren möchten, müssen die SAP HANA ODBC 64-Bit-Treiberversion 2.0.19 oder höher installieren.

Ende der Unterstützung für Datenbankversionen

Dieser Abschnitt enthält Informationen zu Datenbankversionen, deren Unterstützung beendet wurde.

• Die Unterstützung für die folgenden Datenquellenversionen wurde eingestellt:

  • Oracle 11.x
  • SAP HANA 1.0

Behobene Probleme

• Wenn Data Movement Gateway ohne Angabe eines Serverkennworts installiert wurde, konnten der Mandant und Proxy-URLs nicht in einem Befehl konfiguriert werden.
• Beim Verschieben von Daten aus einer Salesforce-Datenquelle (SaaS-Anwendung) wurden zahlreiche redundante Warnungen gedruckt, was die Datenladeleistung beeinträchtigte.
• Wenn beim Abrufen von Änderungen für eine SaaS-Anwendungsdatenquelle ein Fehler beim Abrufen der Änderungen für eine der Tabellen auftrat, wurde diese Tabelle ausgesetzt und aus der Pipeline entfernt. Wenn jetzt ein Fehler auftritt, versucht die Aufgabe bis zu drei Mal, die Änderungen abzurufen, bevor die Tabelle ausgesetzt wird.

Neue Data Lake-Ziele für Replikationsprojekte

Wir erweitern fortlaufend die unterstützen Ziele für das Replikationsprojekt in Qlik Cloud Data Integration. Neben Amazon S3 können Sie jetzt Azure Data Lake Storage (ADLS) und Google Cloud Storage (GCS) für die Data Lake-Zustellung in den Dateiformaten Parquet, JSON oder CSV auswählen.

Behobene Probleme:

• IBM DB2 for LUW-Quellkonnektor

  Die Verbindung zu IBM DB2 for LUW schlug fehl, wenn die Größe der für die Verbindung benötigten Dateien (z. B. das SSL-Clientzertifikat und die Schlüsselspeicherdatei) größer als 4 KB waren.

• Treiber für IBM DB2 for LUW- und IBM DB2 for z/OS-Quellkonnektoren

  Die DB2-Treiberinstallation schlug fehl, wenn das Treiberinstallations-Dienstprogramm verwendet wurde.

Unterstützung für Microsoft Fabric als Daten-Pipeline-Ziel

Microsoft Fabric wird der immer länger werdenden Liste der Data Warehouses hinzugefügt, die als Ziele in Daten-Pipeline-Projekten verwendet werden können.

Behobene Probleme:

Die Snowflake-Treiberversion im Treiberinstallations-Dienstprogramm wurde aktualisiert.

Erweiterte Unterstützung für private Verbindungen

Eine private Verbindung kann verwendet werden, um zu gewährleisten, dass Ihr Datenverkehr sicher und konform ist. Sie vereinfacht sowohl das Netzwerkmanagement als auch die Sicherheit Ihrer VPC (Virtual Private Cloud), ohne geöffnete eingehende Firewall-Ports, Proxy-Geräte oder Routingtabellen zu benötigen. Qlik Cloud Data Integration unterstützt bereits private Verbindungen zu Daten-Pipeline-Zielen von Snowflake, Microsoft SQL Server und Amazon S3. Ab dieser Version können Kunden zusätzlich private Verbindungen nutzen, wenn sie Daten zu Databricks, Microsoft Azure Synapse, Google BigQuery und Amazon Redshift verschieben.

PostgreSQL-basierte Datenquellen

• Alle PostgreSQL-basierten Datenquellen – Unterstützung für Mehrbereichsdatentypen: Die folgenden Mehrbereichsdatentypen werden jetzt für alle PostgreSQL-basierten Datenquellen (lokal und Cloud) unterstützt.

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud for PostgreSQL-Datenquelle – Unterstützung für Nicht-Superuser-Rolle: Der Benutzer, der im PostgreSQL-Konnektor angegeben ist, benötigt nicht mehr die Superuser-Rolle, um Daten von einer AWS Aurora Cloud for PostgreSQL-Datenquelle zu verschieben. Das ist besonders nützlich für Organisationen mit Unternehmenssicherheitsrichtlinien, die keine Zuweisung von Superuser-Zugriff zu nicht berechtigten Benutzern zulassen.

Microsoft Azure SQL (MS-CDC)-Datenquelle: Unterstützung für Georeplikation

Kunden, die Daten aus einer Microsoft Azure SQL (MS-CDC)-Datenquelle verschieben, können jetzt eine Georeplikationsdatenbank verwenden.

Oracle-Datenquelle: Unterstützung für HSM (Hardware Security Module)

Qlik Cloud Data Integration unterstützt jetzt das Lesen von Daten aus verschlüsselten Oracle-Tablespaces und verschlüsselten Spalten während CDC.

Unterstützung neuer Regionen

Qlik Cloud Data Integration unterstützt jetzt Mandanten in den Regionen DE und UK.

Neu unterstützte Versionen und Software von Drittanbietern

Dieser Abschnitt listet neue unterstützte Datenbank- und Treiberversionen auf.

• Neue unterstützte Datenquellenversionen. Die folgenden Datenquellenversionen werden jetzt unterstützt:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (bei Arbeit mit IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Neue unterstützte Zieldatenplattformversionen. Die folgenden Datenzielversionen werden jetzt unterstützt:

  • Databricks (Cloud Storage): Databricks 12.2 LTS und Databricks SQL Serverless

• Treiberversionen. Die folgenden ODBC-Treiberversionen werden jetzt unterstützt:

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ und IBM DB2 for LUW
  • Simba ODBC-Treiber 3.0.0.1001 für Google Cloud BigQuery
  • MySQL ODBC Unicode-Treiber 64-bit 8.0.32

Microsoft SQL Server-Treiber – Erforderliches Upgrade

Kunden, die Daten zu oder von Microsoft SQL Server verschieben, müssen ein Upgrade ihrer SQL Server ODBC-Treiberversion auf 18.x oder höher durchführen. Beachten Sie, dass eine weitere Nutzung des SQL Server ODBC-Treibers 17.x möglicherweise zu Datenfehlern führt. Ein Upgrade des Treibers kann entweder mithilfe des Dienstprogramms zur Treiberinstallation oder manuell erfolgen. Anweisungen finden Sie unter Treibereinrichtung.

Ende der Unterstützung für Datenbankversionen

Dieser Abschnitt enthält Informationen zu Datenbankversionen, deren Unterstützung beendet wurde.

• Ende der Unterstützung für Datenquellenversionen. Die Unterstützung für die folgenden Datenquellenversionen wurde eingestellt:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Ende der Unterstützung für Zieldatenplattformversionen. Die Unterstützung für die folgenden Datenzielversionen wurde eingestellt:

  • Databricks 9.1 LTS

2022.11.74

15. August 2023

Replikationsunterstützung

Wir verfolgen einen Ansatz, der die Cloud bevorzugt und rasche Innovation und Umsetzung ermöglicht. Das bedeutet aber nicht, dass wir nur in der Cloud arbeiten. Im Rahmen unserer fortlaufenden Verpflichtung zur langfristigen Wertsteigerung für unsere Kunden freuen wir uns, die Herausgabe eines neuen Anwendungsfalls für Replikation beim Erstellen von Datenprojekten ankündigen zu können. Der neue Replikations-Anwendungsfall wird zusätzlich zu der Möglichkeit angeboten, Daten-Pipelines für all Ihre Datenintegrationsanforderungen wie beispielsweise einer Modernisierung des Data Warehouse bereitzustellen.

Das Replikationsprojekt unterstützt die Datenreplikation in Echtzeit aus unterstützten Datenquellen in ein unterstütztes Ziel.

Ab dieser neuesten Version ist das erste Ziel, das die Datenreplikation in Echtzeit unterstützt, Microsoft SQL Server. Neben der lokalen Unterstützung von Microsoft SQL Server werden auch die folgenden Cloud-Anbieter unterstützt:

• Lokal
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance und Microsoft Azure Database)

Microsoft Azure Synapse Analytics-Ziel - Treiber-Upgrade erforderlich

Kunden, die Daten zu Microsoft Azure Synapse Analytics verschieben, müssen ein Upgrade ihrer SQL Server ODBC-Treiberversion auf 18.x oder höher durchführen. Beachten Sie, dass eine weitere Nutzung des SQL Server ODBC-Treibers 17.x möglicherweise zu Datenfehlern führt. Ein Upgrade des Treibers kann entweder mithilfe des Dienstprogramms zur Treiberinstallation oder manuell erfolgen. Anweisungen finden Sie unter Treibereinrichtung.

Neue Option „Daten aus Quelle laden“ für SaaS-Anwendungsquellen

Es wurde eine neue Option Daten von Quelle laden eingeführt, die es Kunden ermöglicht, die Daten während des vollständigen Ladens direkt in der Quelle statt in den zwischengespeicherten Daten zu lesen.

Weitere Informationen zu dieser Option und Anwendungsfälle finden Sie unter Bereitstellungseinstellungen.

Aktualisierte ZS-Zertifikate

Data Movement Gateway 2022.11.74 enthält aktualisierte ZS-Zertifikate, die für die Authentifizierung des Qlik Cloud-Mandanten erforderlich sind. Die aktualisierten ZS-Zertifikate bieten auch Unterstützung für die Regionen Irland und Frankfurt. Daher müssen Kunden mit Qlik Cloud-Mandanten in Irland oder Frankfurt, die Qlik Cloud Data Integration nutzen möchten, in Upgrade auf diese Version durchführen.

Behobenes Problem

Aufgabenbereitstellungsdaten aus einer Oracle-Quelle schlugen manchmal fehl, wenn eine breite Tabelle ungenutzte oder nicht unterstützte Spalten oder nicht replizierte LOB-Spalten enthielt.

2022.11.70

28. Juni 2023

Verbessertes Treiberinstallations-Dienstprogramm für SAP-Clients

In früheren Versionen mussten Kunden den Befehl „source arep_login.sh“ ausführen, wenn sie SAP-Clients installierten. Ab dieser Version ist die Ausführung dieses Befehls nicht mehr erforderlich.

Aktualisierte ZS-Zertifikate

Diese Version enthält aktualisierte ZS-Zertifikate, die für die Authentifizierung des Qlik Cloud-Mandanten erforderlich sind.

Behobene Probleme

• Wenn eine Replikationsaufgabe in Data Movement Gateway fehlgeschlagen war und automatisch wiederhergestellt wurde, wurde der Wiederherstellungsstatus nicht an das Bereitstellungsdatenobjekt in Qlik Cloud gemeldet.

• End-to-End-Verschlüsselung für Data Movement Gateway wurde standardmäßig nicht aktiviert und von Laufzeit-Flags gesteuert.

2022.11.63

2. Mai 2023

Treiberinstallations-Dienstprogramm

In dieser Version wird ein Treiberinstallations-Dienstprogramm eingeführt. Damit entfällt das manuelle Installieren und Konfigurieren von Treibern. Das neue Dienstprogramm verkürzt den Installationsprozess, und auch das Risiko von Benutzerfehlern wird deutlich gesenkt. Bei Ausführung des Dienstprogramms wird der erforderliche Treiber falls möglich automatisch heruntergeladen und installiert. Wenn der Treiber nicht automatisch heruntergeladen werden kann (z. B. im Fall von DB2-Treibern, die eine Anmeldung erfordern), laden Sie den Treiber einfach herunter, kopieren Sie ihn in einen dedizierten Ordner auf dem Data Movement-Gateway-Computer und führen Sie das Dienstprogramm aus.

Ein Beispiel für die Verwendung des Treiberinstallations-Dienstprogramms beim Installieren eines PostgreSQL-Treibers finden Sie unter Voraussetzungen

Snowflake-Cloud-Datenplattform

Der Snowflake-Konnektor unterstützt jetzt Emoj-Zeichen mit 4 Byte.

Unterstützung für Azure Database for PostgreSQL - Flexibler Server als Datenquelle

Der PostgreSQL-Konnektor kann jetzt Daten von Azure Database for PostgreSQL - Flexibler Server bewegen.

Unterstützung für Cloud SQL for PostgreSQL als Datenquelle

Der PostgreSQL-Konnektor kann jetzt Daten von Cloud SQL for PostgreSQL bewegen.

Neue unterstützte Datenquellenversionen

In dieser Version wird die Unterstützung für die folgenden neuen Datenquellenversionen eingeführt:

• PostgreSQL 14
• DB2 (für IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Neue unterstützte Cloud-Datenplattformversionen

Databricks 11.3 LTS

Eingestellte Unterstützung für die folgenden Datenquellenversionen

Die folgenden Datenquellenversionen werden nicht mehr unterstützt:

• DB2 (für IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Behobene Probleme

In dieser Version werden die folgenden Probleme behoben:

• Oracle-Datenquelle: Beim Anhalten und Wiederaufnehmen einer Aufgabe schlug die Aufgabe manchmal mit dem Fehler „Failed to set stream position on context“ fehl.
• SAP-Anwendungsquelle: Änderungen wurden während der Bereitstellungsaufgabe nicht erfasst.