Qlik Data Gateway - Data Movement

Qlik Data Gateway - Data Movement (im Folgenden Data Movement Gateway) unterstützt die Datenbewegung von den Datenquellen Ihres Unternehmens und SaaS-Anwendungen über eine strikt ausgehende, verschlüsselte und gegenseitig authentifizierte Verbindung an unterstützte Ziele. Da es nicht mehr notwendig ist, eingehende Firewall-Ports zu öffnen, stellt Data Movement Gateway eine sichere und vertrauenswürdige Möglichkeit zum Verschieben Ihrer Unternehmensdaten bereit.

Wann ist Data Movement Gateway erforderlich?

Data Movement Gateway ist in den folgenden Fällen erforderlich:

• Auf Ihre Datenquelle oder Ihr Ziel kann nicht direkt über Qlik Cloud zugegriffen werden. Beispiele für Datenquellen oder Ziele, auf die nicht direkt über Qlik Cloud zugegriffen werden kann, sind Datenquellen oder Ziele in einer VPC oder hinter einer Firewall, die für eingehende Kommunikation geschlossen ist.

  Weitere Informationen zu privaten Verbindungen finden Sie unter Unterstützen privater Verbindungen in Qlik Talend Data Integration unten.

• Sie benötigen echtzeitnahe CDC aus Datenbankquellen.
• Sie müssen über einen Proxyserver auf Zielplattformen zugreifen.

• Sie haben ein Premium- oder Enterprise-Abonnement und benötigen inkrementelle Ladevorgänge aus SaaS-Anwendungsquellen häufiger als alle 30 Minuten. Wenn Sie Data Movement Gateway verwenden, können Sie das Intervall mit diesen Abonnements auf so niedrige Werte wie 5 Minuten festlegen.

  Weitere Informationen zu Mindestplanintervallen entsprechend dem Datenquellentyp und der Abonnementstufe finden Sie unter Zulässige Mindestintervalle für die Planung.

• Ihre Datenquelle ist eine der Folgenden:
  • IBM DB2 for z/OS
  • IBM DB2 for iSeries
  • IBM DB2 for LUW
  • SAP Extractor
  • SAP (Anwendung)
  • SAP ODP
  • SAP HANA (Datenbank)
  • Oracle
  • Microsoft SQL Server (Microsoft CDC-basiert)
• Sie benötigen eine zusätzliche Sicherheitsebene, die von Data Movement Gateway bereitgestellt wird, um zu verhindern, dass Daten über Qlik Cloud laufen und Kunden die Möglichkeit haben, den Datenpfad zu kontrollieren. Dies ist nur für RDBMS-, Mainframe- und SAP-Datenquellen relevant.

Im folgenden Beispiel ist Data Movement Gateway nicht erforderlich, da sowohl die SaaS-Anwendungsquelle als auch das Data Warehouse-Ziel direkt über Qlik Cloud zugänglich sind:

Schützen Ihrer Daten

Für jeden mit dem Qlik Cloud-Mandanten verbundenen Server des Data Movement Gateway wird ein eindeutiges Schlüsselpaar eingerichtet. Dieses Schlüsselpaar wird für die Authentifizierung und die End-to-End-Verschlüsselung oberhalb der Verschlüsselung auf HTTPS-Transportebene verwendet. Da außerdem die Kommunikation mit Qlik Cloud und der Datentransfer nur über ausgehende Ports eingeleitet wird, brauchen Sie keine eingehenden Ports zu Ihrem Unternehmensnetzwerk zu öffnen.

Häufige Anwendungsfälle

Im folgenden Abschnitt werden zwei häufige Anwendungsfälle beschrieben: Verschieben von Daten an ein Ziel, auf das nur über eine private Verbindung zugegriffen werden kann, und Verschieben von Daten an Ziele, die direkt über Qlik Cloud zugänglich sind.

Qlik Data Gateway - Data Movement spielt eine zentrale Rolle im Datenbewegungsprozess. Das Diagramm unten zeigt, wie Data Movement Gateway mit Qlik Cloud und Ihren Datenquellen interagiert, um Daten auf sichere Weise zu den unterstützen Zielen zu bewegen.

Unterstützen privater Verbindungen in Qlik Talend Data Integration

Eine private Verbindung bedeutet, dass Ihre Datenquelle oder Ihr Ziel im Internet nicht offengelegt wird und somit von Qlik Cloud nicht darauf zugegriffen werden kann.

Es gibt verschiedene Arten privater Verbindungen. Zu den Beispielen zählen:

• Snowflake AWS PrivateLink mit deaktivierter öffentlicher Verbindung (über Port 443)
• Microsoft SQL Server (oder ein anderes RDBMS) wird in einer VPC ausgeführt, die nur über eine private IP-Adresse verfügt

Das für den Zugriff auf das Ziel bereitgestellte Data Movement Gateway führt ELT-Vorgänge aus, darunter Datenregistrierung, Speicherung, Umwandlungen und Data Marts.

Beachten Sie, dass es zwar möglich ist, das gleiche Gateway für den Zugriff sowohl auf die Datenquelle als auch auf das Datenziel zu nutzen, das aber zwei getrennte Gateways für den Zugriff auf die Quelle bzw. auf das Ziel oft eine bessere Leistung erbringen. Wenn beispielsweise die Quelldatenbank eine lokale Oracle-Datenbank und die Zieldatenbank Snowflake AWS PrivateLink ist, wird ein Gateway (in der Oracle-Quellverbindung definiert) zum Bereitstellen von Daten von Oracle an Snowflake verwendet, während das andere Gateway (in der Snowflake-Zielverbindung definiert) für die ELT-Vorgänge genutzt wird. Die Verwendung von zwei Gateways wird besonders dann empfohlen, wenn die Quell- und Zieldatenbanken nicht nahe beieinander liegen. In einem solchen Szenario sollte sich das Bereitstellungs-Gateway so nah wie möglich an der Quelle befinden, während das Ziel-Gateway so nahe wie möglich am Ziel liegen sollte. Wenn Daten aus mehreren Datenquellen abgerufen werden, kann es auch sinnvoll sein, ein dediziertes Gateway für jede Datenquelle einzurichten, abhängig vom Typ und vom Speicherort der Datenquellen. Ein Beispiel für diesen Einrichtungstyp wird in der Abbildung unten gezeigt.

Daten werden von Unternehmensdatenquellen zu unterstützten Zielen verschoben

Die folgende Übersicht zeigt die Kommunikationsabfolge:

1. Data Movement Gateway richtet eine gegenseitig authentifizierte und verschlüsselte Verbindung mit Qlik Cloud über HTTPS ein.

2. Qlik Cloud sendet die Aufgabenausführungsanweisungen an das Data Movement Gateway, das wiederum den Aufgabenstatus an Qlik Cloud meldet.

3. Data Movement Gateway ruft die Daten aus der Datenquelle ab und verschiebt sie an das bezeichnete Ziel.

Verschieben von Daten von SaaS-Anwendungen an unterstützte Ziele

Die folgende Übersicht zeigt die Kommunikationsabfolge:

1. Data Movement Gateway richtet eine gegenseitig authentifizierte und verschlüsselte Verbindung mit Qlik Cloud über HTTPS ein.

2. Qlik Cloud sendet Bereitstellungsaufgaben-Ausführungsanweisungen an das Data Movement Gateway, das wiederum den Aufgabenstatus an Qlik Cloud meldet.

3. Nachdem die Bereitstellungsaufgabe gestartet wurde, ruft Qlik Cloud die Daten aus der SaaS-Anwendung ab und speichert sie (mit dem Mandantenschlüssel verschlüsselt).

4. Data Movement Gateway ruft die SaaS-Anwendungsdaten aus der Qlik Cloud ab und verschiebt sie an das bezeichnete Ziel.

Bewegen von Daten SaaS-Anwendungen und Unternehmensdatenquellen an unterstützte Ziele

Die Kommunikationsabfolge ist eine Kombination aus den oben beschriebenen Anwendungsfällen „Bewegen von Daten aus Unternehmensdatenquellen“ und „Bewegen von Daten aus SaaS-Anwendungen“.

Bewegen von Daten aus SaaS-Anwendungen und Unternehmensdatenquellen in einer VPC an Ziele in der VPC

Die Kommunikationsabfolge auf hoher Ebene für das Bewegen von Daten aus der SaaS-Anwendung ist Folgende:

1. Data Movement Gateway richtet eine gegenseitig authentifizierte und verschlüsselte Verbindung mit Qlik Cloud über HTTPS ein.

2. Qlik Cloud sendet Bereitstellungsaufgaben-Ausführungsanweisungen an das Data Movement Gateway, das wiederum den Aufgabenstatus an Qlik Cloud meldet.

3. Nachdem die Bereitstellungsaufgabe gestartet wurde, ruft Qlik Cloud die Daten aus der SaaS-Anwendung ab und speichert sie (mit dem Mandantenschlüssel verschlüsselt).

4. Data Movement Gateway ruft die SaaS-Anwendungsdaten aus der Qlik Cloud ab und verschiebt sie an das bezeichnete Ziel.

Die Kommunikationsabfolge auf hoher Ebene für das Bewegen von Daten aus der Unternehmensdatenquelle ist Folgende:

1. Data Movement Gateway richtet eine gegenseitig authentifizierte und verschlüsselte Verbindung mit Qlik Cloud über HTTPS ein.

2. Qlik Cloud sendet Bereitstellungsaufgaben-Ausführungsanweisungen an das Data Movement Gateway, das wiederum den Aufgabenstatus an Qlik Cloud meldet.

3. Data Movement Gateway ruft die Daten aus der Datenquelle ab und verschiebt sie an das bezeichnete Ziel.