Qlik Data Gateway - Data Movement
Qlik Data Gateway - Data Movement unterstützt die Datenbewegung von den Datenquellen Ihres Unternehmens und SaaS-Anwendungen über eine strikt ausgehende, verschlüsselte und gegenseitig authentifizierte Verbindung an unterstützte Ziele. Da es nicht mehr notwendig ist, eingehende Firewall-Ports zu öffnen, stellt Qlik Data Gateway - Data Movement eine sichere und vertrauenswürdige Möglichkeit zum Verschieben Ihrer Unternehmensdaten bereit.
Für jeden mit dem Qlik Cloud-Mandanten verbundenen Server des Data Movement-Gateways wird ein eindeutiges Schlüsselpaar eingerichtet. Dieses Schlüsselpaar wird für die Authentifizierung und die End-to-End-Verschlüsselung oberhalb der Verschlüsselung auf HTTPS-Transportebene verwendet. Da außerdem die Kommunikation mit Qlik Cloud und der Datentransfer nur über ausgehende Ports eingeleitet wird, brauchen Sie keine eingehenden Ports zu Ihrem Unternehmensnetzwerk zu öffnen.
Qlik Cloud Government unterstützt die Verwendung von Qlik Data Gateway - Data Movement nur, wenn die Linux-Plattform, auf der Qlik Data Gateway - Data Movement installiert sind, für die Ausführung in einem genehmigten Ausführungsmodus für FIPS 140-2 konfiguriert ist (auch als FIPS-Modus bezeichnet).
Häufige Anwendungsfälle
Der folgende Abschnitt beschreibt zwei häufige Anwendungsfälle: Verschieben von Daten an ein Ziel, auf das nur über eine private Verbindung zugegriffen werden kann, und Verschieben von Daten an Ziele, die direkt über Qlik Cloud zugänglich sind.
Qlik Data Gateway - Data Movement spielt eine zentrale Rolle im Datenbewegungsprozess. Das Diagramm unten zeigt, wie Data Movement Gateway mit Qlik Cloud und Ihren Datenquellen interagiert, um Daten auf sichere Weise zu den unterstützen Zielen zu bewegen.
Die Anzahl der Datenbewegungs-Gateways, die Sie bereitstellen müssen, hängt von Ihrer spezifischen Umgebung und Ihrem Anwendungsfall ab. Wenn Ihre Datenquellen sehr nah beieinander liegen und auf das Ziel direkt über Qlik Cloud zugegriffen werden kann, genügt in der Regel ein Datenbewegungs-Gateway. In den folgenden Fällen sollten aber mehrere Gateways verwendet werden:
- Datenabruf aus Datenquellen, die geografisch weit voneinander entfernt liegen
- Verschieben großer Datenmengen aus verschiedenen Datenquellen
- Verschieben von Daten an ein Ziel, auf das über Qlik Cloud nicht zugegriffen werden kann (z. B. SQL Server in einer VPC)
Unterstützen privater Verbindungen in Qlik Cloud Data Integration
Eine private Verbindung bedeutet, dass Ihre Datenquelle oder Ihr Ziel im Internet nicht offengelegt wird und somit von Qlik Cloud nicht darauf zugegriffen werden kann.
Es gibt verschiedene Arten privater Verbindungen. Zu den Beispielen zählen:
- Snowflake AWS PrivateLink mit deaktivierter öffentlicher Verbindung (über Port 443)
- Microsoft SQL Server (oder ein anderes RDBMS) wird in einer VPC ausgeführt, die nur über eine private IP-Adresse verfügt
Das für den Zugriff auf das Ziel bereitgestellte Data Movement Gateway führt ELT-Vorgänge aus, darunter Datenregistrierung, Speicherung, Umwandlungen und Data Marts.
Beachten Sie, dass es zwar möglich ist, das gleiche Gateway für den Zugriff sowohl auf die Datenquelle als auch auf das Datenziel zu nutzen, das aber zwei getrennte Gateways für den Zugriff auf die Quelle bzw. auf das Ziel oft eine bessere Leistung erbringen. Wenn beispielsweise die Quelldatenbank eine lokale Oracle-Datenbank und die Zieldatenbank Snowflake AWS PrivateLink ist, wird ein Gateway (in der Oracle-Quellverbindung definiert) zum Bereitstellen von Daten von Oracle an Snowflake verwendet, während das andere Gateway (in der Snowflake-Zielverbindung definiert) für die ELT-Vorgänge genutzt wird. Die Verwendung von zwei Gateways wird besonders dann empfohlen, wenn die Quell- und Zieldatenbanken nicht nahe beieinander liegen. In einem solchen Szenario sollte sich das Bereitstellungs-Gateway so nah wie möglich an der Quelle befinden, während das Ziel-Gateway so nahe wie möglich am Ziel liegen sollte. Wenn Daten aus mehreren Datenquellen abgerufen werden, kann es auch sinnvoll sein, ein dediziertes Gateway für jede Datenquelle einzurichten, abhängig vom Typ und vom Speicherort der Datenquellen. Ein Beispiel für diesen Einrichtungstyp wird in der Abbildung unten gezeigt.
Daten werden von Unternehmensdatenquellen zu unterstützten Zielen verschoben
Die folgende Übersicht zeigt die Kommunikationsabfolge:
-
Data Movement Gateway richtet eine gegenseitig authentifizierte und verschlüsselte Verbindung mit Qlik Cloud über HTTPS ein.
-
Qlik Cloud sendet die Aufgabenausführungsanweisungen an das Data Movement Gateway, das wiederum den Aufgabenstatus an Qlik Cloud meldet.
-
Data Movement Gateway ruft die Daten aus der Datenquelle ab und verschiebt sie an das bezeichnete Ziel.
Verschieben von Daten von SaaS-Anwendungen an unterstützte Ziele
Die folgende Übersicht zeigt die Kommunikationsabfolge:
-
Data Movement Gateway richtet eine gegenseitig authentifizierte und verschlüsselte Verbindung mit Qlik Cloud über HTTPS ein.
-
Qlik Cloud sendet Bereitstellungsaufgaben-Ausführungsanweisungen an das Data Movement Gateway, das wiederum den Aufgabenstatus an Qlik Cloud meldet.
-
Nachdem die Bereitstellungsaufgabe gestartet wurde, ruft Qlik Cloud die Daten aus der SaaS-Anwendung ab und speichert sie (mit dem Mandantenschlüssel verschlüsselt).
-
Data Movement Gateway ruft die SaaS-Anwendungsdaten aus der Qlik Cloud ab und verschiebt sie an das bezeichnete Ziel.
Bewegen von Daten SaaS-Anwendungen und Unternehmensdatenquellen an unterstützte Ziele
Die Kommunikationsabfolge ist eine Kombination aus den oben beschriebenen Anwendungsfällen „Bewegen von Daten aus Unternehmensdatenquellen“ und „Bewegen von Daten aus SaaS-Anwendungen“.
Bewegen von Daten aus SaaS-Anwendungen und Unternehmensdatenquellen in einer VPC an Ziele in der VPC
Die Kommunikationsabfolge auf hoher Ebene für das Bewegen von Daten aus der SaaS-Anwendung ist Folgende:
-
Data Movement Gateway richtet eine gegenseitig authentifizierte und verschlüsselte Verbindung mit Qlik Cloud über HTTPS ein.
-
Qlik Cloud sendet Bereitstellungsaufgaben-Ausführungsanweisungen an das Data Movement Gateway, das wiederum den Aufgabenstatus an Qlik Cloud meldet.
-
Nachdem die Bereitstellungsaufgabe gestartet wurde, ruft Qlik Cloud die Daten aus der SaaS-Anwendung ab und speichert sie (mit dem Mandantenschlüssel verschlüsselt).
-
Data Movement Gateway ruft die SaaS-Anwendungsdaten aus der Qlik Cloud ab und verschiebt sie an das bezeichnete Ziel.
Die Kommunikationsabfolge auf hoher Ebene für das Bewegen von Daten aus der Unternehmensdatenquelle ist Folgende:
-
Data Movement Gateway richtet eine gegenseitig authentifizierte und verschlüsselte Verbindung mit Qlik Cloud über HTTPS ein.
-
Qlik Cloud sendet Bereitstellungsaufgaben-Ausführungsanweisungen an das Data Movement Gateway, das wiederum den Aufgabenstatus an Qlik Cloud meldet.
-
Data Movement Gateway ruft die Daten aus der Datenquelle ab und verschiebt sie an das bezeichnete Ziel.
Weitere Informationen
- Voraussetzungen und Einschränkungen für Data Movement Gateway
- Einrichten des Data Movement-Gateways
- Verwalten des Data Movement Gateway-Servers
- Verwalten von Gateways zur Datenbewegung in der Verwaltungskonsole
- Aktualisierung von Data Movement Gateway
- Fehlerbehebung Data Movement Gateway
- Qlik Data Gateway – Datenbewegung – Übersicht