Qlik Data Gateway - Data Movement
Qlik Data Gateway - Data Movement (hierna Data Movement gateway) zorgt ervoor dat u gegevens kunt verplaatsen vanaf uw bedrijfsgegevensbronnen en SaaS-applicaties naar clouddoelen, via een strikte uitgaande, versleutelde en wederzijds geverifieerde verbinding. De behoefte aan het openen van inkomende firewallpoorten wordt weggenomen en hiermee biedt Data Movement gateway een veilige en vertrouwde manier om uw bedrijfsgegevens te verplaatsen.
Wanneer is de Data Movement gateway vereist?
Data Movement gateway is in de volgende gevallen vereist:
-
Uw gegevensbron of -doel is niet direct toegankelijk vanuit Qlik Cloud. Voorbeelden van gegevensbronnen of -doelen die niet direct toegankelijk zijn vanuit Qlik Cloud, zijn gegevensbronnen of doelen die zich in een virtuele privécloud bevinden of achter een firewall die is afgesloten voor binnenkomende communicatie.
Voor meer informatie over privéverbindingen raadpleegt u Ondersteuning van privéverbindingen in Qlik Talend Data Integration hieronder.
- U hebt vrijwel directe CDC van databasebronnen nodig.
- U moet toegang krijgen tot doelplatforms via een proxyserver.
-
U hebt een Premium- of Enterprise-abonnement en hebt minder dan elke 30 minuten incrementele ladingen nodig van SaaS-applicaties. Bij het gebruik van Data Movement gateway kunt u bij deze abonnementen de interval instellen vanaf 5 minuten.
Raadpleeg Minimumaantal toegestane planningsintervallen voor informatie over minimum planningsintervallen op basis van type gegevensbron en abonnementsniveau.
- Uw gegevensbron is een van de volgende:
- IBM DB2 for z/OS
- IBM DB2 for iSeries
- IBM DB2 for LUW
- SAP Extractor
- SAP (toepassing)
- SAP ODP
- SAP HANA (database)
- Oracle
- Microsoft SQL Server (Microsoft logboek-gebaseerd)
- U hebt de extra beveiligingslaag van de Data Movement gateway nodig, die voorkomt dat gegevens langs Qlik Cloud gaan en stelt klanten in staat om het datapad te beheren. Dit is alleen relevant voor RDBMS, mainframe, en SAP-gegevensbronnen.
In het volgende voorbeeld is Data Movement gateway vereist omdat zowel de SaaS-applicatiebron als het datawarehousedoel direct toegankelijk zijn vanuit Qlik Cloud:
Gegevens verplaatsen van een SaaS-applicatie naar een datawarehousedoel zonder de Data Movement gateway

Uw gegevens beschermen
Een uniek sleutelpaar wordt gemaakt voor elke server van de Data Movement gateway die is verbonden met de Qlik Cloud-tenant. Dit sleutelpaar wordt gebruikt voor verificatie en voor end-to-end gegevensversleuteling naast de versleuteling op HTTP-transportniveau. Omdat de communicatie met Qlik Cloud en de gegevensoverdracht alleen via uitgaande poorten wordt gestart, hoeft u geen binnenkomende poorten naar uw zakelijke netwerk te openen.
Qlik Cloud Government biedt ondersteuning voor het gebruik van Data Movement gateway als het Linux-platform waarop Data Movement gateway is geïnstalleerd, is geconfigureerd om te worden uitgevoerd in een FIPS 140-2 goedgekeurde bewerkingsmodus (ook wel FIPS-modus genoemd).
Veelvoorkomende usecases
In de volgende sectie worden twee gebruikelijke usescases behandeld: het verplaatsen van gegevens naar een doel dat alleen toegankelijk is via een privéverbinding en het verplaatsen van gegevens naar doelen die direct toegankelijk zijn via Qlik Cloud.
Qlik Data Gateway - Data Movement speelt een centrale rol in het proces voor gegevensverplaatsing. De onderstaande diagrammen illustreren hoe Data Movement gateway werkt met Qlik Cloud en uw gegevensbronnen om gegevens op een veilige manier naar de ondersteunde doelen te verplaatsen.
Het aantal Data Movement gateway dat u moet implementeren is afhankelijk van uw specifieke omgeving en toepassing. Als uw gegevensbronnen zich dicht bij elkaar bevinden en uw doel direct toegankelijk is via Qlik Cloud, dan is een afzonderlijke Data Movement gateway voldoende. In de volgende gevallen kunt u het beste meerdere gegevensgateways gebruiken:
- Bij het opnemen van gegevens van gegevensbronnen die geografisch gezien ver van elkaar verwijderd zijn
- Bij het verplaatsen van grote hoeveelheden gegevens van meerdere gegevensbronnen
- Bij het verplaatsen naar een doel dat niet toegankelijk is via Qlik Cloud (zoals een SQL Server in een VPC)
Ondersteuning van privéverbindingen in Qlik Talend Data Integration
Een privéverbinding houdt in dat uw gegevensbron of -doel niet wordt blootgesteld aan het internet, waardoor de verbinding niet toegankelijk is voor Qlik Cloud.
Er zijn verschillende soorten privéverbindingen, enkele voorbeelden hiervan zijn:
- Snowflake AWS PrivateLink waarbij openbare verbindingen (via poort 443) zijn uitgeschakeld
- Microsoft SQL Server (of een andere RDBMS) die wordt uitgevoerd in een VPC die alleen een privé IP-adres heeft
De Data Movement gateway die is geïmplementeerd om toegang te krijgen tot uw doel voert ELT-bewerkingen uit, die alle of sommige van de volgende elementen kunnen omvatten: gegevensregistratie, opslag, transformaties en datamarts.
Het is mogelijk om dezelfde gateway te gebruiken om toegang te krijgen tot zowel de gegevensbron als het gegevensdoel, maar het gebruik van twee gateways (één voor toegang tot de bron en één voor toegang tot het doel) zorgt vaak voor betere prestaties. Als bijvoorbeeld de brondatabase Oracle on-premises is en de doeldatabase Snowflake AWS PrivateLink is, wordt er één gateway (die is gedefinieerd in de Oracle-bronverbinding) gebruikt om gegevens van Oracle tijdelijk op te slaan in Snowflake, terwijl de andere gateway (die is gedefinieerd in de Snowflake-doelverbinding) wordt gebruikt om de ELT-bewerkingen uit te voeren. Het gebruik van twee gateways wordt met name aanbevolen als de bron- en doeldatabases niet dicht bij elkaar liggen. In een dergelijk scenario moet de gateway voor tussenopslag zich zo dicht mogelijk bij de bron bevinden, terwijl de doelgateway zich zo dicht mogelijk bij het doel moet bevinden. Als gegevens van verschillende gegevensbronnen worden opgenomen, dan is het ook raadzaam om een specifieke gateway voor elke gegevensbron in te stellen, afhankelijk van het type en de locatie van de gegevensbronnen. Een voorbeeld van dit type instelling wordt in de onderstaande afbeelding getoond.
Gegevens verplaatsen van gedistribueerde gegevensbronnen naar een doel in een VPC en het uitvoeren van ELT-bewerkingen op het doel

Gegevens verplaatsen van bedrijfsgegevensbronnen naar ondersteunde doelen
De volgorde voor hoogwaardige communicatie is als volgt:
-
De Data Movement gatewaybrengt een wederzijds geverifieerde en versleutelde verbinding naar Qlik Cloud tot stand met behulp van HTTPS.
-
Qlik Cloud verzendt de instructies voor het uitvoeren van de taak naar de Data Movement gateway, die vervolgens de taakstatus rapporteert aan Qlik Cloud.
-
Data Movement gateway haalt de gegevens van de gegevensbron op en stuurt ze naar het aangewezen doel.
Data Movement gateway - Gegevens verplaatsen van bedrijfsgegevensbronnen naar ondersteunde doelen

Gegevens verplaatsen van SaaS-applicaties naar ondersteunde doelen
De volgorde voor hoogwaardige communicatie is als volgt:
-
De Data Movement gatewaybrengt een wederzijds geverifieerde en versleutelde verbinding naar Qlik Cloud tot stand met behulp van HTTPS.
-
Qlik Cloud verzendt de instructies voor het uitvoeren van de tussenopslagtaak naar de Data Movement gateway, die vervolgens de taakstatus rapporteert aan Qlik Cloud.
-
Als de tussenopslagtaak is gestart, haalt Qlik Cloud de gegevens op van de SaaS-applicatie en slaat ze op (versleuteld met de tenantsleutel).
-
Data Movement gateway haalt de gegevens van de SaaS-applicatie op van Qlik Cloud en stuurt ze naar het aangewezen doel.
Data Movement gateway - Gegevens verplaatsen van SaaS-applicaties naar ondersteunde doelen

Gegevens verplaatsen van SaaS-applicaties en bedrijfsgegevensbronnen naar ondersteunde doelen
De hoogwaardige communicatievolgorde is een combinatie van de toepassingen 'Gegevens verplaatsen van bedrijfsgegevensbronnen' en 'Gegevens verplaatsen van SaaS-applicaties' die hierboven worden beschreven.
Data Movement gateway - Gegevens verplaatsen van SaaS-applicaties en bedrijfsgegevensbronnen naar ondersteunde doelen

Gegevens verplaatsen van SaaS-applicaties en bedrijfsgegevensbronnen in een VPC naar doelen in de VPC
De hoogwaardige communicatievolgorde voor het verplaatsen van gegevens van de SaaS-applicatie is als volgt:
-
De Data Movement gatewaybrengt een wederzijds geverifieerde en versleutelde verbinding naar Qlik Cloud tot stand met behulp van HTTPS.
-
Qlik Cloud verzendt de instructies voor het uitvoeren van de tussenopslagtaak naar de Data Movement gateway, die vervolgens de taakstatus rapporteert aan Qlik Cloud.
-
Als de tussenopslagtaak is gestart, haalt Qlik Cloud de gegevens op van de SaaS-applicatie en slaat ze op (versleuteld met de tenantsleutel).
-
Data Movement gateway haalt de gegevens van de SaaS-applicatie op van Qlik Cloud en stuurt ze naar het aangewezen doel.
De hoogwaardige communicatievolgorde voor het verplaatsen van gegevens van de bedrijfsgegevensbron is als volgt:
-
De Data Movement gatewaybrengt een wederzijds geverifieerde en versleutelde verbinding naar Qlik Cloud tot stand met behulp van HTTPS.
-
Qlik Cloud verzendt de instructies voor het uitvoeren van de tussenopslagtaak naar de Data Movement gateway, die vervolgens de taakstatus rapporteert aan Qlik Cloud.
-
Data Movement gateway haalt de gegevens van de gegevensbron op en stuurt ze naar het aangewezen doel.
Data Movement gateway - Gegevens verplaatsen van SaaS-applicaties en bedrijfsgegevensbronnen in een VPC naar doelen in de VPC
