Qlik Data Gateway - Data Movement
Qlik Data Gateway - Data Movement (hädanefter Data Movement gateway) underlättar att flytta data från företagets datakällor till mål och SaaS-program som stöds via en strikt utgående, krypterad och ömsesidigt autentiserad anslutning. Genom att inte behöva öppna ingående brandväggsportar ger Data Movement gateway en säker och tillförlitlig metod för att flytta företagets data.
När krävs Data Movement gateway?
Data Movement gateway krävs i följande fall:
-
Din datakälla eller ditt mål kan inte nås direkt från Qlik Cloud. Exempel på datakällor eller mål som inte är direkt åtkomliga från Qlik Cloud är datakällor eller mål som finns i en VPC eller bakom en brandvägg som är stängd för inkommande kommunikation.
Mer information om privata anslutningar finns i Stöd för privata anslutningar i Qlik Talend Data Integration nedan.
- Du behöver CDC i nära realtid från databaskällor.
- Du måste komma åt målplattformarna via en proxyserver.
-
Du har en Premium- eller Enterprise-prenumeration och du behöver stegvisa laddningar från SaaS-programkällor oftare än var 30:e minut. När du använder Data Movement gatewaykan du ställa in intervallet på så lite som fem minuter med dessa prenumerationer.
Information om minsta schemaläggningsintervall beroende på typ av datakälla och prenumerationsnivå finns i Minsta tillåtna schemaläggningsintervall.
- Din datakälla är en av följande:
- IBM DB2 för z/OS
- IBM DB2 för iSeries
- IBM DB2 för LUW
- SAP Extractor
- SAP (tillämpning)
- SAP ODP
- SAP HANA (databas)
- Oracle
- Microsoft SQL Server (Microsoft logg-baserad)
- Du behöver det extra säkerhetslager som tillhandahålls av Data Movement gateway, som hindrar data från att passera genom Qlik Cloud och gör det möjligt för kunderna att kontrollera dataflödet. Detta är endast relevant för RDBMS-, stordator- och SAP-datakällor.
I följande exempel krävs inte Data Movement gateway eftersom både SaaS-programkällan och datalagermålet är direkt tillgängliga från Qlik Cloud:
Flytta data från ett SaaS-program till ett datalager utan Data Movement gateway

Skydda dina data
Ett unikt nyckelpar etableras för varje Data Movement gateway-server som är ansluten till Qlik Cloud-klientorganisationen. Detta nyckelpar används för datakryptering hela vägen ovanpå krypteringen på HTTPS-transportnivå. Du behöver dessutom inte öppna några ingående portar till ditt företagsnätverk, eftersom kommunikationen med Qlik Cloud och dataöverföring bara initieras via utgående portar.
Qlik Cloud Government stöder användning av Data Movement gateway när Linuxplattformen där Data Movement gateway är installerad är konfigurerad för att köras i ett FIPS 140-2-godkänt driftsläge, även känt som "FIPS-läge".
Vanliga användningsfall
I följande avsnitt belyses två vanliga användningsfall: att flytta data till ett mål som enbart kan nås via en privat anslutning och att flytta data till mål som kan kommas åt direkt från Qlik Cloud.
Qlik Data Gateway - Data Movement spelar en central roll vid dataflyttprocessen. Diagrammen nedan visar hur Data Movement gateway interagerar med Qlik Cloud och dina datakällor för att flytta data på säkert sätt till mål som stöds.
Antalet Data Movement gateway som behöver distribueras beror på din specifika miljö och användarfall. Om dina datakällor är mycket nära varandra och ditt mål kan kommas åt direkt från Qlik Cloud räcker det oftast med en enda Data Movement gateway. Men i följande fall är bästa praxis att använda flera datagateways:
- Hämta in data från datakällor som är geografiskt skilda från varandra.
- Flytta stora datavolymer från flera datakällor
- Flytta data till ett mål som inte kan kommas åt från Qlik Cloud (som SQL Server i en VPC)
Stöd för privata anslutningar i Qlik Talend Data Integration
En privat anslutning innebär att din datakälla eller ditt mål inte exponeras på internet vilket innebär att det inte kan kommas åt från Qlik Cloud.
Det finns flera typer av privata anslutningar, exempelvis:
- Snowflake AWS PrivateLink där offentliga anslutningar (via port 443) har inaktiverats
- Microsoft SQL Server (eller någon annan RDBMS) som körs i VPC som har enbart en privat IP-adress
Data Movement gateway som distribuerats för åtkomst till ditt mål utför ELT-åtgärder som inkluderar vissa av eller alla följande: dataregistrering, lagring, omvandlingar och datamarts.
Observera att även om det går att använda samma gateway för åtkomst till både datakällan och datamålet kommer två gateways – en för åtkomst till källan och en för åtkomst till målet – ofta att ge bättre prestanda. Om exempelvis databaskällan är Oracle lokalt och måldatabasen är Snowflake AWS PrivateLink kommer en gateway (definierad i Oracle-källans anslutning) att användas för att mellanlagra data från Oracle till Snowflake och den andra gatewayen (definierad i Snowflake-målets anslutning) att användas för att utföra ELT-åtgärderna. Att använda två gateways rekommenderas starkt om käll- och måldatabaserna inte finns i närheten av varandra. I ett sådant scenarie bör gateway för mellanlagring vara så nära källan som möjligt medan gateway för målet bör vara så nära målet som möjligt. Om data hämtas in från flera datakällor kan det också vara praktiskt att ställa in en dedikerad gateway för varje datakälla, beroende på både typ och plats för datakällorna. Exempel på denna typ av inställning visas i bilden nedan.
Flytta data från distribuerade datakällor till ett mål i VPC och sedan utföra ELT-åtgärder på målet

Flytta data från företagsdatakällor till mål som stöds
Sekvensen för kommunikation på hög nivå är som följer:
-
Data Movement gateway etablerar en ömsesidigt autentiserad och krypterad anslutning till Qlik Cloud med HTTPS.
-
Qlik Cloud skickar körningsinstruktioner för uppgiften till Data Movement gateway som i sin tur rapporterar uppgiftens status till Qlik Cloud.
-
Data Movement gateway hämtar data från datakällan och pushar den till utsett mål.
Data Movement gateway – Flytta data från företagsdatakällor till mål som stöds

Flytta data från SaaS-program till mål som stöds
Sekvensen för kommunikation på hög nivå är som följer:
-
Data Movement gateway etablerar en ömsesidigt autentiserad och krypterad anslutning till Qlik Cloud med HTTPS.
-
Qlik Cloud skickar körningsinstruktioner för mellanlagringsuppgiften till Data Movement gateway som i sin tur rapporterar uppgiftens status tillbaka till Qlik Cloud.
-
När mellanlagringsuppgiften startas drar Qlik Cloud data från SaaS-programmet och lagrar dem (krypterat med klientorganisationens nyckel).
-
Data Movement gateway hämtar SaaS-programmets data från Qlik Cloud och pushar den till utsett mål.
Data Movement gateway – Flytta data från SaaS-program till mål som stöds

Flytta data från SaaS-program och företagsdatakällor till mål som stöds
Kommunikationssekvensen på hög nivå är en kombination av användningsfallen "Flytta data från företagsdatakällor" och "Flytta data från SaaS-program" som beskrivs ovan.
Data Movement gateway – Flytta data från SaaS-program och företagsdatakällor till mål som stöds

Flytta data från SaaS-program och företagsdatakällor i en VPC till mål i denna VPC
Kommunikationssekvensen på hög nivå för att flytta data från SaaS-program är som följer:
-
Data Movement gateway etablerar en ömsesidigt autentiserad och krypterad anslutning till Qlik Cloud med HTTPS.
-
Qlik Cloud skickar körningsinstruktioner för mellanlagringsuppgiften till Data Movement gateway som i sin tur rapporterar uppgiftens status tillbaka till Qlik Cloud.
-
När mellanlagringsuppgiften startas drar Qlik Cloud data från SaaS-programmet och lagrar dem (krypterat med klientorganisationens nyckel).
-
Data Movement gateway hämtar SaaS-programmets data från Qlik Cloud och pushar den till utsett mål.
Kommunikationssekvensen på hög nivå för att flytta data från företagsdatakällan är som följer:
-
Data Movement gateway etablerar en ömsesidigt autentiserad och krypterad anslutning till Qlik Cloud med HTTPS.
-
Qlik Cloud skickar körningsinstruktioner för mellanlagringsuppgiften till Data Movement gateway som i sin tur rapporterar uppgiftens status tillbaka till Qlik Cloud.
-
Data Movement gateway hämtar data från datakällan och pushar den till utsett mål.
Data Movement gateway – Flytta data från SaaS-program och företagsdatakällor i en VPC till mål i denna VPC
