Qlik Data Gateway – dataflytt

Qlik Data Gateway – dataflytt (hädanefter Gateway för dataflytt) underlättar dataförflyttning från dina företagsdatakällor och SaaS-applikationer till stödda mål, över en strikt utgående, krypterad och ömsesidigt autentiserad koppling. Genom att eliminera behovet av att öppna inkommande brandväggsportar erbjuder Gateway för dataflytt ett säkert och pålitligt sätt att flytta dina företagsdata.

När krävs Gateway för dataflytt?

Gateway för dataflytt krävs i följande fall:

• Din datakälla eller ditt mål är inte direkt tillgängligt från Qlik Cloud. Exempel på datakällor eller mål som inte är direkt tillgängliga från Qlik Cloud inkluderar datakällor eller mål som är belägna i ett VPC, eller bakom en brandvägg som är stängd för inkommande kommunikation.

  För mer information om privata kopplingar, se Stödja privata kopplingar i Qlik Talend Data Integration nedan.

• Du behöver CDC i nära realtid från databaskällor.
• Du behöver komma åt målplattformar via en proxyserver.
• Du vill använda knowledge marts.

• Du har en Premium- eller Enterprise-prenumeration och du behöver inkrementella laddningar från SaaS-applikationskällor oftare än var 30:e minut. När du använder Gateway för dataflytt kan du ställa in intervallet till så lite som 5 minuter med Premium- och Enterprise-prenumerationer.

  Information om minsta schemaläggningsintervall beroende på typ av datakälla och prenumerationsnivå finns i Minsta tillåtna schemaläggningsintervall.

• Din datakälla är en av följande:
  • IBM DB2 for z/OS
  • IBM DB2 for iSeries
  • IBM DB2 for LUW
  • SAP Extractor
  • SAP (Application)
  • SAP ODP
  • SAP OData
  • SAP HANA (Database)
  • Oracle
  Anteckning om informationDu kan använda Gateway för dataflytt för vilken datakälla som helst. Datakällorna ovan är de som kräver Gateway för dataflytt. För alla andra datakällor kan Gateway för dataflytt användas om du behöver den extra funktionalitet som den erbjuder, men det är inte ett standardkrav.
• Du behöver det extra säkerhetsskikt som tillhandahålls av Gateway för dataflytt, vilket förhindrar att data passerar genom Qlik Cloud och låter kunder kontrollera datasökvägen. Detta är endast relevant för RDBMS-, stordator- och SAP-datakällor.

I följande exempel krävs inte Gateway för dataflytt eftersom både SaaS-applikationskällan och datalagermålet är direkt tillgängliga från Qlik Cloud:

Distributionsmatris för Gateway för dataflytt

Skydda dina data

Ett unikt nyckelpar upprättas för varje Gateway för dataflytt-server som är ansluten till Qlik Cloud-klientorganisationen. Detta nyckelpar används för autentisering och för end-to-end-datakryptering ovanpå HTTPS-krypteringen på transportnivå. Eftersom kommunikation med Qlik Cloud och dataöverföring endast initieras via utgående portar behöver du dessutom inte öppna några inkommande portar till ditt företagsnätverk.

Vanliga användningsfall

Följande delavsnitt belyser två vanliga användningsfall: Flytta data till ett mål som endast kan nås via en privat koppling, och flytta data till mål som är direkt tillgängliga från Qlik Cloud.

Qlik Data Gateway – dataflytt spelar en central roll i dataförflyttningsprocessen. Diagrammen nedan illustrerar hur Gateway för dataflytt interagerar med Qlik Cloud och dina datakällor för att säkert flytta data till stödda mål.

Stödja privata kopplingar i Qlik Talend Data Integration

En privat koppling innebär att din datakälla eller ditt mål inte är exponerat mot internet, vilket gör det otillgängligt från Qlik Cloud.

Det finns flera typer av privata kopplingar, exempel på dessa inkluderar:

• Snowflake AWS PrivateLink där offentlig anslutning (via port 443) har inaktiverats
• Microsoft SQL Server (eller något annat RDBMS) som körs i ett VPC som endast har en privat IP-adress

Den Gateway för dataflytt som distribuerats för att komma åt ditt mål utför ELT-operationer, vilket inkluderar några eller alla av följande: dataregistrering, lagring, transformationer och data marts.

Observera att även om det är möjligt att använda samma gateway för att komma åt både datakällan och datamålet, ger användning av två gateways - en som kommer åt källan och den andra som kommer åt målet - ofta bättre prestanda. Till exempel, om källdatabasen är Oracle lokalt och måldatabasen är Snowflake AWS PrivateLink, kommer en gateway (definierad i Oracles källkoppling) att användas för att mellanlagra data från Oracle till Snowflake, medan den andra gatewayen (definierad i Snowflakes målkoppling) kommer att användas för att utföra ELT-operationerna. Att använda två gateways rekommenderas särskilt om käll- och måldatabaserna inte är i närheten av varandra. I ett sådant scenario bör mellanlagringsgatewayen vara så nära källan som möjligt, medan målgatewayen bör vara så nära målet som möjligt. Om data matas in från flera datakällor kan det också vara vettigt att ställa in en dedikerad gateway för varje datakälla, beroende på både typen och platsen för datakällorna. Ett exempel på denna typ av inställning visas i bilden nedan.

Flytta data från företagsdatakällor till stödda mål

Kommunikationssekvensen på hög nivå är som följer:

1. Gateway för dataflytt upprättar en ömsesidigt autentiserad och krypterad koppling till Qlik Cloud med hjälp av HTTPS.

2. Qlik Cloud skickar instruktioner för uppgiftskörning till Gateway för dataflytt, som i sin tur rapporterar uppgiftsstatusen till Qlik Cloud.

3. Gateway för dataflytt hämtar data från datakällan och skickar den till det angivna målet.

Flytta data från SaaS-applikationer till stödda mål

Kommunikationssekvensen på hög nivå är som följer:

1. Gateway för dataflytt upprättar en ömsesidigt autentiserad och krypterad koppling till Qlik Cloud med hjälp av HTTPS.

2. Qlik Cloud skickar instruktioner för mellanlagringsuppgiftskörning till Gateway för dataflytt, som rapporterar uppgiftsstatusen tillbaka till Qlik Cloud.

3. När mellanlagringsuppgiften startas hämtar Qlik Cloud data från SaaS-applikationen och lagrar den (krypterad med klientorganisationsnyckeln).

4. Gateway för dataflytt hämtar SaaS-applikationsdata från Qlik Cloud och skickar den till det angivna målet.

Flytta data från SaaS-applikationer och företagsdatakällor till stödda mål

Kommunikationssekvensen på hög nivå är en kombination av användningsfallen "Flytta data från företagsdatakällor" och "Flytta data från SaaS-applikationer" som beskrivs ovan.

Flytta data från SaaS-applikationer och företagsdatakällor i ett VPC till mål i VPC:t

Kommunikationssekvensen på hög nivå för att flytta data från SaaS-applikationen är som följer:

1. Gateway för dataflytt upprättar en ömsesidigt autentiserad och krypterad koppling till Qlik Cloud med hjälp av HTTPS.

2. Qlik Cloud skickar instruktioner för mellanlagringsuppgiftskörning till Gateway för dataflytt, som rapporterar uppgiftsstatusen tillbaka till Qlik Cloud.

3. När mellanlagringsuppgiften startas hämtar Qlik Cloud data från SaaS-applikationen och lagrar den (krypterad med klientorganisationsnyckeln).

4. Gateway för dataflytt hämtar SaaS-applikationsdata från Qlik Cloud och skickar den till det angivna målet.

Kommunikationssekvensen på hög nivå för att flytta data från företagsdatakällan är som följer:

1. Gateway för dataflytt upprättar en ömsesidigt autentiserad och krypterad koppling till Qlik Cloud med hjälp av HTTPS.

2. Qlik Cloud skickar instruktioner för mellanlagringsuppgiftskörning till Gateway för dataflytt, som rapporterar uppgiftsstatusen tillbaka till Qlik Cloud.

3. Gateway för dataflytt hämtar data från datakällan och skickar den till det angivna målet.