Qlik Data Gateway – dataflytt

Qlik Data Gateway – dataflytt (hädanefter Gateway för dataflytt) underlättar att flytta data från företagets datakällor till mål och SaaS-program som stöds via en strikt utgående, krypterad och ömsesidigt autentiserad anslutning. Genom att inte behöva öppna ingående brandväggsportar ger Gateway för dataflytt en säker och tillförlitlig metod för att flytta företagets data.

När krävs Gateway för dataflytt?

Gateway för dataflytt krävs i följande fall:

• Din datakälla eller ditt mål kan inte nås direkt från Qlik Cloud. Exempel på datakällor eller mål som inte är direkt åtkomliga från Qlik Cloud är datakällor eller mål som finns i en VPC eller bakom en brandvägg som är stängd för inkommande kommunikation.

  Mer information om privata anslutningar finns i Stöd för privata anslutningar i Qlik Talend Data Integration nedan.

• Du behöver CDC i nära realtid från databaskällor
• Du måste komma åt målplattformarna via en proxyserver

• Du har en Premium- eller Enterprise-prenumeration och du behöver stegvisa laddningar från SaaS-programkällor oftare än var 30:e minut. När du använder Gateway för dataflyttkan du ställa in intervallet på så lite som fem minuter med dessa prenumerationer.

  Information om minsta schemaläggningsintervall beroende på typ av datakälla och prenumerationsnivå finns i Minsta tillåtna schemaläggningsintervall.

• Din datakälla är en av följande:
  • IBM DB2 för z/OS
  • IBM DB2 för iSeries
  • IBM DB2 för LUW
  • SAP Extractor
  • SAP (tillämpning)
  • SAP ODP
  • SAP HANA (databas)
  • Oracle
  • Microsoft SQL Server (Microsoft CDC-baserad)
• Du behöver det extra säkerhetslager som tillhandahålls av Gateway för dataflytt, som hindrar data från att passera genom Qlik Cloud och gör det möjligt för kunderna att kontrollera dataflödet. Detta är endast relevant för RDBMS-, stordator- och SAP-datakällor.

I följande exempel krävs inte Gateway för dataflytt eftersom både SaaS-programkällan och datalagermålet är direkt tillgängliga från Qlik Cloud:

Skydda dina data

Ett unikt nyckelpar etableras för varje Gateway för dataflytt-server som är ansluten till Qlik Cloud-klientorganisationen. Detta nyckelpar används för datakryptering hela vägen ovanpå krypteringen på HTTPS-transportnivå. Du behöver dessutom inte öppna några ingående portar till ditt företagsnätverk, eftersom kommunikationen med Qlik Cloud och dataöverföring bara initieras via utgående portar.

Vanliga användningsfall

I följande avsnitt belyses två vanliga användningsfall: att flytta data till ett mål som enbart kan nås via en privat anslutning och att flytta data till mål som kan kommas åt direkt från Qlik Cloud.

Qlik Data Gateway – dataflytt spelar en central roll vid dataflyttprocessen. Diagrammen nedan visar hur Gateway för dataflytt interagerar med Qlik Cloud och dina datakällor för att flytta data på säkert sätt till mål som stöds.

Stöd för privata anslutningar i Qlik Talend Data Integration

En privat anslutning innebär att din datakälla eller ditt mål inte exponeras på internet vilket innebär att det inte kan kommas åt från Qlik Cloud.

Det finns flera typer av privata anslutningar, exempelvis:

• Snowflake AWS PrivateLink där offentliga anslutningar (via port 443) har inaktiverats
• Microsoft SQL Server (eller någon annan RDBMS) som körs i VPC som har enbart en privat IP-adress

Gateway för dataflytt som distribuerats för åtkomst till ditt mål utför ELT-åtgärder som inkluderar vissa av eller alla följande: dataregistrering, lagring, omvandlingar och datamarts.

Observera att även om det går att använda samma gateway för åtkomst till både datakällan och datamålet kommer två gateways – en för åtkomst till källan och en för åtkomst till målet – ofta att ge bättre prestanda. Om exempelvis databaskällan är Oracle lokalt och måldatabasen är Snowflake AWS PrivateLink kommer en gateway (definierad i Oracle-källans anslutning) att användas för att mellanlagra data från Oracle till Snowflake och den andra gatewayen (definierad i Snowflake-målets anslutning) att användas för att utföra ELT-åtgärderna. Att använda två gateways rekommenderas starkt om käll- och måldatabaserna inte finns i närheten av varandra. I ett sådant scenarie bör gateway för mellanlagring vara så nära källan som möjligt medan gateway för målet bör vara så nära målet som möjligt. Om data hämtas in från flera datakällor kan det också vara praktiskt att ställa in en dedikerad gateway för varje datakälla, beroende på både typ och plats för datakällorna. Exempel på denna typ av inställning visas i bilden nedan.

Flytta data från företagsdatakällor till mål som stöds

Sekvensen för kommunikation på hög nivå är som följer:

1. Gateway för dataflytt etablerar en ömsesidigt autentiserad och krypterad anslutning till Qlik Cloud med HTTPS.

2. Qlik Cloud skickar körningsinstruktioner för uppgiften till Gateway för dataflytt som i sin tur rapporterar uppgiftens status till Qlik Cloud.

3. Gateway för dataflytt hämtar data från datakällan och pushar den till utsett mål.

Flytta data från SaaS-program till mål som stöds

Sekvensen för kommunikation på hög nivå är som följer:

1. Gateway för dataflytt etablerar en ömsesidigt autentiserad och krypterad anslutning till Qlik Cloud med HTTPS.

2. Qlik Cloud skickar körningsinstruktioner för mellanlagringsuppgiften till Gateway för dataflytt som i sin tur rapporterar uppgiftens status tillbaka till Qlik Cloud.

3. När mellanlagringsuppgiften startas drar Qlik Cloud data från SaaS-programmet och lagrar dem (krypterat med klientorganisationens nyckel).

4. Gateway för dataflytt hämtar SaaS-programmets data från Qlik Cloud och pushar den till utsett mål.

Flytta data från SaaS-program och företagsdatakällor till mål som stöds

Kommunikationssekvensen på hög nivå är en kombination av användningsfallen "Flytta data från företagsdatakällor" och "Flytta data från SaaS-program" som beskrivs ovan.

Flytta data från SaaS-program och företagsdatakällor i en VPC till mål i denna VPC

Kommunikationssekvensen på hög nivå för att flytta data från SaaS-program är som följer:

1. Gateway för dataflytt etablerar en ömsesidigt autentiserad och krypterad anslutning till Qlik Cloud med HTTPS.

2. Qlik Cloud skickar körningsinstruktioner för mellanlagringsuppgiften till Gateway för dataflytt som i sin tur rapporterar uppgiftens status tillbaka till Qlik Cloud.

3. När mellanlagringsuppgiften startas drar Qlik Cloud data från SaaS-programmet och lagrar dem (krypterat med klientorganisationens nyckel).

4. Gateway för dataflytt hämtar SaaS-programmets data från Qlik Cloud och pushar den till utsett mål.

Kommunikationssekvensen på hög nivå för att flytta data från företagsdatakällan är som följer:

1. Gateway för dataflytt etablerar en ömsesidigt autentiserad och krypterad anslutning till Qlik Cloud med HTTPS.

2. Qlik Cloud skickar körningsinstruktioner för mellanlagringsuppgiften till Gateway för dataflytt som i sin tur rapporterar uppgiftens status tillbaka till Qlik Cloud.

3. Gateway för dataflytt hämtar data från datakällan och pushar den till utsett mål.