Qlik Data Gateway - Data Movement

Qlik Data Gateway - Data Movement (ci-après Data Movement gateway) facilite le déplacement des données provenant des applications SaaS et des sources de données de votre entreprise vers des cibles supportées, via une connexion strictement sortante, chiffrée et mutuellement authentifiée. En supprimant le besoin d'ouvrir des ports de pare-feu entrants, Data Movement gateway offre un moyen sécurisé et fiable pour déplacer les données de votre entreprise.

Quand Data Movement gateway est-elle obligatoire ?

Data Movement gateway est nécessaire dans les cas suivants :

• Votre source ou cible de données n'est pas directement accessible depuis Qlik Cloud. Parmi les exemples de sources ou cibles de données non directement accessibles depuis Qlik Cloud figurent les sources ou cibles de données placées dans un VPC ou derrière un pare-feu fermé à la communication entrante.

  Pour plus d'informations sur les connexions privées, consultez Support des connexions privées dans Qlik Talend Data Integration ci-dessous.

• Vous avez besoin de la fonction CDC quasiment en temps réel depuis les sources de base de données.
• Vous devez accéder aux plateformes cibles via un serveur proxy.

• Vous avez un abonnement Premium ou Enterprise et vous avez besoin de chargements incrémentiels auprès de sources d'applications SaaS à une fréquence inférieure à 30 minutes. Lors de l'utilisation de Data Movement gateway, vous pouvez définir un intervalle aussi faible que de 5 minutes avec ces abonnements.

  Pour des informations sur les intervalles de planification minimaux en fonction du type de source de données et du niveau d'abonnement, consultez Intervalles de planification minimaux autorisés.

• Votre source de données est l'une des suivantes :
  • IBM DB2 pour z/OS
  • IBM DB2 pour iSeries
  • IBM DB2 pour LUW
  • SAP Extractor
  • SAP (Application)
  • SAP ODP
  • SAP HANA (Database)
  • Oracle
  • Microsoft SQL Server (Microsoft log based)
• Vous avez besoin de la couche de sécurité supplémentaire fournie par Data Movement gateway, qui empêche le passage des données par Qlik Cloud et permet aux clients de contrôler le chemin d'accès aux données. Cela s'applique uniquement aux sources de données RDBMS, mainframe (grand système) et SAP.

Dans l'exemple suivant, Data Movement gateway n'est pas nécessaire, car la source d'applications SaaS et la cible de type entrepôt de données sont directement accessibles depuis Qlik Cloud :

Protection de vos données

Une paire de clés unique est établie pour chaque serveur Data Movement gateway connecté au client Qlik Cloud. Cette paire de clés est utilisée pour l'authentification et pour le chiffrement des données de bout en bout en plus du chiffrement au niveau du transport HTTPS. De plus, étant donné que la communication avec Qlik Cloud et le transfert de données est initiée via des ports sortants uniquement, vous n'avez besoin d'ouvrir aucun port entrant vers votre réseau d'entreprise.

Cas d'utilisation courants

La section suivante présente deux cas d'utilisation courants : le déplacement de données vers une cible accessible uniquement via une connexion privée, et le déplacement de données vers des cibles directement accessibles depuis Qlik Cloud.

Qlik Data Gateway - Data Movement joue un rôle central dans le processus de déplacement des données. Les diagrammes ci-dessous illustrent la manière dont Data Movement gateway interagit avec Qlik Cloud et vos sources de données pour déplacer en toute sécurité des données vers des cibles supportées.

Support des connexions privées dans Qlik Talend Data Integration

Une connexion privée signifie que votre source ou cible de données n'est pas exposée sur Internet, la rendant inaccessible depuis Qlik Cloud.

Il existe plusieurs types de connexion privée, parmi lesquels, par exemple :

• Snowflake AWS PrivateLink, où la connectivité publique (via le port 443) a été désactivée
• Microsoft SQL Server (ou tout autre système RDBMS) exécuté sur un VPC disposant uniquement d'une adresse IP privée

La Data Movement gateway déployée pour pouvoir accéder à votre cible effectue des opérations ELT qui incluent tout ou partie des opérations suivantes : enregistrement de données, stockage, transformations et mini-data warehouses.

Notez que même s'il est possible d'utiliser la même passerelle pour accéder à la source de données et à la cible de données, l'utilisation de deux passerelles (une accédant à la source et l'autre à la cible) offrira généralement de meilleures performances. Par exemple, si la base de données source est Oracle on-premises et la base de données cible est Snowflake AWS PrivateLink, une passerelle (définie dans la connexion source Oracle) sera utilisée pour déposer temporairement les données d'Oracle vers Snowflake, tandis que l'autre passerelle (définie dans la connexion cible Snowflake) sera utilisée pour effectuer les opérations ELT. L'utilisation de deux passerelles est particulièrement recommandée si les bases de données source et cible ne sont pas physiquement proches l'une de l'autre. Dans un scénario de ce type, la passerelle de dépôt temporaire doit être aussi proche que possible de la source, tandis que la passerelle cible doit être aussi proche que possible de la cible. Si les données sont ingérées de différentes sources de données, il peut également être logique de configurer une passerelle dédiée pour chaque source de données, suivant le type et l'emplacement des sources de données. L'image ci-dessous illustre un exemple de ce type de configuration.

Déplacement de données de sources de données d'entreprise vers des cibles supportées

La séquence de communication de haut niveau est la suivante :

1. La Data Movement gateway établit une connexion mutuellement authentifiée et chiffrée à Qlik Cloud via HTTPS.

2. Qlik Cloud envoie les instructions d'exécution des tâches à la Data Movement gateway, qui, à son tour, indique l'état des tâches à Qlik Cloud.

3. Data Movement gateway récupère les données de la source de données et les pousse vers la cible désignée.

Déplacement de données des applications SaaS vers des cibles supportées

La séquence de communication de haut niveau est la suivante :

1. La Data Movement gateway établit une connexion mutuellement authentifiée et chiffrée à Qlik Cloud via HTTPS.

2. Qlik Cloud envoie les instructions d'exécution des tâches de dépôt temporaire à la Data Movement gateway, qui renvoie l'état des tâches à Qlik Cloud.

3. Une fois la tâche de dépôt temporaire démarrée, Qlik Cloud extrait les données de l'application SaaS et les stocke (au format chiffré avec la clé du client).

4. Data Movement gateway récupère les données de l'application SaaS auprès de Qlik Cloud et les pousse vers la cible désignée.

Déplacement de données des applications SaaS et des sources de données d'entreprise vers des cibles supportées

La séquence de communication de haut niveau est une combinaison des cas d'utilisation "Déplacement de données des sources de données d'entreprise" et "Déplacement de données des applications SaaS" susmentionnés.

Déplacement de données des applications SaaS et des sources de données d'entreprise dans un VPC vers des cibles dans le VPC

La séquence de communication de haut niveau pour déplacer des données de l'application SaaS est la suivante :

1. La Data Movement gateway établit une connexion mutuellement authentifiée et chiffrée à Qlik Cloud via HTTPS.

2. Qlik Cloud envoie les instructions d'exécution des tâches de dépôt temporaire à la Data Movement gateway, qui renvoie l'état des tâches à Qlik Cloud.

3. Une fois la tâche de dépôt temporaire démarrée, Qlik Cloud extrait les données de l'application SaaS et les stocke (au format chiffré avec la clé du client).

4. Data Movement gateway récupère les données de l'application SaaS auprès de Qlik Cloud et les pousse vers la cible désignée.

La séquence de communication de haut niveau pour déplacer des données de la source de données d'entreprise est la suivante :

1. La Data Movement gateway établit une connexion mutuellement authentifiée et chiffrée à Qlik Cloud via HTTPS.

2. Qlik Cloud envoie les instructions d'exécution des tâches de dépôt temporaire à la Data Movement gateway, qui renvoie l'état des tâches à Qlik Cloud.

3. Data Movement gateway récupère les données de la source de données et les pousse vers la cible désignée.