Passerelle de données Qlik - Déplacement des données

Passerelle de données Qlik - Déplacement des données (ci-après Passerelle de déplacement des données) facilite le déplacement des données provenant des applications SaaS et des sources de données de votre entreprise vers des cibles supportées, via une connexion strictement sortante, chiffrée et mutuellement authentifiée. En supprimant le besoin d'ouvrir des ports de pare-feu entrants, Passerelle de déplacement des données offre un moyen sécurisé et fiable pour déplacer les données de votre entreprise.

Quand Passerelle de déplacement des données est-elle obligatoire ?

Passerelle de déplacement des données est nécessaire dans les cas suivants :

• Votre source ou cible de données n'est pas directement accessible depuis Qlik Cloud. Parmi les exemples de sources ou cibles de données non directement accessibles depuis Qlik Cloud figurent les sources ou cibles de données placées dans un VPC ou derrière un pare-feu fermé à la communication entrante.

  Pour plus d'informations sur les connexions privées, consultez Support des connexions privées dans Qlik Talend Data Integration ci-dessous.

• Vous avez besoin de la fonction CDC quasiment en temps réel depuis les sources de base de données.
• Vous devez accéder aux plateformes cibles via un serveur proxy.
• Vous souhaitez utiliser des datamarts de connaissances.

• Vous avez un abonnement Premium ou Enterprise et vous avez besoin de chargements incrémentiels auprès de sources d'applications SaaS à une fréquence inférieure à 30 minutes. Lors de l'utilisation de Passerelle de déplacement des données, vous pouvez définir un intervalle aussi faible que de 5 minutes avec les abonnements Premium et Enterprise.

  Pour des informations sur les intervalles de planification minimaux en fonction du type de source de données et du niveau d'abonnement, consultez Intervalles de planification minimaux autorisés.

• Votre source de données est l'une des suivantes :
  • IBM DB2 pour z/OS
  • IBM DB2 pour iSeries
  • IBM DB2 pour LUW
  • SAP Extractor
  • SAP (application)
  • SAP ODP
  • SAP OData
  • SAP HANA (base de données)
  • Oracle

  • Microsoft SQL Server (Microsoft log based)

  Note InformationsVous pouvez utiliser Passerelle de déplacement des données pour n'importe quelle source de données. Les sources de données ci-dessus sont celles qui nécessitent Passerelle de déplacement des données. Pour toutes les autres sources de données, Passerelle de déplacement des données peut être utilisé si vous avez besoin des fonctionnalités supplémentaires qu'il offre, mais ce n'est pas une exigence standard.
• Vous avez besoin de la couche de sécurité supplémentaire fournie par Passerelle de déplacement des données, qui empêche le passage des données par Qlik Cloud et permet aux clients de contrôler le chemin d'accès aux données. Cela s'applique uniquement aux sources de données RDBMS, mainframe (grand système) et SAP.

Dans l'exemple suivant, Passerelle de déplacement des données n'est pas nécessaire, car la source d'applications SaaS et la cible de type entrepôt de données sont directement accessibles depuis Qlik Cloud :

Matrice de déploiement Passerelle de déplacement des données

Protection de vos données

Une paire de clés unique est établie pour chaque serveur Passerelle de déplacement des données connecté au client Qlik Cloud. Cette paire de clés est utilisée pour l'authentification et pour le chiffrement des données de bout en bout en plus du chiffrement au niveau du transport HTTPS. De plus, étant donné que la communication avec Qlik Cloud et le transfert de données est initiée via des ports sortants uniquement, vous n'avez besoin d'ouvrir aucun port entrant vers votre réseau d'entreprise.

Cas d'utilisation courants

La section suivante présente deux cas d'utilisation courants : le déplacement de données vers une cible accessible uniquement via une connexion privée, et le déplacement de données vers des cibles directement accessibles depuis Qlik Cloud.

Passerelle de données Qlik - Déplacement des données joue un rôle central dans le processus de déplacement des données. Les diagrammes ci-dessous illustrent la manière dont Passerelle de déplacement des données interagit avec Qlik Cloud et vos sources de données pour déplacer en toute sécurité des données vers des cibles supportées.

Support des connexions privées dans Qlik Talend Data Integration

Une connexion privée signifie que votre source ou cible de données n'est pas exposée sur Internet, la rendant inaccessible depuis Qlik Cloud.

Il existe plusieurs types de connexion privée, parmi lesquels, par exemple :

• Snowflake AWS PrivateLink, où la connectivité publique (via le port 443) a été désactivée
• Microsoft SQL Server (ou tout autre système RDBMS) exécuté sur un VPC disposant uniquement d'une adresse IP privée

La Passerelle de déplacement des données déployée pour pouvoir accéder à votre cible effectue des opérations ELT qui incluent tout ou partie des opérations suivantes : enregistrement de données, stockage, transformations et datamarts.

Notez que même s'il est possible d'utiliser la même passerelle pour accéder à la source de données et à la cible de données, l'utilisation de deux passerelles (une accédant à la source et l'autre à la cible) offrira généralement de meilleures performances. Par exemple, si la base de données source est Oracle on-premises et la base de données cible est Snowflake AWS PrivateLink, une passerelle (définie dans la connexion source Oracle) sera utilisée pour déposer temporairement les données d'Oracle vers Snowflake, tandis que l'autre passerelle (définie dans la connexion cible Snowflake) sera utilisée pour effectuer les opérations ELT. L'utilisation de deux passerelles est particulièrement recommandée si les bases de données source et cible ne sont pas physiquement proches l'une de l'autre. Dans un scénario de ce type, la passerelle de dépôt temporaire doit être aussi proche que possible de la source, tandis que la passerelle cible doit être aussi proche que possible de la cible. Si les données sont ingérées de différentes sources de données, il peut également être logique de configurer une passerelle dédiée pour chaque source de données, suivant le type et l'emplacement des sources de données. L'image ci-dessous illustre un exemple de ce type de configuration.

Déplacement de données de sources de données d'entreprise vers des cibles supportées

La séquence de communication de haut niveau est la suivante :

1. La Passerelle de déplacement des données établit une connexion mutuellement authentifiée et chiffrée à Qlik Cloud via HTTPS.

2. Qlik Cloud envoie les instructions d'exécution des tâches à la Passerelle de déplacement des données, qui, à son tour, indique l'état des tâches à Qlik Cloud.

3. Passerelle de déplacement des données récupère les données de la source de données et les pousse vers la cible désignée.

Déplacement de données des applications SaaS vers des cibles supportées

La séquence de communication de haut niveau est la suivante :

1. La Passerelle de déplacement des données établit une connexion mutuellement authentifiée et chiffrée à Qlik Cloud via HTTPS.

2. Qlik Cloud envoie les instructions d'exécution des tâches de dépôt temporaire à la Passerelle de déplacement des données, qui renvoie l'état des tâches à Qlik Cloud.

3. Une fois la tâche de dépôt temporaire démarrée, Qlik Cloud extrait les données de l'application SaaS et les stocke (au format chiffré avec la clé du client).

4. Passerelle de déplacement des données récupère les données de l'application SaaS auprès de Qlik Cloud et les pousse vers la cible désignée.

Déplacement de données des applications SaaS et des sources de données d'entreprise vers des cibles supportées

La séquence de communication de haut niveau est une combinaison des cas d'utilisation "Déplacement de données des sources de données d'entreprise" et "Déplacement de données des applications SaaS" susmentionnés.

Déplacement de données des applications SaaS et des sources de données d'entreprise dans un VPC vers des cibles dans le VPC

La séquence de communication de haut niveau pour déplacer des données de l'application SaaS est la suivante :

1. La Passerelle de déplacement des données établit une connexion mutuellement authentifiée et chiffrée à Qlik Cloud via HTTPS.

2. Qlik Cloud envoie les instructions d'exécution des tâches de dépôt temporaire à la Passerelle de déplacement des données, qui renvoie l'état des tâches à Qlik Cloud.

3. Une fois la tâche de dépôt temporaire démarrée, Qlik Cloud extrait les données de l'application SaaS et les stocke (au format chiffré avec la clé du client).

4. Passerelle de déplacement des données récupère les données de l'application SaaS auprès de Qlik Cloud et les pousse vers la cible désignée.

La séquence de communication de haut niveau pour déplacer des données de la source de données d'entreprise est la suivante :

1. La Passerelle de déplacement des données établit une connexion mutuellement authentifiée et chiffrée à Qlik Cloud via HTTPS.

2. Qlik Cloud envoie les instructions d'exécution des tâches de dépôt temporaire à la Passerelle de déplacement des données, qui renvoie l'état des tâches à Qlik Cloud.

3. Passerelle de déplacement des données récupère les données de la source de données et les pousse vers la cible désignée.