Présentation de Qlik Cloud Data Integration
Vous pouvez livrer des données prêtes à la consommation à Qlik Cloud ou à des entrepôts de données cloud tels que Snowflake, Google Cloud BigQuery et Azure Synapse Analytics avec Qlik Cloud Data Integration. Les sources de données peuvent être sur site ou dans le cloud. Les données peuvent être maintenues à jour sans intervention manuelle grâce à la technologie CDC (Change Data Capture) ou aux technologies de traitement par lots telles que les actualisations planifiées. Vous pouvez créer un pipeline de données, effectuer des transformations adaptées et créer des mini-data warehouses.
Vous pouvez accéder à la page d'accueil de Qlik Cloud Data Integration en sélectionnant Intégration de données dans le menu du lanceur (
).
Pour plus d'informations sur l'architecture de Qlik Cloud Data Integration, voir Architecture de l'ensemble de données dans un entrepôt de données cloud.
Options d'abonnement
Les abonnements Qlik Cloud Data Integration sont basés sur un modèle de capacité qui utilise le volume des Données déplacées comme principal compteur de valeur.
Qlik Cloud Data Integration est disponible sous forme d'options d'abonnement à trois niveaux : Standard, Premium et Enterprise. Les éditions supérieures fournissent des sources et transformations de données plus avancées. L'ensemble des abonnements incluent Qlik Cloud Analytics - Standard.
Pour plus d'informations sur les options d'abonnement, voir Options d'abonnement Qlik Cloud Data Integration.
Espaces de données
Les espaces de données sont des zones gouvernées de votre client Qlik Cloud qui sont utilisées pour créer et stocker des projets de données. Cet espace vous permet également de créer des connexions de données au moyen de connecteurs et de gérer l'accès aux passerelles de déplacement de données. La création des ressources de données s'effectue dans l'espace du projet de données auquel elles appartiennent.
Pour plus d'informations, voir Utilisation d'espaces dans Qlik Cloud Data Integration.
Projets de données
Un projet de données est l'endroit où vous créez votre flux d'intégration de données via des tâches de données. Le projet de données est associé à une plateforme de données utilisée comme cible pour tous les résultats. Vous pouvez créer un projet de données avec l'un des cas d'utilisation suivants :
-
Pipeline de données
Créez un pipeline simple et linéaire ou un pipeline complexe qui consomme plusieurs sources de données et génère de nombreuses sorties.
-
Réplication
Répliquez des données depuis des sources de données prises en charge vers n'importe quelle cible prise en charge, ou déposez temporairement les données dans un lac de données.
Tâche de données
Une tâche de données est la principale unité de travail d'un projet de données. Vous pouvez créer des tâches de données des types suivants dans un projet de données. Créez une tâche de données en cliquant sur Ajouter nouveau dans la barre supérieure, puis sur la tâche appropriée.
Tâches de données dans des projets de type Pipeline de données
-
Dépôt temporaire
Copiez des données depuis une source de données vers une zone de dépôt temporaire. Les sources de données peuvent être sur site ou dans le cloud. La zone de dépôt temporaire peut être une cible cloud ou un compartiment de données Amazon S3 (uniquement lors de la création d'ensembles de données QVD).
Vous pouvez maintenir les données à jour sans intervention manuelle en utilisant CDC ou en effectuant des chargements complets dont l'actualisation est planifiée périodiquement.
-
Données enregistrées
Enregistrez des données qui existent déjà sur la plateforme de données. Cela vous permet d'utiliser des données intégrées à d'autres outils que Qlik Cloud Data Integration, par exemple, Qlik Replicate.
Enregistrement de données qui existent déjà sur la plateforme de données
-
Stockage
Créez des ensembles de données prêts à être consommés dans un entrepôt de données cloud ou dans Qlik Cloud à partir des données copiées par la tâche de données de dépôt temporaire. Les ensembles de données sont maintenues à jour à l'aide des données de dépôt temporaire sans intervention manuelle.
-
Transformer
Créez des transformations de données réutilisables basées sur des règles et du SQL personnalisé dans le cadre de votre pipeline de données. Vous pouvez effectuer des transformations au niveau des lignes et créer des ensembles de données qui sont soit matérialisés comme des tables, soit créés comme des vues qui effectuent des transformations à la volée.
-
Mini-data warehouse
Créez des mini-data warehouses pour utiliser vos tâches de données Stockage ou Transformation. Vous pouvez créer autant de mini-data warehouses que nécessaire. Dans l'absolu, ils doivent contenir des référentiels de données synthétiques collectés à des fins d'analyse dans une section ou une unité spécifique de votre organisation.
Tâches de données dans des projets de données de type Réplication
-
Réplication
Répliquez des données depuis des sources de données prises en charge vers n'importe quelle cible prise en charge.
-
Dépôt temporaire dans un lac
Déposez temporairement les données dans un lac de données.
Surveillance de vos tâches de données
Vous pouvez surveiller l'état et la progression de vos tâches de données grâce aux vues Surveiller. Une vue Surveiller vous permet de voir l'état de l'ensemble des tâches de données du client ou un sous-ensemble de données des tâches de données via un filtre. Vous pouvez créer plusieurs vues pour surveiller différents aspects de vos pipelines de données. Pour plus d'informations, voir Surveillance et exécution de vos tâches de données.
Connexions
Les connexions de données permettent aux tâches de données d'accéder aux sources de données, au stockage externe et aux plate-formes de données cloud pour la livraison de données et des transformations push-down.
Les connexions peuvent être mises à jour uniquement par le propriétaire de la connexion.
Affichage de vos connexions
Cliquez sur Connexions de données dans le menu gauche de la page d'accueil Qlik Cloud Data Integration pour afficher l'ensemble de vos connexions de données.
-
Vous pouvez modifier les connexions qui vous appartiennent.
Cliquez sur ..., puis sur Éditer.
-
Vous pouvez tester une connexion.
Cliquez sur ..., puis sur Tester la connexion.
-
Vous pouvez supprimer une connexion.
Cliquez sur ..., puis sur Supprimer.
Création d'une connexion
Créez une nouvelle connexion :
-
en cliquant sur Ajouter nouveau dans la barre supérieure, puis sur Connexion de données ;
-
en cliquant sur Créer et en sélectionnant une connexion ;
-
en cliquant sur Créer une connexion dans la liste des connexions source ;
-
en cliquant sur Créer une connexion dans la vue Connexions de données.
Vous pouvez filtrer les connecteurs en fonction des attributs suivants :
-
Catégorie
Entrepôt de données, Stockage cloud, Base de données et Application.
-
Type
Source ou Cible.
Vous pouvez également effectuer une sélection parmi les connecteurs récemment utilisés.
Vous devrez sélectionner le type de source de données, puis saisir une adresse et des informations d'authentification.
Voir aussi :