Présentation d'Intégration de données
Vous pouvez livrer des données prêtes à la consommation à Qlik Cloud ou à des entrepôts de données cloud tels que Snowflake, Google Cloud BigQuery et Azure Synapse Analytics avec Qlik Talend Data Integration. Les sources de données peuvent être sur site ou dans le cloud. Les données sont maintenues à jour sans intervention manuelle grâce à la technologie CDC (Change Data Capture) ou à des technologies de traitement par lots, telles que les chargements planifiés. Vous pouvez également créer un pipeline de données, effectuer des transformations adaptées et créer des mini-data warehouses.
Vous pouvez accéder à la page d'accueil de Qlik Talend Data Integration en sélectionnant Intégration de données dans le menu du lanceur (
).
Pour plus d'informations sur l'architecture de Qlik Talend Data Integration, voir Architecture du jeu de données dans un entrepôt de données cloud.
Options d'abonnement
Les abonnements Qlik Talend Cloud sont basés sur un modèle de capacité qui utilise le volume de Données déplacées comme principal compteur de valeur.
Qlik Talend Cloud est disponible sous forme d'options d'abonnement à quatre niveaux : Starter (Débutant), Standard, Premium et Enterprise. Les éditions supérieures fournissent des sources et transformations de données plus avancées. Cela inclut les fonctionnalités hébergées sur Qlik Cloud et sur Talend Cloud. L'ensemble des abonnements incluent Qlik Cloud Analytics - Standard.
Pour plus d'informations sur les options d'abonnement, voir Options d'abonnement Qlik Talend Cloud.
Espaces de données
Les espaces de données sont des zones gouvernées de votre client Qlik Cloud qui sont utilisées pour créer et stocker des projets. Ces espaces vous permettent également de créer des connexions au moyen de connecteurs et de gérer l'accès à Data Movement gateway. Toutes les tâches de données sont créées dans l'espace du projet auquel elles appartiennent.
Pour plus d'informations, consultez Utilisation des espaces dans Intégration de données.
Projets
Le projet est l'endroit où vous créez votre flux d'intégration de données via des tâches de données. Le projet est associé à une plateforme de données utilisée comme cible pour tous les résultats. Vous pouvez créer un projet avec l'un des cas d'utilisation suivants :
-
Pipeline de données
Créez un pipeline simple et linéaire ou un pipeline complexe qui consomme plusieurs sources de données et génère de nombreuses sorties.
-
Qlik Open Lakehouse
Créez un pipeline simple et linéaire ou un pipeline complexe qui consomme plusieurs sources de données et qui stocke les données dans Apache Iceberg.
-
Réplication
Répliquez des données depuis des sources de données supportées vers n'importe quelle cible supportée, ou déposez temporairement les données dans un lac de données.
Tâche de données
La tâche de données est la principale unité de travail d'un projet. Vous pouvez créer des tâches de données des types suivants dans un projet. Créez une tâche de données en cliquant sur Créer dans la barre supérieure, puis sur la tâche appropriée.
Tâches de données dans des projets de type Pipeline de données
Tâches de données dans des projets d'entrepôt de données
-
Dépôt temporaire
Copiez des données depuis une source de données vers une zone de dépôt temporaire. Les sources de données peuvent être sur site ou dans le cloud. La zone de dépôt temporaire peut être une cible cloud ou un compartiment de données Amazon S3 (uniquement lors de la création de jeux de données QVD).
Maintenez les données à jour sans intervention manuelle en utilisant CDC ou en effectuant des chargements complets dont le rechargement est planifié périodiquement.
-
Dépôt temporaire dans un lac
Déposez temporairement des données dans un lakehouse, dans lequel les données sont temporairement déposées dans un stockage de fichiers cloud géré par Snowflake. Vous pouvez synchroniser les tables Iceberg avec Snowflake Open Catalog pour permettre l'interopérabilité avec d'autres outils tels que Apache Spark.
-
Données enregistrées
Enregistrez des données qui existent déjà sur la plateforme de données. Cela vous permet d'utiliser des données intégrées à d'autres outils que Qlik Talend Data Integration, par exemple, Qlik Replicate.
Enregistrement de données qui existent déjà sur la plateforme de données
-
Stockage
Créez des jeux de données prêts à être consommés dans un entrepôt de données cloud ou dans Qlik Cloud à partir des données copiées par la tâche de données de dépôt temporaire. Les jeux de données sont maintenus à jour à l'aide des données de dépôt temporaire sans intervention manuelle.
-
Transformer
Créez des transformations de données réutilisables basées sur des règles et du SQL personnalisé dans le cadre de votre pipeline de données. Vous pouvez effectuer des transformations au niveau des lignes et créer des jeux de données matérialisés comme des tables, ou créés comme des vues effectuant des transformations à la volée.
-
Mini-data warehouse
Créez des mini-data warehouses pour utiliser vos tâches de données Stockage ou Transformation. Vous pouvez créer autant de mini-data warehouses que nécessaire. Dans l'absolu, ils doivent contenir des référentiels de données synthétiques collectés à des fins d'analyse dans une section ou une unité spécifique de votre organisation.
-
Datamarts de connaissances
La création de datamarts de connaissances vous permet d'intégrer et de stocker vos données structurées dans une base de données vectorielle. Cela permet de récupérer le contexte augmenté avec des fonctions de recherche sémantique afin de l'utiliser comme contexte pour les applications RAG (Retrieval Augmented Generation - Génération augmentée de récupération).
Tâches de données dans des projets Qlik Open Lakehouse
-
Dépôt temporaire dans un lac
Déposez temporairement les données dans un lac de données.
-
Stockage
Stockez les données au format Iceberg pour permettre un stockage efficace et des requêtes performantes. Le compactage et le nettoyage de fichier automatiques permettent d'optimiser le stockage et de réduire les coûts.
-
Miroir
Mettez les tables en miroir dans votre entrepôt de données Snowflake en dupliquant les données. Les utilisateurs peuvent interroger les données directement à partir de Snowflake. Ajoutez une tâche Refléter les données à votre pipeline ou utilisez un projet Qlik Open Lakehouse comme source pour effectuer des transformations de données.
Mise en miroir des données dans un entrepôt de données cloud
Tâches de données dans des projets de réplication
-
Réplication
Répliquez des données depuis des sources de données supportées vers n'importe quelle cible supportée.
-
Dépôt temporaire dans un lac
Déposez temporairement les données dans un lac de données.
Surveillance de vos tâches de données
Surveillez l'état et la progression de vos tâches de données grâce aux vues Surveiller. Une vue Surveiller vous permet de voir l'état de l'ensemble des tâches de données du client ou d'un sous-jeu de données des tâches de données via un filtre. Vous pouvez créer plusieurs vues pour surveiller différents aspects de vos pipelines de données. Pour plus d'informations, consultez Surveillance et exécution de vos tâches de données.
Produits de données
Les jeux de données enregistrés à partir d'un projet de données ou d'un chargement manuel et ajoutés à votre Catalogue peuvent ensuite être regroupés et conditionnés sous la forme d'un produit de données. Vous pouvez regrouper des jeux de données par domaine métier, par exemple, et les mettre à disposition sur la marketplace des données pour que les consommateurs d'analyses les utilisent dans des applications. Pour plus d'informations, consultez Utilisation de produits de données.
Connexions
Les connexions permettent aux tâches de données d'accéder aux sources de données, au stockage externe et aux plateformes cibles pour la livraison de données et des transformations push-down.
Gestion de vos connexions
Cliquez sur Connexions à gauche pour afficher l'ensemble de vos connexions.
-
Vous pouvez modifier les connexions qui vous appartiennent.
Note InformationsVous pouvez également modifier toutes les connexions d'un espace de données dont vous êtes propriétaire ou pour lequel vous avez un rôle Peut gérer.Cliquez sur ..., puis sur Modifier.
-
Vous pouvez tester une connexion.
Cliquez sur ..., puis sur Tester la connexion.
-
Vous pouvez supprimer une connexion.
Cliquez sur ..., puis sur Supprimer.
Création d'une connexion
Il existe plusieurs manières de créer des connexions :
-
Cliquez sur Créer nouveau dans les assistants de configuration de tâche de données où vous sélectionnez une connexion.
-
Cliquez sur Créer et sélectionnez Connexions dans la vue Connexions.
Vous pouvez filtrer les connecteurs par :
-
Catégorie
Entrepôt de données, Stockage cloud, Base de données et Application.
-
Type
Source ou Cible.
Vous pouvez également effectuer une sélection parmi les connecteurs récemment utilisés.
Vous devrez sélectionner le type de source de données, puis saisir une adresse et des informations d'authentification.
Consultez aussi :