Présentation de Qlik Talend Data Integration
Vous pouvez livrer des données prêtes à la consommation à Qlik Cloud ou à des entrepôts de données cloud tels que Snowflake, Google Cloud BigQuery et Azure Synapse Analytics avec Qlik Talend Data Integration. Les sources de données peuvent être sur site ou dans le cloud. Les données sont maintenues à jour sans intervention manuelle grâce à la technologie CDC (Change Data Capture) ou à des technologies de traitement par lots, telles que les chargements planifiés. Vous pouvez également créer un pipeline de données, effectuer des transformations adaptées et créer des mini-data warehouses.
Vous pouvez accéder à la page d'accueil de Qlik Talend Data Integration en sélectionnant Intégration de données dans le menu du lanceur (
).
Pour plus d'informations sur l'architecture de Qlik Talend Data Integration, voir Architecture du jeu de données dans un entrepôt de données cloud.
Options d'abonnement
Les abonnements Qlik Talend Cloud sont basés sur un modèle de capacité qui utilise le volume de Données déplacées comme principal compteur de valeur.
Qlik Talend Cloud est disponible sous forme d'options d'abonnement à quatre niveaux : Starter (Débutant), Standard, Premium et Enterprise. Les éditions supérieures fournissent des sources et transformations de données plus avancées. Cela inclut les fonctionnalités hébergées sur Qlik Cloud et sur Talend Cloud. L'ensemble des abonnements incluent Qlik Cloud Analytics - Standard.
Pour plus d'informations sur les options d'abonnement, voir Options d'abonnement Qlik Talend Cloud.
Espaces de données
Les espaces de données sont des zones gouvernées de votre client Qlik Cloud qui sont utilisées pour créer et stocker des projets. Ces espaces vous permettent également de créer des connexions au moyen de connecteurs et de gérer l'accès à Data Movement gateway. Toutes les tâches de données sont créées dans l'espace du projet auquel elles appartiennent.
Pour plus d'informations, consultez Utilisation des espaces dans Qlik Talend Data Integration.
Projets
Le projet est l'endroit où vous créez votre flux d'intégration de données via des tâches de données. Le projet est associé à une plateforme de données utilisée comme cible pour tous les résultats. Vous pouvez créer un projet avec l'un des cas d'utilisation suivants :
-
Pipeline de données
Créez un pipeline simple et linéaire ou un pipeline complexe qui consomme plusieurs sources de données et génère de nombreuses sorties.
-
Réplication
Répliquez des données depuis des sources de données supportées vers n'importe quelle cible supportée, ou déposez temporairement les données dans un lac de données.
Tâche de données
La tâche de données est la principale unité de travail d'un projet. Vous pouvez créer des tâches de données des types suivants dans un projet. Créez une tâche de données en cliquant sur Créer dans la barre supérieure, puis sur la tâche appropriée.
Tâches de données dans des projets de type Pipeline de données
-
Dépôt temporaire
Copiez des données depuis une source de données vers une zone de dépôt temporaire. Les sources de données peuvent être sur site ou dans le cloud. La zone de dépôt temporaire peut être une cible cloud ou un compartiment de données Amazon S3 (uniquement lors de la création de jeux de données QVD).
Maintenez les données à jour sans intervention manuelle en utilisant CDC ou en effectuant des chargements complets dont le rechargement est planifié périodiquement.
-
Dépôt temporaire dans un lac
Déposez temporairement des données dans un lakehouse, dans lequel les données sont temporairement déposées dans un stockage de fichiers cloud géré par Snowflake. Vous pouvez synchroniser les tables Iceberg avec Snowflake Open Catalog pour permettre l'interopérabilité avec d'autres outils tels que Apache Spark.
-
Données enregistrées
Enregistrez des données qui existent déjà sur la plateforme de données. Cela vous permet d'utiliser des données intégrées à d'autres outils que Qlik Talend Data Integration, par exemple, Qlik Replicate.
Enregistrement de données qui existent déjà sur la plateforme de données
-
Stockage
Créez des jeux de données prêts à être consommés dans un entrepôt de données cloud ou dans Qlik Cloud à partir des données copiées par la tâche de données de dépôt temporaire. Les jeux de données sont maintenus à jour à l'aide des données de dépôt temporaire sans intervention manuelle.
-
Transformer
Créez des transformations de données réutilisables basées sur des règles et du SQL personnalisé dans le cadre de votre pipeline de données. Vous pouvez effectuer des transformations au niveau des lignes et créer des jeux de données matérialisés comme des tables, ou créés comme des vues effectuant des transformations à la volée.
-
Mini-data warehouse
Créez des mini-data warehouses pour utiliser vos tâches de données Stockage ou Transformation. Vous pouvez créer autant de mini-data warehouses que nécessaire. Dans l'absolu, ils doivent contenir des référentiels de données synthétiques collectés à des fins d'analyse dans une section ou une unité spécifique de votre organisation.
Tâches de données dans des projets de réplication
-
Réplication
Répliquez des données depuis des sources de données supportées vers n'importe quelle cible supportée.
-
Dépôt temporaire dans un lac
Déposez temporairement les données dans un lac de données.
Surveillance de vos tâches de données
Surveillez l'état et la progression de vos tâches de données grâce aux vues Surveiller. Une vue Surveiller vous permet de voir l'état de l'ensemble des tâches de données du client ou d'un sous-jeu de données des tâches de données via un filtre. Vous pouvez créer plusieurs vues pour surveiller différents aspects de vos pipelines de données. Pour plus d'informations, consultez Surveillance et exécution de vos tâches de données.
Produits de données
Les jeux de données enregistrés à partir d'un projet de données ou d'un chargement manuel et ajoutés à votre Catalogue peuvent ensuite être regroupés et conditionnés sous la forme d'un produit de données. Vous pouvez regrouper des jeux de données par domaine métier, par exemple, et les mettre à disposition sur le marketplace des données pour que les consommateurs d'analyses les utilisent dans des applications. Pour plus d'informations, consultez Working with data products.
Connexions
Les connexions permettent aux tâches de données d'accéder aux sources de données, au stockage externe et aux plateformes cibles pour la livraison de données et des transformations push-down.
Gestion de vos connexions
Cliquez sur Connexions à gauche pour afficher l'ensemble de vos connexions.
-
Vous pouvez modifier les connexions qui vous appartiennent.
Note InformationsVous pouvez également modifier toutes les connexions d'un espace de données dont vous êtes propriétaire ou pour lequel vous avez un rôle Peut gérer.Cliquez sur ..., puis sur Modifier.
-
Vous pouvez tester une connexion.
Cliquez sur ..., puis sur Tester la connexion.
-
Vous pouvez supprimer une connexion.
Cliquez sur ..., puis sur Supprimer.
Création d'une connexion
Il existe plusieurs manières de créer des connexions :
-
Cliquez sur Créer nouveau dans les assistants de configuration de tâche de données où vous sélectionnez une connexion.
-
Cliquez sur Créer et sélectionnez Connexions dans la vue Connexions.
Vous pouvez filtrer les connecteurs par :
-
Catégorie
Entrepôt de données, Stockage cloud, Base de données et Application.
-
Type
Source ou Cible.
Vous pouvez également effectuer une sélection parmi les connecteurs récemment utilisés.
Vous devrez sélectionner le type de source de données, puis saisir une adresse et des informations d'authentification.
Consultez aussi :