Conception de votre projet d'intégration de données
Qlik Talend Data Integration permet de créer des pipelines de données grâce auxquels il est possible d'effectuer une variété de tâches d'intégration de données afin de répondre à vos besoins d'architecture de données et d'analyse.
Vous créez votre flux d'intégration de données dans un projet, via des tâches de données. Le projet est associé à une plateforme de données utilisée comme cible pour tous les résultats. Le projet est stocké dans un espace de données. Vous devez également créer des connexions à vos sources et cibles .
Création d'un espace
Utilisation des espaces dans Intégration de données
Créez un espace de données utilisé pour créer et stocker votre projet. Ces espaces vous permettent également de créer des connexions au moyen de connecteurs et de gérer l'accès à Data Movement gateway.
Création de connexions aux sources et cibles
Configuration des connexions aux sources de données
Créez des connexions à vos sources de données.
Configuration des connexions aux cibles
Créez des connexions à votre plateforme cible.
Qlik Data Gateway - Data Movement
Configurez Qlik Data Gateway - Data Movement pour faciliter le déplacement de données en toute sécurité de vos applications SaaS et sources de données d'entreprise vers des cibles supportées.
Création d'un projet
Lorsque vous créez un projet, vous devez sélectionner votre cas d'utilisation.
Création d'un projet de pipeline de données
Les projets de pipeline de données supportent l'ingestion de données provenant d'un grand nombre de sources supportées dans une plateforme de données dans laquelle vous pouvez ensuite transformer les données à l'aide de transformations ELT (pushdown) pour supporter les architectures de lakehouse de données et d'entrepôt de données. Les pipelines supportent les sources de données CDC et incrémentielles basées sur des logs, mais offrent une série d'options pour l'ingestion de données dans des plateformes d'entrepôt de données majeures.
Utilisez un projet de pipeline de données lorsque vous souhaitez :
-
supporter des structures de données de type 1 et de type 2 dans vos processus d'ingestion ;
-
transformer et remodeler vos données pour obtenir des résultats adaptés à une fin donnée ou des schémas en étoile pour les charges de travail analytiques ;
-
créer une lakehouse basée sur Iceberg ;
-
créer un Qlik Open Lakehouse basé sur Apache Iceberg et refléter les tables dans Snowflake ;
-
créer des pipelines complexes qui sont gérés via des projets pour des limites organisationnelles ou fonctionnelles.
Création d'un projet de réplication
Les projets de réplication supportent la réplication directe à partir d'un grand nombre de sources compatibles vers des lacs de données ou toute plateforme cible supportée. Les données sont appliquées directement à vos structures cibles, mais les transformations complexes ou le remodelage des données ne sont pas supportés. Les pipelines de réplication sont compatibles avec un plus grand nombre de technologies cibles pour les scénarios de réplication.
Utilisez un projet de réplication lorsque vous le souhaitez :
-
répliquer des données dans votre cible et que vous n'avez pas besoin de transformations complexes sur ces données ;
-
répliquer des données dans une cible non supportée par les pipelines de données ;
gérer les versions de votre projet de pipeline.
Gestion de vos projets avec le contrôle des versions
Utilisez le contrôle des versions pour gérer le développement d'un projet de données et pour garder une trace des modifications.