Intégration de données

La première étape de la création d'un pipeline de données d'un projet de données Qlik Cloud Data Integration consiste à intégrer les données. Cela implique de transférer les données à partir de la source de données locale et de stocker des ensembles de données dans un format optimisé pour la lecture. Vous pouvez mettre les données à jour avec gestion continue des modifications ou utiliser des chargements planifiés.

Vous créez l'intégration en une seule fois, mais elle est réalisée en deux étapes.

• Dépôt temporaire des données

  Cela implique de transférer les données en continu de la source de données locale vers une zone de dépôt temporaire, via une tâche de données Dépôt temporaire.

  Dépôt temporaire de données à partir de sources de données

• Stockage d'ensembles de données

  Cela implique la lecture du chargement initial des données de dépôt temporaire ou des chargements incrémentiels et l'application des données dans un format optimisé pour la lecture via une tâche de données Stockage.

  Stockage d'ensembles de données

Lorsque vous avez intégré les données, vous pouvez utiliser les ensembles de données stockés de plusieurs manières.

• Vous pouvez utiliser les ensembles de données dans une application analytique.

• Vous pouvez créer des transformations.

• Vous pouvez créer un mini-data warehouse

Données à intégrer

Vous commencez à intégrer des données dans un projet de données. Les ensembles de données seront stockés dans un entrepôt de données cloud défini dans le projet de données. Pour plus d'informations sur les projets de données, voir Création d'un pipeline de données.

1. Cliquez sur Ajouter nouveau, puis sur Intégrer les données.

2. Ajoutez un nom et une description pour l'intégration.

   Cliquez sur Suivant.

3. Sélectionnez la connexion source.

   Vous pouvez sélectionner une connexion source existante ou créer une nouvelle connexion de données à la source.

   Pour plus d'informations, voir Connexion aux sources de données.

   Cliquez sur Suivant.

4. Sélectionner les données à charger.

   Pour plus d'informations, voir Sélection de données.

   Cliquez sur Suivant.

   Paramètres apparaît, vous permettant de sélectionner la méthode de mise à jour et les paramètres d'historique.

5. Sélectionnez la méthode à utiliser pour mettre les données à jour dans Méthode de mise à jour :

   • Change Data Capture (CDC)

     Si vos données contiennent également des tables ne prenant pas en charge CDC, ou des vues, deux pipelines de données seront créés. Un pipeline avec l'ensemble des tables prenant en charge CDC, et un autre pipeline avec l'ensemble des autres tables et vues utilisant Charger et comparer.

   • Charger et comparer

6. Indiquez si vous souhaitez répliquer l'historique des anciennes données en plus des données actuelles dans Historique.

   Lorsque vous êtes prêt, cliquez sur Suivant.

7. Prévisualisez les tâches de données créées pour intégrer les données, puis renommez-les, si vous préférez.

   Note ConseilCes noms sont utilisés pour nommer des schémas de base de données dans la ressource de données de stockage. Un schéma ne pouvant être associé qu'à une seule tâche, pensez à employer des noms uniques pour éviter tout conflit avec les ressources de données des autres projets de données utilisant la même plateforme de données.

8. Indiquez si vous souhaitez ouvrir n'importe laquelle des tâches de données créées ou revenir au projet de données.

   Lorsque vous êtes prêt, cliquez sur Terminer.

Les tâches de données d'intégration sont maintenant créées. Pour commencer la réplication des données, vous devez :

• Préparer et exécuter la tâche de données de dépôt temporaire.

  Pour plus d'informations, voir Dépôt temporaire de données à partir de sources de données.

• Préparer et exécuter la tâche de données de stockage.

  Pour plus d'informations, voir Stockage d'ensembles de données

Sélection de données

Vous pouvez sélectionner certaines tables ou vues, ou utiliser des règles de sélection pour inclure ou exclure des groupes de tables.

Utilisez % comme caractère générique pour définir des critères de sélection pour les schémas et les tables.

• %.% définit toutes les tables de tous les schémas.

• Public.% définit toutes les tables du schéma Public.

Critères de sélection vous fournit un aperçu selon vos sélections.

Vous pouvez effectuer l'une des deux opérations suivantes :

• Créez une règle pour inclure ou exclure un groupe de tables en fonction des critères de sélection.

  Cliquez sur Ajouter une règle à partir des critères de sélection pour créer une règle, puis sélectionnez Inclure ou Exclure.

  Vous pouvez voir la règle sous Règles de sélection.

• Sélectionnez un ou plusieurs ensembles de données, puis cliquez sur Ajouter les ensembles de données sélectionnés.

  Vous pouvez voir les ensembles de données ajoutés sous Ensembles de données sélectionnés de manière explicite.

Les règles de sélection ne s'appliquent qu'à l'ensemble actuel de tables et de vues, et non aux tables et aux vues ajoutées après.