Données CDC

Le processus d'intégration transfère les données d'une source CDC ou SaaS et les stocke dans des tables Iceberg. Les modifications apportées aux sources de données sont appliquées en continu aux tables de stockage par mini-lots efficaces.

Intégrer les données

Vous commencez à intégrer des données dans un projet. Les jeux de données sont stockés à l'emplacement S3 défini dans le projet. Pour plus d'informations sur les projets, consultez Création d'un projet de pipeline de données.

1. Dans votre projet, cliquez sur Créer, puis sur Intégrer les données.

   Note ConseilVous pouvez également cliquer sur sur une source existante dans le projet, puis cliquer sur Intégrer les données.

2. Ajoutez un nom et une description pour l'intégration.

   Cliquez sur Suivant.

3. Sélectionnez la connexion source.

   Vous pouvez sélectionner une connexion source existante ou créer une nouvelle connexion à la source.

   Pour plus d'informations, consultez Configuration des connexions aux sources de données.

   Cliquez sur Suivant.

4. Sélectionner les données à charger.

   Pour plus d'informations, consultez Sélection de données.

   Cliquez sur Suivant.

   Paramètres apparaît, vous permettant de sélectionner la méthode de mise à jour et les paramètres d'historique.

5. Sélectionnez la méthode à utiliser pour mettre les données à jour dans Méthode de mise à jour :

   • Change Data Capture (CDC)

     Si vos données contiennent des tables qui ne supportent pas l'opération CDC ou les vues, deux pipelines de données seront créés : un pipeline avec l'ensemble des tables supportant CDC, et un autre pipeline avec l'ensemble des autres tables et vues utilisant Charger et comparer.

   • Charger et comparer

6. Indiquez si vous souhaitez répliquer l'historique des anciennes données en plus des données actuelles dans Historique.

7. Lorsque vous êtes prêt, cliquez sur Suivant.

8. Prévisualisez les tâches de données créées pour intégrer les données, puis renommez-les, si vous préférez.

   Note ConseilLes noms sont utilisés lors du nommage des schémas de base de données dans la tâche de données de stockage. Pensez à employer des noms uniques pour éviter tout conflit avec les tâches de données d'autres projets utilisant la même plateforme de données.

9. Indiquez si vous souhaitez ouvrir n'importe laquelle des tâches de données créées ou revenir au projet.

   Lorsque vous êtes prêt, cliquez sur Terminer.

10. Les tâches de données d'intégration sont maintenant créées. Pour commencer la réplication des données, vous devez :

11. Préparer et exécuter la tâche de données de dépôt temporaire.

    Pour plus d'informations, consultez Dépôt temporaire de données à partir de sources de données.

12. Préparer et exécuter la tâche de données de stockage.

    Pour plus d'informations, consultez Stockage de jeux de données.

Sélection de données

Vous pouvez sélectionner certaines tables ou vues, ou utiliser des règles de sélection pour inclure ou exclure des groupes de tables.

Utilisez % comme caractère générique pour définir des critères de sélection pour les schémas et les tables.

• %.% définit toutes les tables de tous les schémas.

• Public.% définit toutes les tables du schéma Public.

Critères de sélection vous fournit un aperçu selon vos sélections.

Vous pouvez effectuer l'une des deux opérations suivantes :

• Créez une règle pour inclure ou exclure un groupe de tables en fonction des critères de sélection.

  Cliquez sur Ajouter une règle à partir des critères de sélection pour créer une règle, puis sélectionnez Inclure ou Exclure.

  Vous pouvez voir la règle sous Règles de sélection.

• Sélectionnez un ou plusieurs ensembles de données, puis cliquez sur Ajouter les ensembles de données sélectionnés.

  Vous pouvez voir les ensembles de données ajoutés sous Ensembles de données sélectionnés de manière explicite.

Les règles de sélection ne s'appliquent qu'à l'ensemble actuel de tables et de vues, et non aux tables et aux vues ajoutées après.