Vue d'ensemble des méthodes de mise à jour de la cible

Vous pouvez définir la méthode de mise à jour à utiliser, soit lors de la configuration de la tâche initiale, soit ultérieurement dans les Paramètres de la tâche de données. Il est impossible de modifier la méthode de mise à jour une fois la tâche de données préparée. Les méthodes de mise à jour disponibles dépendent du type de tâche : dépôt temporaire, réplication ou dépôt temporaire de données dans un lac de données.

Méthodes de mise à jour lors du dépôt temporaire de données

• Change Data Capture (CDC)

  La tâche de données commence par un chargement complet. Les données de la cible sont ensuite maintenues à jour via un chargement incrémentiel basé sur les champs de date. Il se peut que CDC ne soit pas supporté par toutes les sources de données.

  Note InformationsLes opérations DELETE ne sont pas supportées. Cela signifie que si une ligne est supprimée de la source, elle ne sera pas supprimée dans les données de dépôt temporaire. S'il est important de gérer les suppressions, utilisez plutôt la fonction Charger et comparer.

  Lors de l'utilisation de Data Movement gateway et du dépôt temporaire de données provenant d'applications SaaS, vous définissez l'intervalle entre la lecture des modifications de la source dans Paramètres >Temps d'exécution. Lorsque vous travaillez sans Data Movement gateway, vous définissez l'intervalle via le planificateur. Pour plus d'informations, consultez Planification de tâches CDC sans utiliser Data Movement gateway.

• Charger et comparer

  La tâche de données effectue des chargements complets uniquement depuis la source. Cela s'avère utile si votre source ne supporte pas CDC, par exemple, ou si vous souhaitez propager des opérations DELETE (qui ne sont pas supportées par CDC) à la cible. La fonction Charger et comparer peut être utilisée avec n'importe quelle source de données supportée et peut être planifiée de sorte à se produire périodiquement.

Méthodes de mise à jour lors de la réplication vers des cibles de type base de données ou entrepôt de données

• Chargement complet : Charge les données des tables sources sélectionnées dans la plate-forme cible et crée les tables cibles, si nécessaire. Le chargement complet s'effectue automatiquement lorsque la tâche démarre, mais il peut également être effectué manuellement, si nécessaire.

• Appliquer les modifications : Maintient les tables cibles à jour en y ajoutant toutes les modifications apportées aux tables sources.

• Stocker les modifications : Stocke les modifications apportées aux tables sources dans les tables de modifications (une par table source).

  Pour plus d'informations, consultez Stocker les modifications.

Lors de l'utilisation de Data Movement gateway, les modifications sont capturées auprès de la source quasiment en temps réel. Si vous travaillez sans Data Movement gateway (par exemple, avec un abonnement Démarreur Qlik Talend Cloud ou si vous sélectionnez Aucune), les modifications sont capturées en fonction des paramètres du planificateur. Pour plus d'informations, consultez Planification de tâches sans utiliser Data Movement gateway.

Méthodes de mise à jour lors de la réplication vers un stockage cloud (lacs de données)

• Change Data Capture (CDC) : Les tâches de dépôt temporaire dans un lac de données démarrent avec un chargement complet (au cours duquel toutes les tables sélectionnées sont temporairement déposées). Les données temporairement déposées sont ensuite maintenues à jour via la technologie CDC (Change Data Capture).

  Note InformationsL'opération CDC (Change Data Capture) des opérations DDL n'est pas prise en charge.

  Lors de l'utilisation de Data Movement gateway, les modifications sont capturées auprès de la source quasiment en temps réel. Si vous travaillez sans Data Movement gateway, les modifications sont capturées en fonction des paramètres du planificateur. Pour plus d'informations, consultez Planification de tâches sans utiliser Data Movement gateway.

• Charger : effectue un chargement complet des données des tables sources sélectionnées dans la plate-forme cible et crée les tables cibles, si nécessaire. Le chargement complet s'effectue automatiquement lorsque la tâche démarre, mais il peut également être effectué manuellement ou planifié de sorte à se produire périodiquement, si nécessaire.

Familiarisation avec l'opération Change Data Capture (CDC) planifiée

Si vous travaillez sans Data Movement gateway, les modifications sont capturées en fonction d'un intervalle planifié. Il est important de savoir comment fonctionne la planification. Le mieux est d'avoir recours à un exemple. Dans l'exemple suivant, l'exécution d'une tâche a été planifiée toutes les 30 minutes à partir de 9h00.

• La tâche commence à 9h00 par un chargement complet.
• Le chargement complet se termine à 9h40, ce qui signifie que l'exécution de 9h30 sera ignorée.
• L'exécution suivante démarre à 10h00 et capture toutes les modifications validées jusqu'à 10h00.
• L'exécution de 10h00 se termine à 10h15.
• L'exécution suivante démarre à 10h30 et capture toutes les modifications qui se sont produites entre 10h00 et 10h30.

Limitations

Certaines tables renvoyées par l'application SaaS ne sont pas supportées par Change Data Capture (CDC). Dans ce cas, vous verrez un message d'avertissement dans Erreurs de validation. Vous pouvez sélectionner l'une des options suivantes :

• Supprimer la table de la tâche de données.

• Remplacer la méthode de mise à jour de la tâche de données par Charger et comparer.