Comment fonctionne Talend Change Data Capture ?

Le moteur de Talend Change Data Capture récupère les modifications apportées à la base de données depuis les journaux de transaction de la machine source. Ce mode incrémentiel lui permet d'opérer en temps réel (à la volée) et de réduire considérablement le volume de données à actualiser. Le système e-commerce, qui permet par exemple à vos client·es de connaître l'état de leurs commandes, est ainsi mis à jour en temps réel. La nuit, votre système décisionnel ne reçoit, quant à lui, que les nouvelles informations et celles ayant évolué, réduisant ainsi considérablement le volume des informations à transférer. Ce mode incrémentiel peut, par exemple, être implémenté pour actualiser votre data warehouse durant les heures de nuit, en fonction d'un planning défini.

Avec Talend Change Data Capture, vous pouvez également travailler directement avec les fichiers ou tables sources, sans avoir besoin du support des journaux de transactions. Le mode EXTRACT permet, quant à lui, un rafraîchissement complet avec ou sans sélection (par exemple, sur une date).

Pour chaque enregistrement de transaction traité par Talend Change Data Capture, le module de transformation offre des possibilités illimitées de sélection et d'amélioration des données en appelant des programmes personnalisés si nécessaire. La sélection/transformation est effectuée sur la machine source, afin que seules les données essentielles, au format approprié, soient envoyées à la machine cible, réduisant ainsi considérablement les volumes échangés. La sélection/transformation est également effectuée sur la machine cible, vous pouvez donc choisir à quel endroit vous souhaitez consommer de la puissance.

Les données sont transmises par blocs et traitées en parallèle sur la machine cible. Ainsi, la machine cible traite un bloc pendant que la machine source prépare le bloc suivant. Toute perte de temps est évitée et les gros volumes sont absorbés sans problème. Lors de la réception d'un bloc, la machine cible l'applique à la base de données cible au moyen d'algorithmes sophistiqués intégrant la gestion des erreurs à une fonctionnalité de réparation automatique que l'utilisateur·trice peut sélectionner.

La possibilité d'appeler des programmes personnalisés sur la machine cible permet de s'interfacer avec par exemple un ERP en faisant appel à des API plutôt que d'écrire directement dans sa base de données.

Talend Change Data Capture permet d'alimenter en temps réel une base de données cible dont la structure est radicalement différente de celle de la source. Vous pouvez définir des fusions et des scissions d'enregistrements dans les paramètres.

Talend Change Data Capture offre également la possibilité unique de connaître les variations des données et de les modifier. Par exemple, il est possible de connaître l'évolution exacte d'un prix, en termes de valeur et de pourcentage, dès que la modification est appliquée dans le module de transformation sur la machine source. En résumé, au lieu de sélectionner un enregistrement pour lequel le code X contient la valeur "B", vous pouvez vous baser sur le fait que le code X a changé de valeur, passant de "A" à "B". Vous pouvez également envoyer simultanément vers la cible l'ancien et le nouveau prix, afin de mettre à jour parallèlement un agrégat (en temps réel) sur la machine cible.

Talend Change Data Capture peut être démarré et arrêté facilement depuis vos applications et outils d'administration. Les alertes Talend Change Data Capture sont standardisées pour pouvoir être intégrées aisément dans vos outils de remontée d'alertes. Dans AS/400 IBMi, Talend Change Data Capture intègre un module permettant d'automatiser le nettoyage des récepteurs de journaux, optimisant ainsi l'espace disque occupé.