Suivre des évènements et des traitements de données de Talend Data Stewardship en temps réel

Toutes les actions effectuées dans Talend Data Stewardship sont publiées dans un sujet central intitulé data-history, et vous pouvez y souscrire pour vous en servir de plusieurs façons.

Imaginez que le catalogue de produits de votre entreprise nécessite une mise à jour afin de corriger toutes les anomalies dans les enregistrements des produits et vous assurer que les descriptions des produits sont toujours correctes. Pour résoudre ce genre de problèmes, vous devez traiter vos données et gérer l'intégration des enregistrements résolus et validés dans le catalogue de produits en temps réel.

Dans cet exemple, un groupe de consommateurs suit uniquement les tâches résolues dans Talend Data Stewardship, puis transfère les messages du sujet data-history dans Slack pour signaler les transitions de tâches nécessaires au statut Résolu en cas de traitement en temps réel. Ces messages peuvent être utilisés pour charger les enregistrements nettoyés dans le référentiel MDM en temps réel.

Vous trouverez ci-dessous diagramme d'architecture qui identifie les composants internes de Talend Data Stewardship et leur interaction avec le sujet Kafka.

Pour plus d'informations sur la configuration des sujets Kafka et des consommateurs, consultez https://kafka.apache.org/documentation/ (uniquement en anglais).