Talend Data Stewardshipイベントの追跡とデータのリアルタイム処理

Talend Data Stewardshipのすべてのアクションはdata-historyという名前の中心トピックに公開されており、さまざまなユースケースのサブスクリプションに使用できます。

製品レコードのすべての異常を修正し、製品の説明が常に正しいことを確認するために、エンタープライズ製品カタログで継続的な更新が必要なシナリオを考えてみましょう。この種の課題を解決するには、データを修復し、製品カタログ内の解決され検証されたレコードの統合をリアルタイムで管理する必要があります。

この例では、コンシューマグループを使用してTalend Data Stewardshipで解決されたタスクのみを追跡し、次にdata-historyトピックからのメッセージをSlackに取り込み、タスクがリアルタイム処理の解決済みステータスに移行したことを示します。これらのメッセージを使用して、クリーンなレコードをリアルタイムでマスターデータ管理リポジトリーにアップロードできます。

以下は、Talend Data Stewardship内部コンポーネントとそれらとKafkaトピックとの相互作用を識別するアーキテクチャー図です。

Kafkaのトピックおよびコンシューマの設定に関する詳細は、https://kafka.apache.org/documentation/ (英語のみ)を参照してください。