Étape 2 : charger des modifications à partir de la table de base de données source dans la table externe Hive

Cette étape lit uniquement les modifications à partir de la table de base de données source et les charge dans la table externe Hive employee_extnl.

1. Le Big Data Batch Job se présente comme suit :

   

   • La table source est filtrée par le dernier horodatage mis à jour qui est conservé dans la table cdc_control. Cela est fait en utilisant ce SQL dans la condition WHERE du composant tmysqlInput.

     où cdc.Table_Name='employee_table' et emp.`Record_DateTime`> cdc.Last_executed"

   • Le tAggregateRow charge ligne par ligne dans la table cdc_control. Il fait une mise à jour ou une opération d'insert dans la table Si un enregistrement de la table existe déjà, il fera la mise à jour de l'enregistrement à l'exécution du Job.

     L'exécution peut être configurée en utilisant la fonction TalendDate.getCurrentDate().

   

   L'image suivante montre les données dans la table source employee_table après que de nouveaux enregistrements ont été ajoutés :

   

2. Exécutez le Job.
   L'image suivante montre les données dans la table externe Hive employee_extnl après l'exécution du Job :