Accéder au contenu principal Passer au contenu complémentaire

Étape 2 : charger des modifications à partir de la table de base de données source dans la table externe Hive

Cette étape lit uniquement les modifications à partir de la table de base de données source et les charge dans la table externe Hive employee_extnl.

Procédure

  1. Le Big Data Batch Job se présente comme suit :
    • La table source est filtrée par le dernier horodatage mis à jour qui est conservé dans la table cdc_control. Cela est fait en utilisant ce SQL dans la condition WHERE du composant tmysqlInput.

      cdc.Table_Name='employee_table' et emp.`Record_DateTime`> cdc.Last_executed"

    • Le tAggregateRow charge ligne par ligne dans la table cdc_control. Il fait une mise à jour ou une opération d'insert dans la table Si un enregistrement de la table existe déjà, il fera la mise à jour de l'enregistrement à l'exécution du Job.

      L'exécution peut être configurée en utilisant la fonction TalendDate.getCurrentDate().

    L'image suivante montre les données dans la table source employee_table après que de nouveaux enregistrements ont été ajoutés :
  2. Exécutez le Job.
    L'image suivante montre les données dans la table externe Hive employee_extnl après l'exécution du Job :

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.