メイン コンテンツをスキップする 補完的コンテンツへスキップ

ステップ2: ソースデータベーステーブルからHive外部テーブルへ変更をロードする

このステップでは、ソースデータベーステーブルから変更のみを読み取り、それらをHive外部テーブルemployee_extnlにロードします。

手順

  1. ビッグデータバッチジョブは次のとおりです。
    • ソーステーブルは、cdc_controlテーブルで維持されている最後にアップデートされたタイムスタンプによってフィルタリングされます。これは、tmysqlInputコンポーネントのWhere条件でこのSQLを使用することによって行われます。

      ここで、cdc.Table_Name='employee_table'およびemp.`Record_DateTime`> cdc.Last_executed"となります。

    • tAggregateRowは、実行のたびに1行をcdc_controlテーブルにロードします。テーブルに対してupdate else insert操作を実行します。テーブルのレコードが既に存在する場合は、ジョブの実行時にレコードがアップデートされます。

      ランタイムはTalendDate.getCurrentDate()ファンクションを使用して設定できます。

    以下は、新しいレコードが追加された後のソースemployee_tableテーブルのデータを示しています。
  2. ジョブを実行します。
    以下に、ジョブ実行後のemployee_extnl外部Hiveテーブル内のデータを示します。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。