# ビッグデータでSparkを使用したCDC

この記事では、Talendコンポーネントを使用してCDCを実行する方法のサンプルアプローチを示します。

CDCには、ビッグデータの世界でも同じ利点があります。ただし、HadoopでCDCを使用する際の課題は、Hadoopがデータのアップデートに理想的ではないことです。Hadoopへのデータの挿入はHiveでは簡単ですが、アップデートと削除は簡単ではありません。Hadoopはデータが保存される分散システムであり、ネットワーク全体で複数のノードがあるため、レコードをアップデートすることによるパフォーマンスのオーバーヘッドは膨大です。

この問題を解決する方法の1つは、Hiveベーステーブルまたは内部テーブルとHive外部テーブルを作成し、それらの上にビューを構築することです。ベーステーブルは、新しいレコードがロードされるまで、すべてのデータを保持します。新しく変更されたレコードは、外部テーブルにロードされます。内部テーブルは通常、一時テーブルのデータが使用されるときに使用され、外部テーブルはテーブルのデータがHiveの外部で使用されるときに使用されます。

### このセクション内

* [\[Data Model\] (データモデル)](https://help.qlik.com/talend/ja-JP/components/8.0/change-data-capture/data-model)
* [ステップ1:データベーステーブルデータをHive内部テーブルにロードする](https://help.qlik.com/talend/ja-JP/components/8.0/change-data-capture/step-1-loading-database-table-data-into-hive-internal-table-create)
* [ステップ2: ソースデータベーステーブルからHive外部テーブルへ変更をロードする](https://help.qlik.com/talend/ja-JP/components/8.0/change-data-capture/step-2-loading-changes-from-source-database-table-into-hive-external-table-the-big)
* [ステップ 3: ビューを作成して最終レポートテーブルにロードする](https://help.qlik.com/talend/ja-JP/components/8.0/change-data-capture/step-3-creating-and-loading-view-into-final-reporting-table-use)