データを重複除去するジョブの作成
Talend Studioメタデータの特定のファイルにあるデータを重複除去する既製ジョブを生成できます。この自動生成ジョブのコンポーネント設定を使用して、2つの個別のファイルまたはデータベースに重複値およびユニークな値を出力するように選択できます。
特定のファイルのデータを重複除去するステップは次のとおりです。
- 重複除去するファイルを選択します。
- 重複除去ジョブを実行するカラムを選択します。
- 必要に応じて、ブロッキングキーを定義して処理対象のデータを分割します。ブロッキングキーは、通常、ファイルに大量のデータが存在する場合に必要になります。
- ユニークなレコードおよび重複レコードを書き込む場所を選択します。
- 生成されたジョブを実行します。
手順
-
参照シートアイコンバーでドロップダウン矢印をクリックし、メニューから[Launch Other...] (その他を起動)を選択します。
![[参照シート]パネルからの[その他を起動]オプションの場所。](/talend/ja-JP/studio-user-guide/8.0-R2024-10/Content/Resources/images/deduplicate_job.png)
-
を展開して[Deduplicate Data] (データの重複除去)を選択し、OKをクリックしてダイアログボックスを閉じます。
![[参照シートの選択]ダイアログボックスからの[データを重複除去]参照シートの場所。](/talend/ja-JP/studio-user-guide/8.0-R2024-10/Content/Resources/images/deduplicate_job2.png)
対応するページが[Cheat Sheet] (参照シート)パネルに表示されます。このページでは、特定のファイルの特定のカラムに対して既製ジョブを作成する方法を段階的に説明します。
![[参照シート]パネルにある参照シートの概要。](/talend/ja-JP/studio-user-guide/8.0-R2024-10/Content/Resources/images/deduplicate_job3.png)
-
指示に従い、最後のステップである[Review and Run the Generated Job] (生成されたジョブを確認して実行)になるまでウィザードと参照シートページのステップを切り替えます。
このウィザードでは、さまざまなビューで定義された設定に応じて、リポジトリーのすべてのコンポーネントおよびメタデータを設定し、ジョブを生成します。Talend StudioはIntegrationパースペクティブに切り替わり、次のように生成されたジョブが表示されます。
タスクの結果
ファイルの一意値および重複値が特定され、指定された出力ファイルまたはデータベースに保存されます。生成されたジョブは、[Repository] (リポジトリー)ツリービューの[Job Designs] (ジョブデザイン)ノードの下に保存されます。