# データを重複除去するジョブの作成

利用対象...

* Big Data Platform
* Cloud API Services Platform
* Cloud Big Data Platform
* Cloud Data Fabric
* Cloud Data Management Platform
* Data Fabric
* Data Management Platform
* Data Services Platform
* Qlik Talend Cloud Enterprise Edition
* Qlik Talend Cloud Premium Edition
* Real-Time Big Data Platform

Talend Studioメタデータの特定のファイルにあるデータを重複除去する既製ジョブを生成できます。この自動生成ジョブのコンポーネント設定を使用して、2つの個別のファイルまたはデータベースに重複値およびユニークな値を出力するように選択できます。

特定のファイルのデータを重複除去するステップは次のとおりです。

* 重複除去するファイルを選択します。
* 重複除去ジョブを実行するカラムを選択します。
* 必要に応じて、ブロッキングキーを定義して処理対象のデータを分割します。ブロッキングキーは、通常、ファイルに大量のデータが存在する場合に必要になります。
* ユニークなレコードおよび重複レコードを書き込む場所を選択します。
* 生成されたジョブを実行します。

## 手順

1. メニューバーで、[Window] (ウィンドウ) > [Show View] (ビューを表示)と選択します。

   [Show View] (ビューを表示)ダイアログボックスが表示されます。
2. [Help] (ヘルプ)フォルダーを展開して、[Cheat Sheets] (参照シート)を選択します。
3. OKをクリックしてダイアログボックスを閉じます。

   Talend Studioに[Cheat Sheet] (参照シート)パネルが表示されます。
4. 参照シートアイコンバーで3点バーをクリックし、メニューから[Launch Other...] (その他を起動)を選択します。

   ![\[参照シート\]パネルからの\[その他を起動\]オプションの場所。](https://help.qlik.com/talend/ja-JP/studio-user-guide/Resources/images/cheat_sheets_launch.png) [Cheat Sheet Selection] (参照シートの選択)ダイアログボックスが表示されます。
5. [Talend - Cheat Sheets] (参照シート) > [Job] (ジョブ)を展開して[Deduplicate Data] (データの重複除去)を選択し、OKをクリックしてダイアログボックスを閉じます。

   ![\[参照シートの選択\]ダイアログボックスからの\[データを重複除去\]参照シートの場所。](https://help.qlik.com/talend/ja-JP/studio-user-guide/Resources/images/deduplicate_job2.png)

   対応するページが[Cheat Sheet] (参照シート)パネルに表示されます。このページでは、特定のファイルの特定のカラムに対して既製ジョブを作成する方法を段階的に説明します。

   対応するページが[Cheat Sheet] (参照シート)パネルに表示されます。このページでは、特定のファイルの特定のカラムに対して既製ジョブを作成する方法を段階的に説明します。対応するページが[Cheat Sheet] (参照シート)[Cheat Sheet] (参照シート)パネルに表示されます。このページでは、特定のファイルの特定のカラムに対して既製ジョブを作成する方法を段階的に説明します。 ![\[参照シート\]パネルにある参照シートの概要。](https://help.qlik.com/talend/ja-JP/studio-user-guide/Resources/images/deduplicate_job3.png)
6. 紹介文を読んで、[Click to Begin] (クリックして開始)をクリックします。

   処理の最初のステップである[Select File] (ファイルを選択)が展開されます。
7. 説明を読み、[Click to perform] (クリックして実行)をクリックします。

   [Input Type Select Dialog] (入力タイプ選択ダイアログ)ウィザードが開き、ジョブの作成ステップが説明されます。
8. [Type list] (タイプリスト)フィールドから、ジョブを実行するファイルのタイプを選択し、OKをクリックします。

   ダイアログボックスが開き、Talend Studioで定義したファイル接続とデータベースが表示されます。
9. メタデータ接続からクレンジングを行うファイルを選択し、OKをクリックします。

   参照シートの次のステップが展開します。
10. マッチングするフィールドの選択方法の説明を読み、[Click to perform] (クリックして実行)をクリックして、ウィザードの次のビューを開きます。
11. 指示に従い、最後のステップである[Review and Run the Generated Job] (生成されたジョブを確認して実行)になるまでウィザードと参照シートページのステップを切り替えます。

    このウィザードでは、さまざまなビューで定義された設定に応じて、リポジトリーのすべてのコンポーネントおよびメタデータを設定し、ジョブを生成します。Talend StudioはIntegrationパースペクティブに切り替わり、次のように生成されたジョブが表示されます。

    このウィザードでは、さまざまなビューで定義された設定に応じて、リポジトリーのすべてのコンポーネントおよびメタデータを設定し、ジョブを生成します。Talend StudioTalend StudioはIntegrationIntegrationIntegrationパースペクティブに切り替わり、次のように生成されたジョブが表示されます。 ![tFileInputDelimited、tGenKey、tMatchGroup、tFilterRow、および2つのtFileOutputDelimitedコンポーネントを使うジョブ。](https://help.qlik.com/talend/ja-JP/studio-user-guide/Resources/images/deduplicate_job7.png)
12. ジョブを保存し、F6を押して実行します。

## タスクの結果

ファイルの一意値および重複値が特定され、指定された出力ファイルまたはデータベースに保存されます。生成されたジョブは、[Repository] (リポジトリー)ツリービューの[Job Designs] (ジョブデザイン)ノードの下に保存されます。