# データのクレンジング

顧客データをプロファイリングし、問題を特定したら、次にデータをクレンジングする必要があります。たとえば、Talendで2つのジョブを生成し、1つのジョブでemailカラムから重複を除去し、もう1つのジョブではメールパターンに一致しない値を除去するといったことができます。

これにより、解決すべき問題を見極めることができ、その問題を解決するために使用するツールを決定できます。

## 重複値を削除

[Simple] (シンプル)インジケーターを使ってemailカラムとpostalカラムを分析したら、分析結果にカラムで重複レコードの数が示されます。分析結果から既製ジョブを生成できます。このジョブにより、選択したカラムから重複値が除去されます。

同じ手順を使って、メールまたは電話番号のカラムからも重複値を除去できます。

### 手順

1. Profilingパースペクティブで、エディターの下部にある[Analysis Results] (分析結果)をクリックします。
2. emailカラムの[Simple] (シンプル)結果に示されるグラフで、重複数バーを右クリックし、[Remove duplicates] (重複値の除去)をクリックします。

   この例では、メールカラムに使用されているシンプル統計の結果を使用します。

   Integrationパースペクティブが開き、生成されたジョブが表示されます。

   ![分析結果から自動生成されたジョブ。](https://help.qlik.com/talend/ja-JP/data-quality-job-examples/Resources/images/dq_bestpractice_remove_duplicates.png)

   データベース入力コンポーネントとtUniqRowコンポーネントは、接続と、分析中のカラムに従って設定されています。

   データベース入力コンポーネントとtUniqRowtUniqRowコンポーネントは、接続と、分析中のカラムに従って設定されています。
3. ジョブを保存し、F6を押して実行します。

### タスクの結果

重複値は、指定した出力ファイルに書き込まれます。

### 次のタスク

同じ手順を使って、postalカラムからも重複値を除去できます。

Profilingパースペクティブを使って破損、不完全、不正確なデータを特定して削除する方法は、Talend Studioユーザーガイドの[データクレンジング](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/validating-data)をご覧ください。

## 一致しない値を除去

emailカラムで使用したメールパターンでは、一部のレコードが標準のメール形式に準拠していないことが示されました。既製ジョブを生成して、カラムから一致しない行を取り出すことができます。

### 手順

1. Profilingパースペクティブで、エディターの下部にある[Analysis Results] (分析結果)をクリックします。
2. emailカラムのPattern Matching (パターンマッチング)結果に示されるグラフのバーまたは数値結果を右クリックし、[Generate Job] (ジョブを生成)をクリックします。

   Integrationパースペクティブが開き、生成されたジョブが表示されます。

   ![分析結果から自動生成されたジョブ。](https://help.qlik.com/talend/ja-JP/data-quality-job-examples/Resources/images/Generate_MultiPattern_Job.png)

   このジョブはExtract Transform Load (抽出、変換、ロード)プロセスを使用して、2つの個別の出力ファイルに、パターンと一致する/一致しない有効/無効なメール行を書き込みます。

   このジョブはExtract Transform Load (抽出、変換、ロード)プロセスを使用して、2つの個別の出力ファイルに、パターンと一致する/一致しない有効/無効なメール行を書き込みます。
3. ジョブを保存し、F6を押して実行します。

### タスクの結果

emailカラムの有効な行および無効な行が、定義した出力ファイルに書き込まれます。

出力ファイルを別のTalendコンポーネントに置き換えて、有効なメール行または無効なメール行を取り出し、データベースに書き込むこともできます。

Profilingパースペクティブを使って破損、不完全、不正確なデータを特定して削除する方法は、Talend Studioユーザーガイドの[データクレンジング](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/validating-data)をご覧ください。