# Générer un Job identifiant les valeurs en doublon d'une colonne analysée

Disponible dans...

* Big Data Platform
* Cloud API Services Platform
* Cloud Big Data Platform
* Cloud Data Fabric
* Cloud Data Management Platform
* Data Fabric
* Data Management Platform
* Data Services Platform
* Qlik Talend Cloud Enterprise Edition
* Qlik Talend Cloud Premium Edition
* Real-Time Big Data Platform

Lorsque vous utilisez la perspective Profiling pour analyser une colonne dans une table de base de données pour fournir des statistiques simples sur le nombre de valeurs distinctes, uniques et en doublon, vous pouvez générer ultérieurement un Job prêt à l'emploi pour supprimer les valeurs en doublon dans la colonne spécifiée.

## Avant de commencer

Si vous souhaitez vous connecter à une base de données Oracle, installez un client de base de données Oracle.

## Procédure

1. Dans la perspective Profiling , vous pouvez :
   1. Créer une analyse de colonnes. Pour des étapes détaillées sur la création d'une analyse de colonnes, consultez [Définir les colonnes à analyser](https://help.qlik.com/talend/fr-FR/studio-user-guide/8.0-R2026-06/defining-columns-to-be-analyzed "La première étape lors de l'analyse du contenu d'une ou plusieurs colonne·s est de définir la·es colonne·s à analyser. Les résultats d'analyse fournissent des statistiques concernant les valeurs dans chaque colonne.").
   2. Définissez les indicateurs Simple sur la colonne spécifiée.
2. Si l'analyse est connectée à une base de données MySQL 8, dans l'invite de commande du serveur de la base de données MySQL, définissez SET GLOBAL local\_infile = 'ON';.
3. Exécutez l'analyse pour afficher les résultats dans la vue des résultats d'analyse.
4. Cliquez sur le nom de la colonne analysée dans laquelle vous souhaitez séparer les valeurs uniques et en double, puis cliquez sur Simple pour développer la section Simple.

   ![Menu contextuel d'un libellé de la section Simple.](https://help.qlik.com/talend/fr-FR/studio-user-guide/Resources/images/Column_Analysis_Remove_Duplicates.png)
5. Dans la colonneLabel (Libellé), cliquez-droit sur Distinct Count (Compte des valeurs distinctes), Unique Count (Compte des valeurs uniques) ou Duplicate Count (Nombre de doublons) et sélectionnez Identify duplicates (Identifier les doublons) dans le menu contextuel.

   La perspective Integration s'ouvre dans le Studio Talend et affiche le Job généré avec les composants correspondants.

   La perspective IntegrationIntegrationIntegration s'ouvre dans le Studio TalendStudio Talend et affiche le Job généré avec les composants correspondants. ![Job généré utilisant les composants tMysqlInput, tUniqRow, tMysqlOutputBulkExec et tFileOutputDelimited.](https://help.qlik.com/talend/fr-FR/studio-user-guide/Resources/images/Column_Analysis_Remove_Duplicates1.png)

   Le composant d'entrée de base de données et le composant tUniqueRow sont déjà configurés selon votre connexion et la colonne que vous analysez.

   Les deux composants de sortie sont des composants de fichier, dans ce Job prêt à l'emploi, mais vous pouvez les remplacer par des composants de sortie de bases de données pour écrire les valeurs en doublon et distinctes directement dans la base de données souhaitée.
6. Pour configurer les deux composants de sortie :
   1. Double-cliquez sur le premier composant de sortie, avec le lien Uniques, puis, dans le champ Local Filename, définissez le chemin d'accès au fichier de sortie qui contiendra les valeurs distinctes.
   2. Double-cliquez sur le second composant de sortie avec le lien Duplicates, puis, dans le champ File Name, définissez le chemin d'accès au fichier de sortie qui contiendra les valeurs en doublon.
   3. Sauvegardez le Job et appuyez sur F6 pour l'exécuter.

      Les valeurs distinctes et en doublon sont écrites dans les fichiers de sortie spécifiés.
   4. Si nécessaire, cliquez-droit sur tFileOutputdelimited dans le Job généré et sélectionnez Data Viewer.

      Un aperçu des données standardisées s'ouvre dans Studio Talend. ![Vue d'ensemble d'un aperçu de données analysées.](https://help.qlik.com/talend/fr-FR/studio-user-guide/Resources/images/column_analysis_standardize_phone_numbers3.png)