Profiler un fichier HDFS
Dans la perspective Profiling du Studio Talend, vous pouvez générer une analyse de colonnes avec des indicateurs de statistiques simples sur un fichier HDFS via une connexion Hive.
La séquence de création d'une analyse de profiling sur un fichier HDFS file comprend les étapes suivantes :
- Création d'une connexion à un cluster Hadoop.
- Création d'une connexion à un serveur Hive.
Cette étape n'est pas obligatoire, comme il vous sera demandé de créer la connexion à Hive simultanément, pendant que vous créez la connexion à un fichier HDFS.
-
Création d'une connexion à un fichier HDFS.
Cette étape vous guide pour créer une table Hive external, qui laisse les données dans le fichier mais crée une définition de table dans le Metastore Hive. Cela permet au Studio Talend d'exécuter des requêtes SQL sur les données du fichier via la connexion à Hive.
- Création d'une analyse de colonnes avec des indicateurs simples sur la table Hive.
Vous pouvez modifier les paramètres de l'analyse et ajouter d'autres indicateurs selon vos besoins. Vous pouvez également créer ultérieurement d'autres analyses sur ce fichier HDFS en utilisant la même table Hive.
- TXT
- CSV
- Parquet, avec une structure plate
Créer une connexion à un cluster Hadoop
Avant de commencer
- Vous avez sélectionné la perspective Profiling .
- Vous devez avoir les droits d'accès à la distribution Hadoop et à son HDFS.
Procédure
-
Dans la vue DQ Repository, développez Metadata, cliquez-droit sur Hadoop Cluster et sélectionnez Create Hadoop Cluster.
Un assistant s'ouvre et vous guide à travers les étapes de création d'une connexion au cluster.
Résultats
Créer une connexion à Hive
Avant de commencer
Vous devez avoir créé une connexion à la distribution Hadoop.
Procédure
-
Dans la vue DQ Repository, cliquez-droit sur la connexion à Hadoop à utiliser et sélectionnez Create Hive pour ouvrir un assistant.
Résultats
Pour plus d'informations concernant la création de connexions à Hive, consultez Centraliser des métadonnées Hive.
Créer une connexion à un fichier HDFS
Avant de commencer
- Vous avez sélectionné la perspective Profiling .
- Vous devez avoir créé une connexion à la distribution Hadoop.
Procédure
Résultats
Pour plus d'informations concernant la création de connexions à HDFS, consultez Centraliser des métadonnées HDFS.
Créer une analyse de profiling sur un fichier HDFS via une table Hive
Avant de commencer
- Vous avez sélectionné la perspective Profiling .
- Vous devez avoir créé une connexion à la distribution Hadoop et au fichier HDFS.
Pourquoi et quand exécuter cette tâche
- TXT
- CSV
- Parquet, avec une structure plate
Procédure
-
Dans la vue DQ Repository, cliquez-droit sur la connexion à HDFS à utiliser et sélectionnez Create Simple Analysis.
Une boîte de dialogue s'ouvre et liste les schémas HDFS de la connexion.
-
Cliquez sur Check Connection (Vérifier la connexion) afin de vérifier le statut de la connexion puis cliquez sur Next (Suivant) pour ouvrir une nouvelle vue dans l'assistant, listant le schéma du fichier sélectionné.
- Facultatif :
Si nécessaire, saisissez un nouveau nom pour la table. Utilisez des minuscules, car Hive stocke ses tables avec des noms en minuscules.
-
Configurez les métadonnées de l'analyse puis cliquez sur Finish.
Une nouvelle analyse sur le fichier HDFS sélectionné est automatiquement créée et s'ouvre dans l'éditeur d'analyse. Des indicateurs de statistiques simples sont automatiquement assignés aux colonnes.
L'analyse s'applique à la table Hive, mais calcule les statistiques des données depuis HDFS en utilisant le mécanisme External tables. External tables conserve les données du fichier original en dehors de Hive. Si le fichier HDFS que vous avez choisi d'analyser est supprimé, l'analyse ne peut plus s'exécuter.
-
Exécutez l'analyse pour afficher les résultats dans la section Analysis Results (Résultats d'analyse) dans l'éditeur.
Pour plus d'informations concernant les analyses de colonnes, consultez Analyses de colonnes.