Supprimer les champs inutiles des enregistrements relatifs aux vols

Un pipeline avec une source locale, un processeur Data Cleansing, un processeur Field Remover et une destination de test.

Avant de commencer

Vous avez précédemment ajouté le jeu de données contenant vos données source.

Téléchargez le fichier field_remover-fields.csv. Il contient un jeu de données local avec une liste de vols et leurs informations (indicatif d'avion, numéro de vol, adresse OACI 24 bits, enregistrement du vol, origine, destination, etc.).
Vous avez créé la connexion et le jeu de données associé qui contiendra les données traitées.

Ici, un jeu de données de destination Test.

Procédure

Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
Donnez-lui un nom significatif.
Exemple
Remove fields from flight records (Supprimer des champs des enregistrements relatifs aux vols)
Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) pour ouvrir le panneau vous permettant de sélectionner vos données sources, ici un fichier local contenant des informations relatives à des vols.

Vous pouvez voir dans l'échantillon qu'il manque un grand nombre de numéros de vol.
Sélectionnez votre jeu de données et cliquez sur Select (Sélectionner) pour l'ajouter au pipeline.
Renommez-le si nécessaire.
Cliquez sur le bouton et ajoutez un processeur Data Cleansing au pipeline. Le panneau de configuration s'ouvre.
Donnez un nom significatif au processeur.
Exemple
mark empty flight numbers as N/A (marquer les numéros de vol vides comme N/A)
Configurez le processeur :
1. Sélectionnez Fill cells with value (Remplir les cellules avec une valeur) dans la liste Function name (Nom de la fonction).
2. Sélectionnez .crop dans la liste Fields to process (Champs à traiter).
3. Sélectionnez Value (Valeur) dans la liste Use with et saisissez N/A dans le champ Value (Valeur), car vous souhaitez ajouter N/A là où les numéros de vol manquent.
Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

Examinez la prévisualisation du processeur afin de comparer vos données avant et après l'opération de nettoyage.
Cliquez sur le bouton et ajoutez un processeur Field Remover au pipeline. Le panneau de configuration s'ouvre.
Donnez un nom significatif au processeur.
Exemple
remove unnecessary fields (supprimer les champs inutiles)
Pour supprimer les champs dont vous n'avez pas besoin, ici les adresses OACI 24 bits, les codes de type OACI et l'horodatage du jour du vol, configurez le processeur comme suit :
1. Sélectionnez ou saisissez .icao24 dans la liste Field to remove (Champ à supprimer).
2. Ajoutez un élément et sélectionnez .typecode dans la liste Input (Entrée).
3. Ajoutez un élément et sélectionnez .day dans la liste Input (Entrée).
Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.

Examinez la prévisualisation du processeur afin de comparer vos données avant et après l'opération de suppression.

Les champs inutiles sont supprimés.
Cliquez sur l'élément ADD DESTINATION (AJOUTER UNE DESTINATION) et sélectionnez le jeu de données qui contiendra les données nettoyées.
Renommez-le si nécessaire.
Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution. Les données sont nettoyées et les champs inutiles sont supprimés en fonction des conditions définies.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici