Accéder au contenu principal Passer au contenu complémentaire

Traiter et déplacer des fichiers situés sur un serveur FTP

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Exemple de pipeline créé en suivant les instructions ci-dessous.

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.

    Exemple

    FTP
  3. Sélectionnez votre moteur dans la liste Engine.
    Note InformationsRemarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez FTP.
  5. Renseignez les propriétés de la connexion pour accéder à votre serveur FTP, comme décrit dans Propriétés FTP, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
  6. Dans le panneau Add a new dataset (Ajouter un jeu de données), renseignez les propriétés requises pour pointer vers le répertoire FTP dans lequel est situé votre fichier, puis cliquez sur View sample (Voir l'échantillon) pour voir un aperçu de votre échantillon du jeu de données.
    Configuration d'un nouveau jeu de données FTP.
    Ici, le fichier à récupérer est un fichier CSV listant les restaurants de Baltimore, situé dans un dossier Talend/Files :
    Fichier CSV à récupérer du dossier Talend/Files
  7. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  8. Au sein de la même connexion FTP, ajoutez un autre jeu de données utilisé comme destination dans votre pipeline. Ici, faites pointer vers le dossier Talend/Out.
    Fichier CSV du jeu de données à utiliser comme destination pour votre pipeline dans le dossier Talend/Out.
  9. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  10. Donnez-lui un nom significatif.

    Exemple

    Traiter et déplacer des fichiers situés sur un serveur FTP
  11. Cliquez sur ADD SOURCE et sélectionnez votre jeu de données source, restaurants on FTP dir dans le panneau qui s'ouvre.
  12. Cliquez sur add processor (ajouter un processeur) pour ajouter des processeurs au pipeline, par exemple un processeur Aggregate (Agrégation) afin de lister toutes les adresses des restaurants.
  13. Configurez le processeur. Dans la zone Operations :
    1. Sélectionnez .location dans la liste Field path.
    2. Sélectionnez List dans la liste Operation.
    3. Saisissez le nom du champ de sortie Output field name, ici address.
    4. Sauvegardez votre configuration.
    Dans l'aperçu des données de sortie (Output), les 50 adresses sont devenues une liste d'adresses.

    Les adresses des restaurants ont été agrégées en un seul enregistrement.

  14. Cliquez sur add processor (ajouter un processeur) pour ajouter un processeur Normalize (Normalisation) au pipeline, afin d'aplatir l'enregistrement d'adresses et de scinder chaque entrée en un enregistrement séparé.
  15. Configurez le processeur. Dans la zone Operations :
    1. Sélectionnez .address dans la liste Field path to normalize.
    2. Activez l'option Is list.
    3. Sauvegardez votre configuration.
    Dans l'aperçu des données de sortie (Output), la liste horizontale d'adresses comptant comme comme un seul enregistrement est devenue une liste verticale d'adresses contenant 50 enregistrements.
  16. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le répertoire de sortie FTP dans lequel votre fichier de sortie sera chargé.
  17. Donnez un nom significatif à la destination, addresses on FTP out dir par exemple.
  18. Dans l'onglet Configuration de la destination, vérifiez que le fichier à charger ne dépasse pas la limite de taille.
  19. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  20. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  21. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution. Les données des restaurants stockées dans un répertoire FTP ont été traitées et le fichier de sortie est chargé dans le répertoire FTP cible spécifié :

  • Le répertoire FTP cible contient le fichier chargé :

    Fichier CSV du jeu de données avec le nouveau fichier chargé depuis le pipeline dans le dossier Talend/Out.
  • Le fichier de sortie CSV avec la liste des adresses des restaurants :
    Fichier CSV avec 50 adresses listées les unes au-dessus des autres.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici