Accéder au contenu principal Passer au contenu complémentaire

Traiter des prospects dans Amazon S3 et les charger dans MySQL

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Exemple de pipeline créé en suivant les instructions ci-dessous.

Avant de commencer

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.

    Exemple

    S3
  3. Sélectionnez votre moteur dans la liste Engine.
    Note InformationsRemarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez S3 connection.
  5. Renseignez les propriétés de la connexion pour accéder à votre compte S3, comme décrit dans Propriétés Amazon S3, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
  6. Dans le panneau Add a new dataset, nommez votre jeu de données lead generation campaign.
  7. Sélectionnez S3 dans la liste des connexions.
  8. Cliquez sur Autodetect (Détection auto) ou renseignez manuellement les propriétés requises pour accéder au fichier situé dans votre bucket S3 (format CSV, séparateur de champs espace, pas d'en-tête) et cliquez sur View sample (Voir l'échantillon) pour voir un aperçu de l'échantillon du jeu de données.
    Configuration d'un nouveau jeu de données Amazon S3.
  9. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  10. Répétez l'opération pour ajouter la connexion MySQL et le jeu de données de tables MySQL à utiliser comme destination dans votre pipeline. Renseignez les propriétés de la connexion comme décrit dans Propriétés MySQL.
  11. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  12. Donnez-lui un nom significatif.

    Exemple

    From S3 to MySQL - Process leads
  13. Cliquez sur ADD SOURCE et sélectionnez votre jeu de données source, lead generation campaign dans le panneau qui s'ouvre.
  14. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Field selector (Sélecteur de champs) au pipeline afin de sélectionner des champs spécifiques et leur donner un nom significatif. Le panneau de configuration s'ouvre.
  15. Donnez un nom significatif au processeur.

    Exemple

    select countries and revenues
  16. Dans la vue Simple de l'onglet Configuration, cliquez sur l'icône edit (modifier) pour ouvrir la fenêtre Select fields (Sélectionner des champs) :
    1. Sélectionnez .field2 et cliquez sur l'icône rename (renommer) pour un renommage en country, car vous souhaitez sélectionner les champs correspondants aux pays des client·es.
    2. Sélectionnez .field7 et cliquez sur l'icône rename (renommer) pour un renommage en revenue, car vous souhaitez sélectionner les champs correspondants aux revenus des client·es.
      La fenêtre de sélection des champs s'ouvre et mentionne le nombre de champs à sélectionner et renommer.
  17. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  18. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Filter (Filtre) au pipeline, afin de filtrer les enregistrements et conserver uniquement les client·es dont les revenus ont été renseignés au cours de la campagne marketing. Le panneau de configuration s'ouvre.
  19. Donnez un nom significatif au processeur.

    Exemple

    remove empty revenues
  20. Dans la zone Filters (Filtres) :
    1. Sélectionnez .revenue dans la liste Input, puisque vous souhaitez traiter les salaires des clients.
    2. Sélectionnez None dans la liste Optionally select a function to apply, car vous ne souhaitez pas appliquer de fonction lors du filtre des enregistrements.
    3. Sélectionnez != dans la liste Operator et saisissez N/A dans le champ Value car vous souhaitez filtrer les clients ayant fourni leur salaire.
  21. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Type Converter (Convertisseur de types) au pipeline, afin de convertir le format des champs relatifs aux revenus (format String). Le panneau de configuration s'ouvre.
  22. Donnez un nom significatif au processeur.

    Exemple

    convert revenue formats
  23. Dans la zone Converters (Convertisseurs), sélectionnez .revenue dans la liste Field path (Chemin du champ) et Double dans la liste Output type (Type de sortie), puisque vous souhaitez convertir le champ de type String contenant les informations de salaire en un champ de type Double.
  24. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  25. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Aggregate (Agrégation) au pipeline. Le panneau de configuration s'ouvre.
  26. Donnez un nom significatif au processeur.

    Exemple

    count average revenue by country
  27. Dans la zone Group by, sélectionnez le champ à utiliser pour votre jeu d'agrégation, ici .country.
  28. Dans la zone Operations :
    1. Sélectionnez .revenue dans la liste Field path et Average dans la liste Operation.
    2. Nommez le champ généré (Output field name), average_revenue par exemple.
  29. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  30. (Facultatif) Cliquez sur l'icône de prévisualisation après le processeur Aggregate afin de prévisualiser les données calculées après l'opération d'agrégation : le salaire moyen par pays.
    Revenu moyen par pays visible dans l'aperçu des données de sortie (Output), après l'opération d'agrégation.
  31. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données qui contiendra vos données de sortie (MySQL).
  32. Donnez un nom significatif à la Destination, load in MySQL table par exemple.
  33. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  34. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  35. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les informations des prospects stockées dans S3 ont été nettoyées, les salaires ont été agrégés par pays et le flux de sortie est envoyé dans la table MySQL cible définie.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici