Accéder au contenu principal Passer au contenu complémentaire

Publier un message dans un topic Apache Pulsar

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Exemple de pipeline créé en suivant les instructions ci-dessous.

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.

    Exemple

    data generator (générateur de données)
  3. Sélectionnez votre moteur dans la liste Engine.
    Note InformationsRemarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez Data generator (Générateur de données).
  5. Cliquez sur Add dataset (Ajouter un jeu de données) et renseignez les propriétés du jeu de données comme décrit dans Propriétés du générateur de données.
  6. Dans le panneau Add a new dataset, nommez votre jeu de données.

    Exemple

    customer generated data (Données client·es générées)
  7. Renseignez les propriétés pour générer les données client·es de test de votre choix. Dans cet exemple:
    1. Dans le champ Rows (Lignes), saisissez 100 pour générer 100 enregistrements de test.
    2. Cliquez sur Add (Ajouter) , saisissez firstname dans le champ Name de l'élément, sélectionnez First Name dans la liste Type et saisissez 0 dans le champ Blank % (% vide) pour générer des prénoms aléatoires sans champ vide.
    3. Cliquez sur Add (Ajouter) , saisissez lastname dans le champ Name de l'élément, sélectionnez Last Name dans la liste Type et saisissez 0 dans le champ Blank % (% vide) pour générer des noms de famille aléatoires sans champ vide.
    4. Cliquez sur Add (Ajouter) , saisissez age dans le champ Name de l'élément, sélectionnez Age dans la liste Type. Saisissez 18 dans le champ Min et 99 dans le champ Max et saisissez 0 dans le champ Blank % (% vide), car vous souhaitez générer des âges compris entre 18 et 99, sans champ vide.
    Échantillon de début (Head) des données client·es générées, avec les colonnes first name, last name et age.
  8. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  9. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez Apache Pulsar.
  10. Renseignez les propriétés de la connexion pour accéder à votre broker Apache Pulsar, comme décrit dans Propriétés Apache Pulsar, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
  11. Dans le panneau Add a new dataset, nommez votre jeu de données. Dans cet exemple, le topic customer-age vide sera utilisé pour publier les données relatives aux informations clients traitées.
    Configuration d'un nouveau jeu de données Pulsar.
  12. Nommez votre jeu de données, Customers on Pulsar par exemple.
  13. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  14. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  15. Donnez-lui un nom significatif.

    Exemple

    From Data generator to Pulsar - publish msg to Pulsar
  16. Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) et sélectionnez votre jeu de données source, customers generated data, dans le panneau qui s'ouvre.
  17. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Type converter (Convertisseur de types) au pipeline afin de modifier le type des données du champ age et de pouvoir effectuer des calculs sur les valeurs des champs. Le panneau de configuration s'ouvre.
  18. Donnez un nom significatif au processeur.

    Exemple

    convert age data type
  19. Dans la zone Converters :
    1. Sélectionnez .age dans la liste Field path (Chemin du champ) car vous souhaitez modifier le type de données des valeurs de ces enregistrements spécifiques.
    2. Sélectionnez Double dans la liste Output type (Type de sortie) car vous souhaitez modifier le type de données d'Integer à Double.
  20. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  21. (Facultatif) Consultez l'aperçu du processeur pour voir les données après la conversion du type.
    Dans l'aperçu de données de sortie (Output), le type de données de l'âge est à présent double.
  22. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Aggregate (Agrégation) au pipeline afin de calculer l'âge moyen des client·es. Le panneau de configuration s'ouvre.
  23. Donnez un nom significatif au processeur.

    Exemple

    calculate average age
  24. Dans la zone Operations :
    1. Sélectionnez .age dans la liste Field path (Chemin du champ) car vous souhaitez calculer la valeur moyenne de ces enregistrements spécifiques.
    2. Sélectionnez Average (Moyenne) dans la liste Operation (Opération).
    3. Saisissez avg_age dans le champ Output field name (Nom du champ de sortie) car vous souhaitez renommer le nouveau champ généré.
  25. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  26. (Facultatif) Consultez l'aperçu du processeur pour voir les données après l'opération d'agrégation.
    Dans l'aperçu des données de sortie, l'enregistrement de l'âge moyen s'affiche comme étant de type double.
  27. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le topic Apache Pulsar dans lequel vos données de sortie seront chargées, Customers on Pulsar.
  28. Dans l'onglet Configuration de la destination, consultez Producer name (Nom du producteur) et sélectionnez le topic dans lequel les données seront chargées.
    Onglet Configuration de l'élément de destination.
  29. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  30. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution. Les données relatives à la moyenne d'âge de vos données locales ont été traitées et le flux de sortie est envoyé au topic Apache Pulsar défini.

Que faire ensuite

Une fois l'événement publié, vous pouvez consommer le message Pulsar dans un autre pipeline et l'utiliser comme jeu de données source :

Un nouveau pipeline dont la source contient les données relatives aux âges des client·es provenant du pipeline de destination précédent.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici