Accéder au contenu principal Passer au contenu complémentaire

Envoyer des données à un topic Kafka

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Exemple de pipeline créé en suivant les instructions ci-dessous.

Avant de commencer

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Ajoutez une connexion Test, puis cliquez sur Add dataset (Ajouter un jeu de données).
  3. Sélectionnez votre moteur dans la liste Engine.
    Note InformationsRemarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez JSON dans la liste format et collez le contenu du fichier test-file-to-kafka.json dans le champ Values.
  5. Nommez-le par exemple action movies et sauvegardez-le.
  6. Répétez l'opération pour ajouter une connexion à un serveur Kafka :
    1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
    2. Dans le panneau qui s'ouvre, donnez un nom à votre connexion, ainsi qu'une description, si nécessaire.

      Exemple

      Kafka
    3. Sélectionnez le type de connexion à créer.
      Ici, sélectionnez Kafka.
    4. Renseignez les propriétés de la connexion pour accéder à votre serveur Kafka, comme décrit dans Propriétés Kafka, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
  7. Dans le panneau Add a new dataset, nommez votre jeu de données. Dans cet exemple, le topic collette_movies_json sera utilisé pour publier des données relatives à des films.

    Exemple

    Configuration d'un nouveau jeu de données Kafka.
  8. Nommez votre jeu de données Collette kafka topic par exemple.
  9. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  10. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  11. Donnez-lui un nom significatif.

    Exemple

    From Test to Kafka - send to Kafka topic (De Test à Kafka - envoi vers un topic Kafka)
  12. Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) et sélectionnez votre jeu de données source, action movies, dans le panneau qui s'ouvre.
  13. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Split (Scission) au pipeline, afin de scinder les enregistrements contenant les prénoms et noms des acteurs et actrices. Le panneau de configuration s'ouvre.
  14. Donnez un nom significatif au processeur.

    Exemple

    Scinder le nom des acteur·trices
  15. Configurez le processeur :
    1. Sélectionnez Split text in parts (Scinder le texte en parties) dans la liste Function name (Nom de la fonction), car vous souhaitez scinder les valeurs correspondant aux enregistrements des noms.
    2. Sélectionnez .detail.starrring dans la liste Fields to process (Champs à traiter), car vous souhaitez appliquer cette modification aux valeurs de ces enregistrements spécifiques.
    3. Saisissez ou sélectionnez 2 dans la liste Parts (Parties) car vous souhaitez scinder les valeurs de ces enregistrements spécifiques en deux parties.
    4. Sélectionnez Space dans la liste Separator (Séparateur), comme les prénoms et les noms de famille sont séparés par un espace dans ces enregistrements.
  16. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  17. (Facultatif) Consultez l'aperçu du processeur pour voir les données après l'opération de scission.
    Dans l'aperçu des données de sortie, la colonne contenant les étoiles des détails est scindée en deux, une colonne pour le prénom et une colonne pour le nom de famille.
  18. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Filter (Filtre) au pipeline. Le panneau de configuration s'ouvre.
  19. Donnez un nom significatif au processeur.

    Exemple

    Filtrer sur les films ayant un·e acteur·trice avec le nom Collette
  20. Configurez le processeur :
    1. Ajoutez un élément et sélectionnez .detail.starring_split_2 dans la liste Input (Entrée), car vous souhaitez filtrer sur les noms de famille des acteur·trices listés·es dans le jeu de données.
    2. Sélectionnez None (Aucune) dans la liste Optionally select a function to apply (Sélectionner une option facultative à appliquer).
    3. Sélectionnez == dans la liste Operator.
    4. Saisissez Collette dans le champ Value (Valeur), car vous souhaitez filtrer sur les données contenant le nom Collette.
    5. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  21. (Facultatif) Consultez l'aperçu du processeur Filter pour voir l'échantillon de données après l'opération de filtre.

    Exemple

    Dans l'aperçu des données de sortie (Output), trois enregistrements correspondent aux critères.
  22. Cliquez sur l'élément ADD DESTINATION dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le topic Apache Kafka dans lequel vos données de sortie seront chargées, Collette Kafka topic.
  23. Dans l'onglet Configuration de la destination, le modèle Round-Robin est le type de partition (Partition Type) utilisé par défaut lors de la publication d'un événement, mais vous pouvez spécifier une clé de partition répondant à votre usage.
  24. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  25. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution. Les données relatives aux films, provenant de votre fichier test ont été traitées et le flux de sortie est envoyé au topic collette_movies_json défini.

Que faire ensuite

Une fois les données publiées, vous pouvez consommer le contenu du topic dans un autre pipeline et l'utiliser comme source :

Un nouveau pipeline dont la source est le topic Collette Kafka provenant du pipeline de destination précédent.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici