Accéder au contenu principal Passer au contenu complémentaire

Lire des flux de messages depuis un sujet Google Pub/Sub

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Exemple de pipeline créé en suivant les instructions ci-dessous.

Pourquoi et quand exécuter cette tâche

Ce scénario traite des données de flux de messages JSON, concernant des livres, publiés dans un sujet Google Pub/Sub.

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.

    Exemple

    Google Pub/Sub
  3. Sélectionnez votre moteur dans la liste Engine.
    Note InformationsRemarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez Google Pub/Sub.
  5. Renseignez les propriétés de la connexion pour accéder à votre projet Google, comme décrit dans Propriétés Google Pub/Sub, y compris le nom du projet et les identifiants JSON, vérifiez la connexion puis cliquez sur Add dataset (Ajouter un jeu de données).
  6. Dans le panneau Add a new dataset, nommez votre jeu de données book prices.
  7. Sélectionnez Google Pub/Sub dans la liste des connexions.
  8. Renseignez les propriétés requises pour accéder au fichier situé dans votre sujet Pub/Sub (nom du sujet, nom de la souscription, format des données), puis cliquez sur View sample (Voir l'échantillon) pour voir un aperçu de l'échantillon de données.
    Configuration d'un nouveau jeu de données Google Pub/Sub.
  9. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  10. Répétez l'opération pour ajouter une connexion Test et le jeu de données à utiliser comme destination dans votre pipeline.
  11. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  12. Cliquez sur ADD SOURCE pour ouvrir le panneau vous permettant de sélectionner vos données source, ici les messages JSON publiés dans Pub/Sub.
  13. Sélectionnez votre jeu de données et cliquez sur Select (Sélectionner) pour l'ajouter au pipeline.
    Renommez-le si nécessaire.
  14. Cliquez sur add processor (ajouter un processeur) et ajoutez un processeur Window (Fenêtre) au pipeline. Le panneau de configuration s'ouvre.
  15. Donnez un nom significatif au processeur.

    Exemple

    5sec window
  16. Dans l'onglet Configuration :
    1. Activez l'option Use Window session.
    2. Renseignez 5000 comme durée de fenêtrage pour capturer les données toutes les 5 secondes.
  17. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  18. Cliquez sur ADD DESTINATION et sélectionnez le jeu de données qui contiendra vos données réorganisées.
    Renommez-le si nécessaire.
  19. Dans la zone Configuration, activez le bouton Log records to STDOUT car vous souhaitez stocker les logs de sortie.
  20. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  21. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  22. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les messages publiés dans le sujet Pub/Sub sont récupérés toutes les cinq secondes et sont visibles dans les logs de sortie. Vous pouvez actualiser la vue Metrics dans le panneau Pipeline Details afin de voir le nombre d'enregistrements mis à jour de manière incrémentale.
Log de sortie avec six enregistrements produits pour une métrique de 256 octets.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici