Accéder au contenu principal Passer au contenu complémentaire

Insérer des données filtrées dans une table Azure Cosmos DB

Ce scénario a pour objectif de vous aider à configurer et à utiliser des connecteurs dans un pipeline. Ce scénario doit être adapté en fonction de votre environnement et de votre cas d'utilisation.

Exemple de pipeline créé en suivant les instructions ci-dessous.

Avant de commencer

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.

    Exemple

    Cosmos DB
  3. Sélectionnez votre moteur dans la liste Engine.
    Note InformationsRemarque :
    • Il est recommandé d'utiliser Moteur distant Gen2 plutôt que Moteur Cloud pour le design pour un traitement avancé des données.
    • Si aucun Moteur distant Gen2 n'a été créé depuis Talend Management Console ou s'il existe mais semble indisponible, ce qui signifie qu'il n'est pas en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion (Connection type) dans la liste ou sauvegarder la nouvelle connexion.
    • Les types de connexion disponibles dépendent du moteur sélectionné.
  4. Sélectionnez le type de connexion à créer.
    Ici, sélectionnez CosmosDB.
  5. Renseignez les propriétés de la connexion pour accéder à votre base de données Azure Cosmos DB, comme décrit dans Propriétés Azure Cosmos DB, vérifiez la connexion et cliquez sur Add dataset (Ajouter un jeu de données).
    Configuration d'une nouvelle connexion à Azure Cosmos DB.
  6. Dans le panneau Add a new dataset, nommez votre jeu de données. Dans cet exemple, la collection Cosmos DB sera utilisée pour contenir les données tratiées concernant les prospects.

    Exemple

    leads (prospects)
  7. Renseignez les propriétés requises correspondant à la collection Cosmos DB située dans votre compte Azure.
  8. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  9. Répétez l'opération pour ajouter une connexion Test et le jeu de données à utiliser comme source dans votre pipeline, pour alimenter le CRM.
    Dans cet exemple, un jeu de données nommé bank marketing data avec le schéma CSV suivant est utilisé :
    CSV Schema:
age;job;marital;education;default;balance;housing;loan;contact;day;month;duration;campaign;pdays;previous;poutcome;y
  10. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  11. Donnez-lui un nom significatif.

    Exemple

    Inserting bank marketing data into a CosmosDB table (Insérer des données marketing bancaires dans une table Cosmos DB)
  12. Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) et sélectionnez votre jeu de données source, bank marketing data dans le panneau qui s'ouvre.
  13. Cliquez sur add processor (ajouter un processeur) pour ajouter des processeurs au pipeline, par exemple un processeur Type converter (Conversion de types) afin de convertir les données des comptes du type String au type Double.
    Dans l'aperçu de données de sortie (Output), le type de données des comptes est à présent double.
  14. Cliquez sur add processor (ajouter un processeur) pour ajouter un processeur Filter (Filtre) afin de filtrer les prospects ayant au moins 30 ans, dont le statut est manager et dont le compte contient au moins 2 000 dollars.
    Dans l'aperçu des données de sortie (Output), quatre enregistrements correspondent à tous les critères.
  15. Cliquez sur l'élément ADD DESTINATION (AJOUTER UNE DESTINATION) dans le pipeline pour ouvrir le panneau vous permettant de sélectionner le jeu de données Cosmos DB dans lequel vos données de sortie seront insérées.
  16. Dans l'onglet Configuration de la destination, cliquez sur Main :
    1. Activez les options Create collection if not exists (Créer la collection si elle n'existe pas) et Auto ID generation (Génération automatique d'ID) afin de créer une collection de base de données et un ID lors de l'exécution du pipeline dans lequel les données seront insérées.
    2. Cliquez sur Main et sélectionnez Insert dans la liste Data action (Action sur les données) pour insérer les données dans un jeu de données existant lors de l'exécution du pipeline.
      Onglet Configuration de l'élément de destination.
  17. Cliquez sur Save (Sauvegarder) pour sauvegarder votre configuration.
  18. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  19. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution, les données ont été traitées et filtrées et le flux de sortie est inséré dans la table Cosmos DB définie.

Vous pouvez consulter le log de votre pipeline pour voir les détails du volume de données envoyées à Azure Cosmos DB.
Volume du log des données envoyées à Azure Cosmos DB sélectionné.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici