Accéder au contenu principal Passer au contenu complémentaire

Effectuer une requête sur une API Snowflake et envoyer les données dans Google Cloud Storage

Exemple de pipeline créé en suivant les instructions ci-dessous.

Avant de commencer

Vous avez précédemment généré une API ODATA sur le jeu de données Snowflake et copié les paramètres des endpoints.

Procédure

  1. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.
    Ici, sélectionnez HTTP Client (Client HTTP).
  3. Sélectionnez votre moteur dans la liste Engine.
  4. Renseignez les propriétés de la connexion et l'URL de l'API à invoquer, comme décrit dans Propriétés du Client HTTP :
    Configuration d'une nouvelle connexion Client HTTP.
    1. Base URL (URL de base) : copiez-collez l'URL de base fournie dans le résumé de l'API Snowflake.
    2. Authentication type (Type d'authentification) : sélectionnez Basic.
    3. Saisissez les identifiants (username (nom d'utilisateur) et password (mot de passe)) nécessaires pour la connexion à l'API.
    4. Vérifiez la connexion et cliquez sur Next (Suivant).
  5. Saisissez une description (facultative) et un nom d'affichage (obligatoire) pour la connexion au Client HTTP, puis cliquez sur Validate (Valider).
  6. Cliquez sur Add dataset (Ajouter un jeu de données) pour créer le jeu de données correspondant.
  7. Dans le panneau Add a new dataset, nommez votre jeu de données.
  8. Configurez les paramètres Main (Principal) :
    1. Type : sélectionnez Batch comme vous ne souhaitez invoquer le service qu'une seule fois.
    2. HTTP method (Méthode HTTP) : sélectionnez GET.
    3. Path (Chemin) : saisissez le nom de l'entité précédemment configuré lors de la création de l'API.
    4. Désactivez les options Parameters (Paramètres), Query parameters (Paramètres de la requête), Request headers (En-têtes de la requête) et Request body (Corps de la requête).
    5. Response body format (Format du corps de la réponse) : sélectionnez JSON.
    6. Returned content (Contenu retourné) : sélectionnez Body.
  9. Configurez les paramètres Advanced (Avancés) :
    1. Activez l'option Accept redirections (Autoriser les redirections), avec un maximum de 3 redirections.
    2. Activez l'option Pagination.
    3. Preset (Préconfiguration) : sélectionnez ODATA et cliquez sur Load selected preset (Charger la préconfiguration sélectionnée).
    4. Value of the offset (Valeur de l'offset) : saisissez 10.
    5. Value of the limit (Valeur de la limite): saisissez 5.
    6. Returned content (Contenu retourné) : sélectionnez Body.
  10. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  11. Cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  12. Dans le panneau qui s'ouvre, sélectionnez le type de connexion à créer.
    Sélectionnez Google Cloud Storage.
  13. Sélectionnez votre moteur dans la liste Engine.
  14. Renseignez les propriétés de connexion (identifiants Google), comme décrit dans Propriétés Google Cloud Storage, vérifiez la connexion et cliquez sur Next (Suivant).
  15. Saisissez une description (facultative) et un nom d'affichage (obligatoire) pour la connexion à Google Cloud Storage, puis cliquez sur Validate (Valider).
  16. Cliquez sur Add dataset (Ajouter un jeu de données) pour créer le jeu de données correspondant.
  17. Nommez votre jeu de données et renseignez les propriétés requises afin de créer votre blob Google Cloud Storage dans votre bucket existant :
    Configuration d'un nouveau jeu de données Google Cloud Storage.
    1. Bucket name (Nom du bucket) : sélectionnez un nom de bucket existant.
    2. Blob name (Nom du blob) : saisissez un nom qui n'existe pas encore.
    3. Content type format (Format du type de contenu) : sélectionnez CSV format.
    4. Line separator type (Type du séparateur de lignes) : sélectionnez Linux type.
    5. Encoding type (Type d'encodage) : sélectionnez UTF-8.
    6. Activez l'option Set header (Configurer l'en-tête), saisissez 1 dans le champ Number of lines (Nombre de lignes) et , dans le champ Field separator type (Type du séparateur de champs).
  18. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
  19. Cliquez sur Add pipeline (Ajouter un pipeline) dans la page Pipelines. Votre nouveau pipeline s’ouvre.
  20. Donnez-lui un nom significatif.

    Exemple

    Effectuer une requête sur une API Snowflake et charger des données dans Google Cloud Storage
  21. Cliquez sur ADD SOURCE (AJOUTER UNE SOURCE) et sélectionnez votre jeu de données source, le jeu de données HTTP Client, dans le panneau qui s'ouvre.
  22. Cliquez sur l'élément ADD DESTINATION (AJOUTER UNE DESTINATION) et sélectionnez le jeu de données de destination, le jeu de données Google Cloud Storage, dans le panneau qui s'ouvre.
  23. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  24. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Votre pipeline est en cours d'exécution. Toutes les lignes à partir de la onzième ligne de la table Snowflake sont copiées dans un fichier dans Google Cloud Storage et les lignes sont récupérées cinq par cinq via l'API ODATA.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici