Accéder au contenu principal Passer au contenu complémentaire

Écrire des données dans un data warehouse Cloud (Snowflake)

Avant de commencer

  • Vous avez récupéré le fichier financial_transactions.avro et vous l'avez chargé dans votre bucket Amazon S3.

  • Vous avez reproduit et dupliqué le pipeline décrit dans Écrire des données dans un stockage Cloud (S3) et vous allez travailler sur ce pipeline dupliqué.
  • Vous avez créé un Moteur distant Gen2 et son profil d'exécution depuis Talend Management Console.

    Le Moteur Cloud pour le design et son profil d'exécution correspondant sont embarqués par défaut dans Talend Management Console pour permettre aux utilisateurs et utilisatrices de prendre l'application en main rapidement, mais il est recommandé d'installer le Moteur distant Gen2 sécurisé pour le traitement avancé des données.

Procédure

  1. Dans la page d'accueil de Talend Cloud Pipeline Designer, cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
  2. Dans le panneau qui s'ouvre, sélectionnez Snowflake, puis cliquez sur Next (Suivant).
  3. Sélectionnez votre Moteur distant Gen2 dans la liste Engine.
  4. Saisissez l'URL JDBC de votre base de données, ainsi que vos identifiants.
  5. Vérifiez votre connexion si nécessaire et cliquez sur Next (Suivant).
  6. Donnez un nom à votre connexion, par exemple Snowflake connection et cliquez sur Validate (Valider).
  7. Cliquez sur Add dataset (Ajouter un jeu de données) et saisissez les informations de connexion à votre table Snowflake :
    1. Donnez un nom d’affichage à votre jeu de données, financial data on Snowflake par exemple.
    2. Dans la liste Type, sélectionnez Table or view name (Nom de la table ou de la vue).
    3. Dans la liste Table name (Nom de la table), sélectionnez ou saisissez le nom de votre table Snowflake.
    4. Dans le champ Column selection (Sélection des colonnes), sélectionnez les colonnes spécifiques à récupérer, ou cliquez sur Select all (Sélectionner tout) pour récupérer toutes les colonnes existantes. Dans cet exemple, deux champs sont sélectionnés : transaction_amount et transaction_code.
  8. Cliquez sur View sample (Voir l'échantillon) pour vérifier que vos données sont valides et peuvent être prévisualisées.
    Aperçu de l'échantillon de données Snowflake.
  9. Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données. Dans la page Datasets (Jeux de données), le nouveau jeu de données est ajouté à la liste et peut être utilisé comme jeu de données de destination dans votre pipeline.
    Un pipeline avec une source S3, un processeur Python 3, un processeur Filter, un processeur Aggregate et une destination Snowflake.
  10. Avant d'exécuter ce pipeline, sélectionnez Upsert dans l'onglet de configuration du jeu de données Snowflake pour mettre à jour et insérer les nouvelles données dans la table Snowflake. Définissez le champ transaction_amount comme clé de l'opération.
    Panneau de configuration de la destination Snowflake affichant l'action Upsert sélectionnée.
  11. Dans la barre d'outils en haut de Talend Cloud Pipeline Designer, cliquez sur le bouton Run (Exécuter) pour ouvrir le panneau vous permettant de sélectionner votre profil d'exécution.
  12. Sélectionnez dans la liste votre profil d'exécution (pour plus d'informations, consultez Profils d'exécution), puis cliquez sur Run (Exécuter) pour exécuter votre pipeline.

Résultats

Une fois que votre pipeline est exécuté, les données mises à jour sont visibles dans la table de la base de données Snowflake.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici