Écrire des données dans un stockage de fichiers Cloud (S3)
Cloud API Services Platform
Cloud Big Data
Cloud Big Data Platform
Cloud Data Fabric
Cloud Data Integration
Cloud Data Management Platform
Cloud Pipeline Designer Standard Edition
Data Fabric
Avant de commencer
Assurez-vous que votre utilisateur ou groupe d’utilisateurs dispose des autorisations appropriées pour accéder aux ressources d’Amazon S3.
Si vous ne disposez pas de ces autorisations, vous pouvez essayer une des options suivantes.
(recommandée) Demandez à l’administrateur qui gère votre compte Amazon de vous donner/de donner à votre utilisateur·rice les autorisations S3 appropriées.
Implémentez votre politique d’accès en suivant la documentation Amazon si vous êtes autorisé(e) à le faire.
(non recommandée) Joindre la politique AmazonS3FullAccess à votre groupe/votre utilisateur·rice via la console IAM. Cela vous permet de lire les ressources S3 et d’écrire dans ces ressources S3 sans restriction dans un bucket spécifique. Cependant, ceci est une solution rapide qui n’est pas recommandée par Talend.
Note InformationsRemarque : L’erreur par défaut qui s’affiche lorsque vous essayez d’accéder aux ressources S3 sans autorisation suffisante est Bad Gateway.
Le Moteur Cloud pour le design et son profil d'exécution correspondant sont embarqués par défaut dans Talend Management Console pour permettre aux utilisateurs et utilisatrices de prendre l'application en main rapidement, mais il est recommandé d'installer le Moteur distant Gen2 sécurisé pour le traitement avancé des données.
Dans la page d'accueil de Talend Cloud Pipeline Designer, cliquez sur Connections (Connexions) > Add connection (Ajouter une connexion).
Dans le panneau qui s'ouvre, sélectionnez Amazon S3 et cliquez sur Next (Suivant).
Sélectionnez votre Moteur distant Gen2 dans la liste Engine.
Note InformationsImportant : Si le Moteur distant Gen2 n'a pas le statut AVAILABLE signifiant qu'il est en cours de fonctionnement, vous ne pourrez pas sélectionner de type de connexion Connection type dans la liste ou sauvegarder la nouvelle connexion. Les types de connexion disponibles dépendent du moteur sélectionné.
Saisissez vos identifiants et vérifiez votre connexion, puis cliquez sur Next (Suivant).
Donnez un nom à votre connexion, par exemple S3 connection et cliquez sur Validate (Valider).
Cliquez sur Add dataset (Ajouter un jeu de données) pour pointer vers le fichier que vous avez précédemment chargé dans votre bucket S3.
Dans le panneau Add a new dataset, saisissez les informations de connexion à votre bucket S3 :
Donnez un nom d’affichage à votre jeu de données, financial data on S3 par exemple.
Dans le champ AWS bucket name (Nom du bucket AWS), sélectionnez ou saisissez le nom de votre bucket S3.
Dans le champ Object name (Nom de l'objet), saisissez le chemin d’accès au fichier financial_transactions.avro que vous avez précédemment chargé dans votre bucket S3.
Dans la liste Format, cliquez sur Auto detect (Détection automatique) pour détecter automatiquement le format, ou sélectionnez Avro dans la liste.
Cliquez sur View sample (Voir l'échantillon) pour vérifier que vos données sont valides et peuvent être prévisualisées.
Cliquez sur Validate (Valider) pour sauvegarder votre jeu de données.
Avant d'exécuter ce pipeline, choisissez si vous souhaitez écraser les données existantes sur S3 ou les fusionner, dans l'onglet de configuration du jeu de données de destination :
Une fois que votre pipeline est exécuté, les données mises à jour sont visibles dans le fichier situé sur Amazon S3.
Cette page vous a-t-elle aidé ?
Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.
