Flux de données AWS S3
Connectez-vous à votre flux de données AWS S3 pour l'utiliser comme source de données dans vos projets Qlik Open Lakehouse. Les connexions de flux de données AWS S3 ne peuvent être utilisées qu'avec la tâche de dépôt temporaire de flux et la tâche de transformation de flux.
Contrairement à l'ETL par lots standard depuis S3, cette implémentation traite S3 comme une source de flux avec une surveillance continue et une ingestion de données quasiment en temps réel. Vous pouvez configurer des flux pour ingérer automatiquement des données provenant de compartiments S3 à mesure de l'arrivée de nouveaux fichiers. Le flux de données AWS S3 vous permet de configurer des pipelines de données de flux depuis S3, y compris la mise en correspondance de modèles de fichiers, la configuration de schémas et les options de remplissage initial. Le flux surveille S3 en continu et ingère de nouvelles données quasiment en temps réel (en quelques minutes). Cela s'avère idéal pour les données organisationnelles telles que les journaux, les événements, les exportations de systèmes externes ou les flux de données de partenaires.
Conditions préalables requises
Pour créer une connexion à votre flux de données AWS S3, vous devez remplir les conditions suivantes :
-
Si vous utilisez l'authentification basée sur les rôles pour accéder au compartiment, il vous faut :
-
Une autorisation d'accès à l'intégration réseau que vous souhaitez utiliser pour la connexion.
-
Le rôle ARN, ou vous pouvez en créer un pendant le processus de configuration. Le cluster d'intégration réseau doit avoir accès au compte ARN S3.
-
-
Si vous utilisez l'authentification par clé d'accès pour vous connecter au compartiment, il vous faut :
-
Votre ID clé d'accès AWS.
-
Votre clé d'accès secrète AWS.
-
Définition des propriétés de connexion de flux de données S3
Pour configurer votre connexion S3, procédez comme suit :
-
Dans Connexions, cliquez sur Créer une connexion.
-
Sélectionnez l'Espace dans lequel vous souhaitez créer la connexion ou sélectionnez Créer un espace de données.
-
Sélectionnez S3 dans la liste de noms de Connecteur ou utilisez la zone Recherche. Assurez-vous que le Type est Source et que la Catégorie est Streaming.
-
Dans S3 URI, saisissez l'URI de votre compartiment S3 au format s3://<bucket-name>/<directory-name>.
Pour plus d'informations, consultez Exemples de syntaxe.
-
Dans Type d'authentification, sélectionnez la manière dont vous souhaitez vous connecter et configurez les paramètres.
Basée sur les rôles
Suivez les étapes suivantes pour utiliser l'authentification basée sur les rôles.
Créer un rôle ARN
-
Intégration réseau : sélectionnez l'intégration réseau dans la liste.
-
Rôle ARN : saisissez le rôle ARN créé dans AWS. Cette valeur doit être au format arn:aws:iam::{account number}:role/{role name}.
Création d'un rôle AWS
Pour créer un rôle AWS, procédez comme suit :
-
Créer un rôle
-
Dans la Console AWS, accédez à IAM.
-
Dans Rôles, cliquez sur Créer un rôle et configurez-le :
-
Type d'entité fiable : sélectionnez Politique de confiance personnalisée.
-
Déclaration : copiez la politique d'entité de confiance créée dans Créer un rôle AWS dans Qlik Cloud dans le volet de code d'AWS.
-
Créez le rôle.
-
-
Créer une politique en ligne
-
Dans la Console AWS, dans Rôles, cliquez sur le rôle que vous avez créé à l'étape 1.
-
Dans Stratégies d'autorisation, cliquez sur Ajouter des autorisations > Créer une politique en ligne.
-
Copiez le code dans Qlik Cloud et collez-le dans la politique dans AWS.
-
-
Copier le rôle ARN
-
Depuis la page Rôles de la Console AWS, localisez la valeur ARN dans la section Résumé.
-
Copiez l'ARN et collez-le dans Rôle ARN dans Qlik Cloud.
-
Clé d'accès
Suivez les étapes suivantes pour utiliser une clé d'accès afin d'authentifier votre connexion :
-
Clé d'accès : saisissez votre ID de clé d'accès AWS unique à utiliser pour l'authentification.
-
Clé secrète : saisissez votre clé d'accès secrète AWS à utiliser avec votre clé d'accès.
- Créer une politique
-
Dans la Console AWS, accédez à IAM.
-
Accédez à Politiques > Créer une politique.
-
Dans Qlik Cloud, dans la boîte de dialogue Créer un rôle AWS, copiez la politique.
-
Dans AWS, dans l'Éditeur de politiques, collez la politique.
-
-
Attacher une nouvelle politique à un utilisateur
-
Attachez la nouvelle politique à l'utilisateur auquel vous souhaitez accorder l'accès.
-
Création de la connexion
Une fois que vous avez configuré votre méthode de sécurité, suivez les étapes suivantes pour créer votre connexion :
-
Dans Nom, saisissez le nom d'affichage de la connexion, par exemple My AWS S3 Streaming Source connection.
-
Cliquez sur Tester la connexion pour valider les informations de connexion.
-
Cliquez sur Créer.
Exemples de syntaxe
| Syntaxe | Description | Exemple |
|---|---|---|
| Texte | Saisie de texte/chaîne général(e) basé(e) sur les directives de nommage des objets Amazon S3 d'AWS. | s3://MyS3Bucket/MyDir/MyFile.csv |
| Caractère générique | Caractère * qui joue le rôle de « caractère générique » dans le chemin d'accès/nom de fichier. L'utilisation d'un caractère générique dans un chemin d'accès inclut tous les dossiers et sous-dossiers de ce chemin d'accès. | myS3Bucket/myDir/* myS3Bucket/myDir/*.csv myS3Bucket/myDir/*_customers.csv myS3Bucket/regions/*/*_customers.csv |
| Modèle | La syntaxe du modèle de date indique l'emplacement du modèle de date dans le nom de fichier. | myS3Bucket/myDir/<yyyy>_<MM>_<dd>_<HH>_<mm>_orders.csv myS3Bucket/myDir/<yyyy>/<MM>/<dd>/<HH>_<mm>_orders.csv |
Règles de nommage des jeux de données cibles
Le nom du jeu de données cible doit :
-
Être unique et ne pas être déjà utilisé par d'autres jeux de données dans le catalogue cible.
-
Respecter les règles de nommage du catalogue cible :
-
Commencer par une lettre (A–Z, a–z) ou un trait de soulignement (_).
-
Ne contenir que des lettres, des traits de soulignement, des chiffres (0-9) ou le signe dollar ($).
-
Ne pas dépasser 255 caractères, espaces compris.
-