Flux de données AWS Kinesis

Connectez-vous à votre service Amazon Kinesis pour l'utiliser comme source de données dans vos projets Qlik Open Lakehouse. Les connexions Kinesis ne peuvent être utilisées qu'avec la tâche de dépôt temporaire de flux et la tâche de transformation de flux.

Un flux de données AWS Kinesis est un service entièrement géré pour la capture et le traitement continus de flux de données en temps réel. Dans un projet Qlik Open Lakehouse, un flux Kinesis peut être utilisé comme source de données de flux pour ingérer des événements et des enregistrements haut débit dans des tables Apache Iceberg. Les données lues à partir du flux sont traitées via les tâches de dépôt temporaire de flux et de transformation de flux, permettant l'ingestion, la transformation et le stockage quasiment en temps réel de données de flux dans un format de table ouvert et interrogeable, adapté à l'analyse et à la consommation en aval. Les flux peuvent être divisés en plusieurs jeux de données à l'aide d'une tâche de transformation.

Conditions préalables requises

Pour créer une connexion à votre service Amazon Kinesis, vous devez remplir les conditions suivantes :

• Si vous utilisez l'authentification basée sur les rôles pour accéder au compartiment, il vous faut :

  • Une autorisation d'accès à l'intégration réseau que vous souhaitez utiliser pour la connexion.

  • Le rôle ARN, ou vous pouvez en créer un lors du processus de configuration.

• Si vous utilisez l'authentification par clé d'accès pour accéder au compartiment, il vous faut :

  • Votre ID clé d'accès AWS.

  • Votre clé d'accès secrète AWS.

Définition des propriétés de la connexion Kinesis

Pour configurer votre connexion Kinesis, procédez comme suit :

1. Dans Connexions, cliquez sur Créer une connexion.

2. Sélectionnez l'Espace dans lequel vous souhaitez créer la connexion ou sélectionnez Créer un espace de données.

3. Sélectionnez Kinesis dans la liste de noms de Connecteur ou utilisez la zone Recherche. Assurez-vous que le Type est Source et que la Catégorie est Streaming.

4. Sélectionnez la Région dans laquelle votre service Kinesis est hébergé.

5. Dans Type d'authentification, sélectionnez la manière dont vous souhaitez vous connecter et configurez les paramètres.

Basée sur les rôles

Suivez les étapes suivantes pour utiliser l'authentification basée sur les rôles.

Créer un rôle ARN

• Sélectionnez l'Intégration réseau de votre connexion.

• Saisissez votre Rôle ARN, si vous l'avez déjà.

Création d'un rôle AWS

Pour créer un rôle AWS, procédez comme suit :

1. Créer un rôle

   • Dans la Console AWS, accédez à IAM.

   • Dans Rôles, cliquez sur Créer un rôle et configurez-le :

   • Type d'entité fiable : sélectionnez Politique de confiance personnalisée.

   • Déclaration : copiez la politique d'entité de confiance créée dans Créer un rôle AWS dans Qlik Cloud dans le volet de code d'AWS.

   • Créez le rôle.

2. Créer une politique en ligne

   • Dans la Console AWS, dans Rôles, cliquez sur le rôle que vous avez créé à l'étape 1.

   • Dans Stratégies d'autorisation, cliquez sur Ajouter des autorisations > Créer une politique en ligne.

   • Copiez le code dans Qlik Cloud et collez-le dans la politique dans AWS.

     Note InformationsLe code accorde à la connexion Kinesis l'accès à tous les flux Kinesis sur tous les comptes AWS dans la région sélectionnée.

3. Copier le rôle ARN

   • Depuis la page Rôles de la Console AWS, localisez la valeur ARN dans la section Résumé.

   • Copiez l'ARN et collez-le dans Rôle ARN dans Qlik Cloud.

Clé d'accès

Suivez les étapes suivantes pour utiliser une clé d'accès afin d'authentifier votre connexion :

• Clé d'accès : saisissez votre ID de clé d'accès AWS unique à utiliser pour l'authentification.

• Clé secrète : saisissez votre clé d'accès secrète AWS à utiliser avec votre clé d'accès.

1. Créer une politique

   • Dans la Console AWS, accédez à IAM.

   • Accédez à Politiques > Créer une politique.

   • Dans Qlik Cloud, dans la boîte de dialogue Créer un rôle AWS, copiez la politique.

   • Dans AWS, dans l'Éditeur de politiques, collez la politique.

     Note InformationsLe code accorde à la connexion Kinesis l'accès à tous les flux Kinesis sur tous les comptes AWS dans la région sélectionnée.

2. Attacher une nouvelle politique à un utilisateur

   • Attachez la nouvelle politique à l'utilisateur auquel vous souhaitez accorder l'accès.

Création de la connexion

Une fois que vous avez configuré votre méthode de sécurité, suivez les étapes suivantes pour créer votre connexion :

• Dans Nom, saisissez le nom d'affichage de la connexion, par exemple My Kinesis Streaming Source connection.

• Cliquez sur Tester la connexion pour valider les informations de connexion.

• Cliquez sur Créer.