AWS Glue Data Catalog

Connectez-vous à votre AWS Glue Data Catalog pour l'utiliser comme cible dans vos projets Qlik Open Lakehouse.

L'utilisation de AWS Glue Data Catalog comme cible assure l'intégration à l'écosystème analytique AWS et permet à Qlik Open Lakehouse d'interopérer avec un magasin de métadonnées centralisé. AWS Glue Data Catalog joue le rôle de couche de métadonnées unifiée, permettant à Qlik d'écrire des tables Iceberg immédiatement interrogeables par les services natifs AWS tels qu'Amazon Athena, sans configuration supplémentaire. Les données écrites par Qlik sont également disponibles pour les outils tiers sans réplication.

Conditions préalables requises

Pour créer une connexion AWS Glue Data Catalog, il vous faut :

• Un compartiment cible Amazon S3.

• Si vous utilisez l'authentification basée sur les rôles pour accéder au compartiment, il vous faut :

  • Une autorisation d'accès à l'intégration réseau que vous souhaitez utiliser pour la connexion.

  • L'ARN de rôle.

• Si vous utilisez l'authentification par clé d'accès pour accéder au compartiment, il vous faut :

  • Votre ID clé d'accès AWS.

  • Votre clé d'accès secrète AWS.

Définition des propriétés de connexion AWS Glue Data Catalog

Pour configurer la connexion, procédez comme suit :

1. Dans Connexions, cliquez sur Créer une connexion.

2. Sélectionnez l'Espace dans lequel vous souhaitez créer la connexion, ou sélectionnez Créer un espace de données.

3. Sélectionnez AWS Glue Data Catalog dans la liste Nom de connecteur ou utilisez la zone Recherche.

4. Cliquez sur Créer et configurez les propriétés :

• Région du catalogue : dans la liste, sélectionnez la région de votre catalogue.

• Compartiment cible S3 : saisissez le nom du compartiment.

5. Configurez le Type d'authentification. Dans la liste, sélectionnez l'authentification Basée sur les rôles ou Par clé d'accès et fournissez les informations suivantes pour votre sélection :

Basée sur les rôles

• Intégration réseau : sélectionnez l'intégration réseau dans la liste.

• Rôle ARN : saisissez le rôle ARN créé dans AWS.

Création d'un rôle AWS

Pour créer un rôle AWS, procédez comme suit :

1. Dans la Console AWS, accédez à IAM.

2. Dans Rôles, cliquez sur Créer un rôle.

3. Pour Type d'entité fiable, sélectionnez Politique de confiance personnalisée.

4. Dans Qlik Cloud, dans la boîte de dialogue Créer un rôle AWS, copiez l'Entité fiable, qui est l'entité affectée aux clusters dans votre intégration. Collez-la dans la console dans AWS.

5. Cliquez sur Rôles et sélectionnez le rôle précédemment créé.

6. Dans Stratégies d'autorisation, cliquez sur Ajouter des autorisations, puis sélectionnez Créer une politique en ligne.

7. Dans Qlik Cloud, dans la boîte de dialogue Créer un rôle AWS, copiez la politique en ligne ci-dessous et collez-la dans la console dans AWS, puis modifiez la valeur <nom_de_compartiment> en fonction de l'emplacement de votre compartiment :

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*", 
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
							},
							{
							"Effect": "Allow",
							"Action": [
							"s3:PutObject",
							"s3:DeleteObject",
							"s3:DeleteObjectVersion",
							"s3:GetObject",
							"s3:GetObjectVersion"
							],
							"Resource": "arn:aws:s3:::<bucket_name>/*"
								}
								]
								}

8. Sur la page Rôle, dans Récapitulatif, copiez l'ARN.

9. Dans Qlik Cloud, fermez la boîte de dialogue Créer un rôle AWS et collez la valeur ARN dans Rôle ARN.

Clé d'accès

• Clé d'accès : saisissez votre ID de clé d'accès AWS unique à utiliser pour l'authentification.

• Clé secrète : saisissez votre clé d'accès secrète AWS à utiliser avec votre clé d'accès.

Définition des autorisations utilisateur

Pour créer une politique en ligne dans AWS, procédez comme suit :

1. Dans la Console AWS, accédez à IAM.

2. Accédez à Politiques > Créer une politique.

3. Dans Qlik Cloud, dans la boîte de dialogue Créer un rôle AWS, copiez la politique.

4. Dans AWS, dans l'Éditeur de politiques, collez la politique et modifiez le paramètre <nom_de_compartiment> en fonction de l'emplacement de votre compartiment :

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*",
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:PutObject",
						"s3:DeleteObject",
						"s3:DeleteObjectVersion",
						"s3:GetObject",
						"s3:GetObjectVersion"
						],
						"Resource": "arn:aws:s3:::<bucket_name>/*"
						}
						]
						}				
					

5. Ajoutez la politique à l'utilisateur qui donne accès à Qlik.

Dans Nom, saisissez le nom d'affichage de la connexion.

Types de données supportés

Le tableau suivant indique les types de données sources Iceberg supportés et leur mappage par défaut vers les types de données Qlik Talend Data Integration.