AWS Glue Data-katalog

Koppla din AWS Glue Data-katalog för att använda som mål i dina Qlik Open Lakehouse-projekt.

Att använda AWS Glue Data-katalog som mål ger integration med AWS:s analytiska ekosystem och gör det möjligt för Qlik Open Lakehouse att samverka med en centraliserad metadatalagring. AWS Glue Data-katalog fungerar som ett enhetligt skikt för metadata, vilket gör det möjligt för Qlik att skriva Iceberg-tabeller som är omedelbart sökbara av AWS-nativa tjänster som Amazon Athena, utan ytterligare konfiguration. Data som skrivs av Qlik är också tillgängliga för tredjepartsverktyg utan replikering.

Förutsättningar

För att skapa en koppling till AWS Glue Data-katalog behöver du:

• En Amazon S3 target bucket.

• Om du använder rollbaserad autentisering för att få åtkomst till bucket behöver du:

  • Behörighet att komma åt den nätverksintegration som du vill använda för kopplingen.

  • Rollen ARN.

• Om du använder autentisering med åkomstnyckel för att få åtkomst till bucket behöver du:

  • Ditt AWS åkomstnyckel-ID.

  • Din hemliga AWS åtkomstnyckel.

Ställa in egenskaper för koppling till AWS Glue Data-katalog

Gör så här för att konfigurera kopplingen:

1. I Kopplingar klickar du på Skapa koppling.

2. Välj Utrymme där du vill skapa kopplingen, eller välj Skapa nytt datautrymme.

3. Välj AWS Glue Data Catalog från listan med namn på koppling eller använd sökrutan.

4. Klicka på Skapa och konfigurera egenskaperna:

• Region för katalog: Välj region för din katalog i listan.

• S3 mål-bucket: Ange namnet på bucket.

5. Konfigurera typ av autentisering. I listan väljer du Rollbaserad autentisering eller Autentisering med åtkomstnyckel och fyller i följande information för ditt val:

Rollbaserad

• Nätverksintegration: Välj nätverksintegration från listan.

• ARN-roll: Ange den ARN-roll som skapades i AWS.

Skapa en AWS-roll

Gör följande för att skapa en AWS-roll:

1. Gå till IAM i AWS-konsolen.

2. Klicka på Skapa roll i Roller.

3. För Betrodd enhetstyp väljer du Anpassad förtroendepolicy.

4. I Qlik Cloud, i dialogrutan Skapa en AWS-roll, kopierar du Betrodd enhet, som är den enhet som tilldelats klustren i din integration. Klistra in den i konsolen i AWS.

5. Klicka på Roller och välj den roll som du skapade ovan.

6. I Behörighetspolicyer klickar du på Lägg till behörigheter och välj Skapa inline-princip.

7. I Qlik Cloud, i dialogrutan Skapa en AWS-roll, kopierar du inline-policyn nedan och klistrar in den i konsolen i AWS och ändrar värdet <bucket_name> till platsen för din bucket:

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*", 
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
							},
							{
							"Effect": "Allow",
							"Action": [
							"s3:PutObject",
							"s3:DeleteObject",
							"s3:DeleteObjectVersion",
							"s3:GetObject",
							"s3:GetObjectVersion"
							],
							"Resource": "arn:aws:s3:::<bucket_name>/*"
								}
								]
								}

8. Kopiera ARN i Sammanfattning på sidan Roll.

9. I Qlik Cloud stänger du dialogrutan Skapa en AWS-roll och klistrar in ARN-värdet i ARN-rollen.

Åtkomstnyckel

• Åtkomstnyckel: Ange ditt unika AWS åtkomstnyckel-ID som ska användas för autentisering.

• Hemlig nyckel: Ange din hemliga AWS åtkomstnyckel som ska användas med din åtkomstnyckel.

Definiera användarbehörigheter

Gör följande för att skapa inlinepolicy i AWS:

1. Gå till IAM i AWS-konsolen.

2. Navigera till Policyer > Skapa policy.

3. Kopiera policyn i Qlik Cloud i dialogrutan Skapa en AWS-roll.

4. I AWS klistrar du in policyn i Policyredigeraren och ändrar parametern <bucket_name> till platsen för din bucket:

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*",
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:PutObject",
						"s3:DeleteObject",
						"s3:DeleteObjectVersion",
						"s3:GetObject",
						"s3:GetObjectVersion"
						],
						"Resource": "arn:aws:s3:::<bucket_name>/*"
						}
						]
						}				
					

5. Lägg till policyn för den användare som ger åtkomst till Qlik.

Ange visningsnamnet för kopplingen i Namn.

Datatyper som stöds

I följande tabell visas de Iceberg-källdatatyper som stöds och deras standardmappning till Qlik Talend Data Integration-datatyper.