AWS Glue Data Catalog

Maak verbinding met uw AWS Glue Data Catalog om te gebruiken als doel in uw Qlik Open Lakehouse projecten.

Het gebruik van AWS Glue Data Catalog als doel biedt integratie met het AWS-analyse-ecosysteem en stelt Qlik Open Lakehouse in staat om samen te werken met een gecentraliseerde metadatastore. AWS Glue Data Catalog fungeert als de uniforme metadataloguslaag, waardoor Qlik Iceberg-tabellen kan schrijven die onmiddellijk kunnen worden opgevraagd door AWS-native services zoals Amazon Athena, zonder aanvullende configuratie. Gegevens geschreven door Qlik zijn ook beschikbaar voor hulpprogramma's van derden zonder replicatie.

Vereisten

Om een AWS Glue Data Catalog-verbinding te maken, hebt u nodig:

• Een Amazon S3-doel-bucket.

• Als u gebruikmaakt van op rollen gebaseerde authenticatie om toegang te krijgen tot de bucket, hebt u nodig:

  • Toegang tot de netwerkintegratie die u wilt gebruiken voor de verbinding.

  • De rol ARN.

• Als u gebruikmaakt van authenticatie met toegangssleutel om toegang te krijgen tot de bucket, hebt u het volgende nodig:

  • Uw AWS-toegangssleutel-id.

  • Uw AWS geheime toegangssleutel.

AWS Glue Data Catalog verbindingseigenschappen instellen

Om de verbinding te configureren, doet u het volgende:

1. Klik in Verbindingen op Verbinding maken.

2. Selecteer de Space waar u de verbinding wilt maken, of kies Create new data space.

3. Selecteer AWS Glue Data Catalog uit de Connectornaam-lijst of gebruik het Zoeken-vak.

4. Klik op Maken en configureer de eigenschappen:

• Catalogusregio: Selecteer uit de lijst de regio voor uw catalogus.

• S3-doelbucket: Voer de naam van de bucket in.

5. Configureer de Authenticatietype. Selecteer uit de lijst Op rollen gebaseerde of toegangssleutel authenticatie en vul de volgende informatie in voor uw selectie:

Op rollen gebaseerd

• Netwerkintegratie: Selecteer de netwerkintegratie uit de lijst.

• ARN role: Voer de ARN-rol in die is gemaakt in AWS.

Een AWS-rol maken

Om een AWS-rol te maken, doe het volgende:

1. Ga in de AWS Console naar IAM.

2. In Rollen, klik op Rol maken.

3. Voor Vertrouwd entiteitstype, selecteer Aangepast vertrouwensbeleid.

4. In Qlik Cloud, kopieer in het dialoogvenster Create an AWS role de Trusted entity, dit is de entiteit die is toegewezen aan de clusters in uw integratie.Plak het in de console in AWS.

5. Klik op Rollen, en selecteer de rol die u hierboven hebt aangemaakt.

6. In Machtigingsbeleid, klik op Machtigingen toevoegen, en selecteer Uitgelijnd beleid maken.

7. In Qlik Cloud, kopieer in het dialoogvenster Create an AWS role het onderstaande uitgelijnde beleid, plak het in de console in AWS, en wijzig de waarde van <bucket_name> naar uw bucketlocatie:

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*", 
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
							},
							{
							"Effect": "Allow",
							"Action": [
							"s3:PutObject",
							"s3:DeleteObject",
							"s3:DeleteObjectVersion",
							"s3:GetObject",
							"s3:GetObjectVersion"
							],
							"Resource": "arn:aws:s3:::<bucket_name>/*"
								}
								]
								}

8. Vanaf de Rol pagina, in Samenvatting, kopieer de ARN.

9. In Qlik Cloud, sluit het dialoogvenster Create an AWS role en plak de ARN-waarde in ARN role.

Toegangssleutel

• Toegangssleutel: Voer uw unieke AWS-toegangssleutel-ID in voor authenticatie.

• Geheime sleutel: Voer uw AWS Secret Access Key in voor gebruik met uw toegangssleutel.

Definieer gebruikersmachtigingen

Om een uitgelijnd beleid in AWS te maken, doe het volgende:

1. In de AWS Console, ga naar IAM.

2. Navigeer naar Beleidsregels > Beleidsregel maken.

3. In Qlik Cloud, kopieer in het dialoogvenster Een AWS-rol maken het beleid.

4. In AWS, in de Policy editor, plak het beleid erin en wijzig de <bucket_name> parameter naar uw bucket locatie:

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*",
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:PutObject",
						"s3:DeleteObject",
						"s3:DeleteObjectVersion",
						"s3:GetObject",
						"s3:GetObjectVersion"
						],
						"Resource": "arn:aws:s3:::<bucket_name>/*"
						}
						]
						}				
					

5. Voeg het beleid toe aan de gebruiker dat toegang geeft tot Qlik.

In Naam voert u de weergavenaam voor de verbinding in.

Ondersteunde gegevenstypen

De volgende tabel toont de ondersteunde Iceberg-brongegevenstypen en de standaard toewijzingen voor Qlik Talend Data Integration-gegevenstypen.