AWS Glue Data Catalog

Stellen Sie eine Verbindung zu Ihrem AWS Glue Data Catalog her, um ihn als Ziel in Ihren Qlik Open Lakehouse Projekten zu verwenden.

Die Verwendung von AWS Glue Data Catalog als Ziel bietet die Integration mit dem AWS Analytics-Ökosystem und ermöglicht Qlik Open Lakehouse die Interaktion mit einem zentralisierten Metadatenspeicher. AWS Glue Data Catalog fungiert als einheitliche Metadatenebene und ermöglicht es Qlik, Iceberg-Tabellen zu schreiben, die von nativen AWS-Diensten wie Amazon Athena sofort und ohne zusätzliche Konfiguration abgefragt werden können. Die von Qlik geschriebenen Daten sind auch für Tools von Drittanbietern ohne Replikation verfügbar.

Voraussetzungen

Um eine Verbindung zu AWS Glue Data Catalog zu erstellen, benötigen Sie:

• Einen Amazon S3-Ziel-Bucket.

• Wenn Sie eine rollenbasierte Authentifizierung für den Zugriff auf den Bucket verwenden, benötigen Sie:

  • Berechtigung zum Zugriff auf die Netzwerkintegration, die Sie für die Verbindung verwenden möchten.

  • Die Rollen-ARN.

• Wenn Sie eine schlüsselbasierte Authentifizierung für den Zugriff auf den Bucket verwenden, benötigen Sie:

  • Ihre AWS-Zugriffsschlüssel-ID.

  • Ihren geheimen AWS-Zugriffsschlüssel.

Einrichten von Verbindungseigenschaften für AWS Glue Data Catalog

Um die Verbindung zu konfigurieren, gehen Sie wie folgt vor:

1. Klicken Sie in Verbindungen auf Verbindung erstellen.

2. Wählen Sie den Bereich, in dem Sie die Verbindung erstellen möchten, oder Neuen Datenbereich erstellen aus.

3. Wählen Sie AWS Glue Data Catalog aus der Liste Konnektorname aus oder verwenden Sie das Feld Suchen.

4. Klicken Sie auf Erstellen und konfigurieren Sie die Eigenschaften:

• Katalogregion: Wählen Sie aus der Liste die Region für Ihren Katalog aus.

• S3-Ziel-Bucket: Geben Sie den Namen des Buckets ein.

5. Konfigurieren Sie den Authentifizierungstyp. Wählen Sie aus der Liste die Authentifizierungsoption Rollenbasiert oder Zugriffsschlüssel aus und geben Sie die folgenden Informationen für Ihre Auswahl ein:

Rollenbasiert

• Netzwerkintegration: Wählen Sie die Netzwerkintegration aus der Liste aus.

• ARN-Rolle: Geben Sie die in AWS erstellte ARN-Rolle ein.

AWS-Rolle erstellen

Um eine AWS-Rolle zu erstellen, gehen Sie wie folgt vor:

1. Gehen Sie in der AWS Console zu IAM.

2. Klicken Sie in Roles auf Create Role.

3. Wählen Sie für Trusted entity type die Option Custom trust policy aus.

4. Kopieren Sie in Qlik Cloud im Dialogfeld AWS-Rolle erstellen die vertrauenswürdige Entität, die den Clustern in Ihrer Integration zugewiesen ist. Fügen Sie sie in die Konsole in AWS ein.

5. Klicken Sie auf Roles und wählen Sie die Rolle aus, die Sie oben erstellt haben.

6. Klicken Sie in Permission policies auf Add permissions und wählen Sie Create inline policy aus.

7. Kopieren Sie in Qlik Cloud im Dialogfeld AWS-Rolle erstellen die Inline-Richtlinie unten aus und fügen Sie sie in die Konsole in AWS ein. Ändern Sie den Wert für <bucket_name> in Ihren Bucket-Speicherort:

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*", 
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
							},
							{
							"Effect": "Allow",
							"Action": [
							"s3:PutObject",
							"s3:DeleteObject",
							"s3:DeleteObjectVersion",
							"s3:GetObject",
							"s3:GetObjectVersion"
							],
							"Resource": "arn:aws:s3:::<bucket_name>/*"
								}
								]
								}

8. Kopieren Sie auf der Seite Role unter Summary die ARN.

9. Schließen Sie in Qlik Cloud das Dialogfeld AWS-Rolle erstellen und fügen Sie den ARN-Wert in ARN-Rolle ein.

Zugriffsschlüssel

• Zugriffsschlüssel: Geben Sie Ihre eindeutige AWS-Zugriffsschlüssel-ID ein, die Sie für die Authentifizierung verwenden möchten.

• Geheimer Schlüssel: Geben Sie Ihren geheimen AWS-Zugriffsschlüssel ein, den Sie zusammen mit Ihrem Zugangsschlüssel verwenden.

Benutzerberechtigungen definieren

Gehen Sie wie folgt vor, um eine Inline-Richtlinie in AWS zu erstellen.

1. Gehen Sie in der AWS Console zu IAM.

2. Navigieren Sie zu Richtlinien > Richtlinie erstellen.

3. Kopieren Sie in Qlik Cloud im Dialogfeld AWS-Rolle erstellen die Richtlinie.

4. Fügen Sie in AWS unter Policy editor die Richtlinie ein und ändern Sie den Parameter <bucket_name> in Ihren Bucket-Speicherort:

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*",
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:PutObject",
						"s3:DeleteObject",
						"s3:DeleteObjectVersion",
						"s3:GetObject",
						"s3:GetObjectVersion"
						],
						"Resource": "arn:aws:s3:::<bucket_name>/*"
						}
						]
						}				
					

5. Fügen Sie die Richtlinie für den Benutzer hinzu, der Zugriff auf Qlik gewährt.

Geben Sie in Name denn Anzeigenamen für die Verbindung ein.

Unterstützte Datentypen

Die folgende Tabelle zeigt die unterstützten Iceberg-Quelldatentypen sowie deren Standardzuordnung zu Qlik Talend Data Integration-Datentypen.