Каталог данных AWS Glue

Подключитесь к вашему Каталогу данных AWS Glue для использования в качестве целевого объекта в ваших Открытое озеро данных Qlik проектах.

Использование Каталога данных AWS Glue в качестве целевого объекта обеспечивает интеграцию с экосистемой аналитики AWS и позволяет Открытое озеро данных Qlik взаимодействовать с централизованным хранилищем метаданных. Каталог данных AWS Glue действует как единый слой метаданных, позволяя Qlik записывать таблицы Iceberg, которые немедленно доступны для запросов собственными сервисами AWS, такими как Amazon Athena, без дополнительной настройки. Данные, записанные Qlik, также доступны сторонним инструментам без репликации.

Условия

Чтобы создать подключение к Каталогу данных AWS Glue, вам потребуется:

• Целевой блок Amazon S3.

• Если вы используете аутентификацию на основе ролей для доступа к блоку, вам необходимо:

  • Разрешение на доступ к сетевой интеграции, которую вы хотите использовать для подключения.

  • ARN роли.

• Если вы используете аутентификацию по ключу доступа для доступа к блоку, вам потребуется:

  • Идентификатор ключа доступа AWS.

  • Ваш секретный ключ доступа AWS.

Настройка свойств подключения AWS Glue Data Catalog

Чтобы настроить подключение, выполните следующие действия:

1. В виде Подключения нажмите Создать подключение.

2. Выберите Пространство, где вы хотите создать подключение, или выберите Создать новое пространство данных.

3. Выберите AWS Glue Data Catalog из списка Имя коннектора или используйте поле Поиск.

4. Нажмите Создать и настройте свойства:

• Регион каталога: Из списка выберите регион для вашего каталога.

• Целевой блок S3: Введите имя блока.

5. Настройте Тип аутентификации. Из списка выберите аутентификацию на основе ролей или ключом доступа и заполните следующую информацию для вашего выбора:

На основе ролей

• Сетевая интеграция: Выберите сетевую интеграцию из списка.

• Роль ARN: Введите роль ARN, созданную в AWS.

Создайте роль AWS

Чтобы создать роль AWS, выполните следующие действия:

1. В AWS Console перейдите в IAM.

2. В Roles нажмите Create role.

3. Для Тип доверенной сущности выберите Пользовательская политика доверия.

4. В Qlik Cloud, в диалоговом окне Создать роль AWS скопируйте Доверенная сущность — это сущность, назначенная кластерам в вашей интеграции.Вставьте его в консоль в AWS.

5. Нажмите Роли и выберите роль, созданную вами ранее.

6. В Политики разрешений нажмите Добавить разрешения и выберите Создать встроенную политику.

7. В Qlik Cloud, в диалоговом окне Создать роль AWS, скопируйте встроенную политику ниже, вставьте ее в консоль в AWS и измените значение <bucket_name> на местоположение вашего блока:

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*", 
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
							},
							{
							"Effect": "Allow",
							"Action": [
							"s3:PutObject",
							"s3:DeleteObject",
							"s3:DeleteObjectVersion",
							"s3:GetObject",
							"s3:GetObjectVersion"
							],
							"Resource": "arn:aws:s3:::<bucket_name>/*"
								}
								]
								}

8. На странице Role, в Summary, скопируйте ARN.

9. В Qlik Cloud закройте диалоговое окно Create an AWS role и вставьте значение ARN в ARN role.

Ключ доступа

• Access key: Введите уникальный идентификатор ключа доступа AWS для использования при аутентификации.

• Секретный ключ: Введите свой секретный ключ доступа AWS для использования с вашим ключом доступа.

Определить разрешения для пользователей

Чтобы создать встроенную политику в AWS, выполните следующие действия:

1. В консоли AWS перейдите в IAM.

2. Перейдите в Политики > Создать политику.

3. В Qlik Cloud, в диалоговом окне Создать роль AWS скопируйте политику.

4. В AWS, в Редакторе политик, вставьте политику и измените параметр <bucket_name> на местоположение вашего блока:

						{
						"Version": "2012-10-17",
						"Statement": [
						{
						"Effect": "Allow",
						"Action": [
						"glue:CreateTable",
						"glue:UpdateTable",
						"glue:DeleteTable",
						"glue:BatchDeleteTable",
						"glue:GetTable",
						"glue:GetTables",
						"glue:CreateDatabase",
						"glue:UpdateDatabase",
						"glue:GetDatabase",
						"glue:GetDatabases",
						"glue:GetUserDefinedFunction"
						],
						"Resource": [
						"arn:aws:glue:us-east-2:*:catalog",
						"arn:aws:glue:us-east-2:*:database/*",
						"arn:aws:glue:us-east-2:*:table/*/*"
						]
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:ListBucket",
						"s3:GetBucketLocation"
						],
						"Resource": "arn:aws:s3:::<bucket_name>"
						},
						{
						"Effect": "Allow",
						"Action": [
						"s3:PutObject",
						"s3:DeleteObject",
						"s3:DeleteObjectVersion",
						"s3:GetObject",
						"s3:GetObjectVersion"
						],
						"Resource": "arn:aws:s3:::<bucket_name>/*"
						}
						]
						}				
					

5. Добавьте политику пользователю, который предоставляет доступ к Qlik.

В Имя введите отображаемое имя для подключения.

Поддерживаемые типы данных

В следующей таблице показаны поддерживаемые типы данных источника Iceberg и их сопоставление по умолчанию с Qlik Talend Data Integration типами данных.