Amazon S3

Amazon S3 можно использовать как:

облачную промежуточную область при использовании Databricks (необязательно) и Amazon Redshift (обязательно) в качестве цели конвейера данных; Облачная промежуточная область — место, куда помещаются данные и изменения до того, как они будут применены и сохранены.
Облачная промежуточная область при использовании проектов Открытое озеро данных Qlik с источниками CDC. Для этого требуется, чтобы Шлюз движения данных и кластеры могли читать из блока промежуточного хранения и записывать в него. Для получения дополнительной информации см. раздел Шаг 1. Создание сетевой интеграции..
Облачная промежуточная область при использовании проектов Открытое озеро данных Qlik с потоковыми источниками. Для этого требуется, чтобы кластеры могли читать из блока промежуточного хранения и записывать в него. Для получения дополнительной информации см. раздел Шаг 1. Создание сетевой интеграции..
Цель в задаче репликации.
- Для получения инструкций по репликации данных в Amazon S3 с использованием подписок Standard, Premium и Enterprise см. раздел Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise.
- Для получения инструкций по репликации данных в Amazon S3 с использованием подписки Starter см. раздел Репликация данных с использованием подписки Qlik Talend Cloud Starter.

Разрешения, необходимые для промежуточного хранения данных

Для этого необходим блок Amazon S3, доступный с компьютера Data Movement Gateway.
Для получения информации о регистрации в Amazon S3 см. http://aws.amazon.com/s3/.
Учетные данные для доступа к блоку: запишите имя блока, ключ доступа и секретный ключ — их потребуется указывать в параметрах коннектор Amazon S3.

Разрешения на доступ к блоку: для доступа требуются следующие разрешения:

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	     "Sid": "Stmt1497347821000",
	     "Effect": "Allow",
	     "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME"
            ]
        },
        {
            "Sid": "Stmt1497344984000",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
            ]
        }
    ]
}

Где YOUR_BUCKET_NAME — это имя блока и target_path — это предусмотренное местоположение целевых файлов в блоке.

Если целевой путь является корневым каталогом блока, просто укажите для “/target_path” пустую строку.

Шлюз данных Qlik — движение данных Необходимые условия

Data Movement Gateway подключается к AWS с использованием SSL. На машине Data Movement Gateway должен быть соответствующий сертификат; в противном случае подключиться не получится. Сертификат CA нужен для удостоверения прав владения на сертификат сервера AWS.

Проверьте, что требуемый сертификат CA хранится на машине Linux в следующей папке:

/etc/pki/tls/certs/ca-bundle.crt

Если сертификат отсутствует, самым простым решением будет скопировать пакет сертификатов с другого компьютера Linux.

Настройка свойств подключения Amazon S3

Чтобы настроить коннектор, выполните следующие действия:

В Подключениях выберите Создать подключение.
Выберите коннектор целиAmazon S3, а затем задайте следующие настройки.

Цель данных

Использование

Выберите один из следующих вариантов в соответствии с вашим использованием:

Перемещение данных: Выберите, если используется Шлюз движения данных для доступа к цели Amazon S3.
Интеграция с сетью: Выберите, если используется Amazon S3 для хранения Qlik файлов метаданных, необходимых для Открытое озеро данных Qlik интеграции с сетью.
Оба: Выберите, когда оба вышеуказанных условия истинны.

Шлюз данных

Когда Перемещение данных или Оба выбраны, выберите Шлюз движения данных, который вы хотите использовать для доступа к целевому объекту.

В зависимости от конкретной ситуации, это будет либо тот же Шлюз движения данных, развернутый для промежуточного хранения данных, либо другой шлюз. Для получения дополнительной информации о доступных возможностях развертывания Шлюз движения данных см. Общие сценарии использования.

Требуется Шлюз движения данных 2023.5.10 или более поздней версии.

Сетевая интеграция

Когда Сетевая интеграция или Оба выбраны, выберите Открытое озеро данных Qlik сетевую интеграцию, созданную вами ранее.

Свойства подключения

Параметры доступа: Выберите один из следующих
- Пара ключей (по умолчанию)
  Пара ключей для доступа к вашему блоку Amazon S3. Если выбран этот параметр, укажите следующее:
  - Ключ доступа: ключ доступа для блока Amazon S3.
  - Секретный ключ: Секретный ключ для вашего блока Amazon S3.
- IAM Roles Anywhere (не поддерживается при использовании Amazon S3 в качестве промежуточной области для Databricks или Открытое озеро данных Qlik):
  IAM Roles Anywhere можно настроить в консоли IAM Roles Anywhere, через AWS CLI или с помощью AWS SDK. IAM Roles Anywhere позволяет использовать инфраструктуру открытых ключей (PKI) для создания временных учетных данных для доступа к ролям IAM из-за пределов AWS. Это означает, что вы можете безопасно получать доступ к ресурсам AWS из Qlik Talend Data Integration без необходимости управлять долгосрочными учетными данными.
  Если выбран этот параметр, укажите следующее:
  - Файл сертификата: Путь к открытому сертификату Qlik Talend Data Integration на компьютере Data Movement Gateway в формате PEM. Этот файл должен быть подписан сертификатом центра сертификации (CA), настроенным в консоли IAM Roles Anywhere.
  - Файл закрытого ключа: Путь к файлу закрытого ключа Qlik Talend Data Integration на компьютере Data Movement Gateway в формате PEM.
  - Парольная фраза закрытого ключа: Парольная фраза закрытого ключа. Требуется только в том случае, если файл закрытого ключа зашифрован.
  - ARN якоря доверия: ARN, связанный с якорем доверия, который вы создали в консоли IAM Roles Anywhere. Вы устанавливаете доверие между IAM Roles Anywhere и вашим центром сертификации (CA), создавая якорь доверия. Якорь доверия — это ссылка на AWS Private CA или внешний сертификат CA. Ваши рабочие нагрузки за пределами AWS проходят аутентификацию с помощью якоря доверия, используя cертификаты, выданные доверенным CA, в обмен на временные учетные данные AWS.
  - ARN профиля: ARN, связанный с профилем, который вы создали в консоли IAM Roles Anywhere. Чтобы указать, какие роли принимает IAM Roles Anywhere и что ваши рабочие нагрузки могут делать с временными учетными данными, вы создаете профиль. В профиле можно определить разрешения с помощью управляемых политик IAM, чтобы ограничить разрешения для созданного сеанса.
  - ARN роли: ARN, связанный с ролью, которую вы создали в консоли IAM Roles Anywhere. Роль — это удостоверение IAM, которое вы создаете в своей учетной записи с определенными разрешениями. Чтобы IAM Roles Anywhere мог принять роль и предоставить временные учетные данные AWS, роль должна доверять субъекту службы IAM Roles Anywhere.
    Формат должен быть следующим:
    arn:aws:iam::<account-id>:role/<role-name-with-path>
  Для получения дополнительной информации об IAM Roles Anywhere см.:
  Расширение ролей AWS IAM на рабочие нагрузки за пределами AWS с помощью IAM Roles Anywhere
- Роли IAM для EC2
  Выберите этот метод, если компьютер, на котором установлено Data Movement Gateway, настроен на аутентификацию с использованием роли IAM.
  Дополнительные сведения о ролях IAM см. в разделе Роли IAM.
  - Принять роль: Выберите эту опцию, чтобы принять роль IAM. Если выбран этот параметр, укажите следующее:
    - Дополнительный ARN роли: ARN, связанный с целевой ролью.
    - Дополнительный внешний идентификатор роли: Значение условия внешнего идентификатора в политике доверия целевой роли (необязательно, но недоступно для Открытое озеро данных Qlik сетевой интеграции).
    Примечание к информацииКогда Использование установлено в Интеграция сети и Параметр доступа установлен в Роли IAM для EC2, необходимо включить параметр Принять роль и указать Дополнительный ARN роли. Параметр Внешний ID дополнительной роли неактуален, когда Использование имеет значение Сетевая интеграция.
Имя блока: имя блокаAmazon S3.
Примечание к информации
По умолчанию для области блока задано автоматическое определение, при котором нет необходимости задавать конкретный регион. Однако в целях безопасности для некоторых регионов (например, AWS GovCloud), может потребоваться задать регион явным образом. В таком случае можно задать код региона, используя внутреннее свойство regionCode.
Список кодов регионов см. в разделе Доступность регионов в документе: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Инструкции по настройке внутренних свойств см. ниже.
Используйте AWS PrivateLink (не поддерживается в качестве цели промежуточного хранения для Открытое озеро данных Qlik ): установите этот флажок, чтобы подключиться к ВЧО Amazon (виртуальное частное облако), а затем укажите URL конечной точки ВЧО (например, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Примечание к информацииПараметр Использовать AWS PrivateLink не поддерживается при использовании блока Amazon S3 в качестве промежуточной области для цели Databricks. Для получения информации о настройке подключения к цели Databricks см. раздел Databricks.

Шифрование данных

Выберите один из следующих вариантов шифрования:

Серверное шифрование с ключами, управляемыми Amazon S3 (SSE-S3).
Это значение по умолчанию.
Серверное шифрование с ключами, управляемыми AWS KMS (SSE-KMS)
Для этого параметра также требуется указать идентификатор ключа KMS.
Дополнительные сведения о доступных методах серверного шифрования см. в разделе:
Защита данных с помощью серверного шифрования
НЕТ

Внутренние свойства

Внутренние свойства предназначены для особых вариантов использования и поэтому не отображаются в диалоговом окне. Их можно использовать только по указанию службы поддержки Qlik.

Используйте кнопки Create new и Cancel справа от полей, чтобы при необходимости добавить или удалить свойства.

Имя

Отображаемое имя подключения.

Сопоставление типов данных

В следующей таблице показано используемое по умолчанию сопоставление типов данных Qlik Cloud типам данных Amazon S3.

Сопоставление типов данных релевантно, только если включен установлен флажок Создать файлы метаданных в целевой папке в параметрах задачи «Промежуточное хранение данных в озере данных».

Сопоставление типов данных Qlik Cloud типам данных Amazon S3

Типы данных Qlik Cloud и Amazon S3
Qlik Cloud типы данных	Типы данных цели Amazon S3
DATE	DATE
TIME	TIME
DATETIME	DATETIME
BYTES	BYTES (длина)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4	UINT4 (10)
UINT8	UINT8 (20)
NUMERIC	NUMERIC (p,s)
STRING	STRING (длина)
WSTRING	STRING (длина)
CLOB	CLOB
NCLOB	NCLOB
BOOLEAN	BOOLEAN (1)

Сопоставление типов данных Qlik Cloud типам данных Parquet

Когда Parquet задается в качестве формата файла, вследствие ограниченного количества типов данных, поддерживаемых Parquet, используются сопоставления типов данных, приведенные ниже.

Сопоставление типов данных Parquet
Qlik Cloud Тип данных	Примитивный тип Parquet	Логический тип
BOOLEAN	BOOLEAN
INT1	INT32	INT(8, true)
INT2	INT32	INT(16, true)
INT4	INT32
INT8	INT64
UINT1	INT32	ЦЕЛОЕ ЧИСЛО(8, false)
UINT2	INT32	ЦЕЛОЕ ЧИСЛО(16, false)
UINT4	INT64
UINT8	INT64	ЦЕЛОЕ ЧИСЛО(64, false)
REAL4	FLOAT
REAL8	DOUBLE
NUMERIC	МАССИВ_БАЙТОВ_ФИКСИРОВАННОЙ_ДЛИНЫ (16)	DECIMAL (точность, масштаб)
STRING	Массив байтов	STRING
WSTRING	Массив байтов	STRING
BYTES	Массив байтов
BLOB	Массив байтов
CLOB	Массив байтов	STRING
NCLOB	Массив байтов	STRING
DATE	INT32	DATE
TIME	INT32	ВРЕМЯ (UTC=true, unit=MILLIS)
DATETIME	INT64	ОТМЕТКА ВРЕМЕНИ (UTC=true, unit=MICROS)

Подробнее

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь