Amazon S3
Amazon S3 можно использовать как:
- облачную промежуточную область при использовании Databricks (необязательно) и Amazon Redshift (обязательно) в качестве цели конвейера данных; Облачная промежуточная область — место, куда помещаются данные и изменения до того, как они будут применены и сохранены.
-
Цель в задаче репликации.
- Для получения инструкций по репликации данных в Amazon S3 с использованием подписок Standard, Premium и Enterprise см. раздел Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise.
- Для получения инструкций по репликации данных в Amazon S3 с использованием подписки Starter см. раздел Репликация данных с использованием подписки Qlik Talend Cloud Starter.
Разрешения, необходимые для промежуточного хранения данных
Для этого необходим блок Amazon S3, доступный с компьютера Data Movement Gateway.
Для получения информации о регистрации в Amazon S3 см. http://aws.amazon.com/s3/.
- Учетные данные для доступа к блоку: запишите имя блока, ключ доступа и секретный ключ — их потребуется указывать в параметрах коннектор Amazon S3.
Разрешения на доступ к блоку: для доступа требуются следующие разрешения:
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
Где YOUR_BUCKET_NAME — это имя блока и target_path — это предусмотренное местоположение целевых файлов в блоке.
Если целевой путь является корневым каталогом блока, просто укажите для “/target_path” пустую строку.
Предварительные требования для Шлюз данных Qlik — движение данных
Data Movement Gateway подключается к AWS с использованием SSL. На машине Data Movement Gateway должен быть соответствующий сертификат; в противном случае подключиться не получится. Сертификат CA нужен для удостоверения прав владения на сертификат сервера AWS.
Проверьте, что требуемый сертификат CA хранится на машине Linux в следующей папке:
/etc/pki/tls/certs/ca-bundle.crt
Если сертификат отсутствует, самым простым решением будет скопировать пакет сертификатов с другого компьютера Linux.
Настройка свойств подключения Amazon S3
Чтобы настроить коннектор, выполните следующие действия:
В виде Подключения нажмите Создать подключение.
Выберите коннектор цели Amazon S3 , а затем задайте следующие настройки.
Цель данных
Шлюз данных: Выберите шлюз Шлюз движения данных, который требуется использовать для доступа к целевой базе данных.
В зависимости от конкретной ситуации, это будет либо тот же Шлюз движения данных, развернутый для промежуточного хранения данных, либо другой шлюз. Для получения дополнительной информации о доступных возможностях развертывания Шлюз движения данных см. Общие случаи использования.
Свойства подключения
Параметры доступа: Выберите один из следующих
Пара ключей (по умолчанию)
Пара ключей для доступа к вашему блоку Amazon S3. Когда выбран этот вариант, укажите следующее:
- Ключ доступа: ключ доступа для блока Amazon S3.
Секретный ключ: секретный ключ для блока Amazon S3.
IAM Roles Anywhere (не поддерживается при использовании Amazon S3 в качестве промежуточной области для Databricks):
IAM Roles Anywhere можно настроить в консоли IAM Roles Anywhere, через AWS CLI или с помощью AWS SDK. IAM Roles Anywhere позволяет использовать вашу инфраструктуру открытых ключей (PKI) для генерации временных учетных данных для доступа к ролям IAM из-за пределов AWS. Это означает, что вы можете безопасно получать доступ к ресурсам AWS из Qlik Talend Data Integration без необходимости управлять долгосрочными учетными данными.
Если выбран этот параметр, укажите следующее:
- Файл сертификата: Путь к Qlik Talend Data Integration открытому сертификату на Data Movement Gateway компьютере в формате PEM. Этот файл должен быть подписан сертификатом ЦС, настроенным в консоли IAM Roles Anywhere.
- Файл закрытого ключа: Путь к Qlik Talend Data Integration файлу закрытого ключа на Data Movement Gateway компьютере в формате PEM.
- Кодовая фраза закрытого ключа: Кодовая фраза закрытого ключа. Требуется только в том случае, если файл закрытого ключа зашифрован.
- ARN доверенного якоря: ARN, связанный с доверенным якорем, который вы создали в консоли IAM Roles Anywhere. Вы устанавливаете доверие между IAM Roles Anywhere и вашим центром сертификации (ЦС), создавая якорь доверия. Якорь доверия — это ссылка либо на AWS Private CA, либо на внешний сертификат ЦС. Ваши рабочие нагрузки за пределами AWS проходят аутентификацию с якорем доверия, используя сертификаты, выданные доверенным ЦС, в обмен на временные учетные данные AWS.
- ARN профиля: ARN, связанный с профилем, который вы создали в консоли IAM Roles Anywhere. Чтобы указать, какие роли принимает IAM Roles Anywhere и что ваши рабочие нагрузки могут делать с временными учетными данными, вы создаете профиль. В профиле вы можете определить разрешения с помощью управляемых политик IAM, чтобы ограничить разрешения для созданной сессии.
ARN роли: ARN, связанный с ролью, которую вы создали в консоли IAM Roles Anywhere. Роль — это сущность IAM, которую вы создаете в своей учетной записи с определенными разрешениями. Чтобы IAM Roles Anywhere мог принимать роль и предоставлять временные учетные данные AWS, роль должна доверять субъекту службы IAM Roles Anywhere.
Формат должен быть следующим:
arn:aws:iam::<account-id>:role/<role-name-with-path>
Дополнительные сведения об IAM Roles Anywhere см. в:
Расширение ролей AWS IAM для рабочих нагрузок за пределами AWS с помощью IAM Roles Anywhere
Роли IAM для EC2
Выберите этот метод, если компьютер, на котором установлено Data Movement Gateway, настроен на аутентификацию с использованием роли IAM.
Дополнительные сведения о ролях IAM см. в разделе Роли IAM.
Имя блока: имя блокаAmazon S3.
По умолчанию для области блока задано автоматическое определение, при котором нет необходимости задавать конкретный регион. Однако в целях безопасности для некоторых регионов (например, AWS GovCloud), может потребоваться задать регион явным образом. В таком случае можно задать код региона, используя внутреннее свойство regionCode.
Список кодов регионов см. в разделе Доступность регионов в документе: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
Инструкции по настройке внутренних свойств см. ниже.
Использовать AWS PrivateLink: установите этот флажок, чтобы подключиться к ВЧО Amazon (виртуальное частное облако), а затем укажите URL конечной точки ВЧО (например, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).
Шифрование данных
Выберите один из следующих вариантов шифрования:
Серверное шифрование с ключами, управляемыми Amazon S3 (SSE-S3).
Это значение по умолчанию.
Серверное шифрование с ключами, управляемыми AWS KMS (SSE-KMS)
Для этого параметра также требуется указать идентификатор ключа KMS.
Дополнительные сведения о доступных методах серверного шифрования см. в разделе:
- Отсутствует
Внутренние свойства
Внутренние свойства предназначены для особых вариантов использования и поэтому не отображаются в диалоговом окне. Их можно использовать только по указанию службы поддержки Qlik.
Используйте кнопки 
и 
справа от полей, чтобы при необходимости добавить или удалить свойства.
Имя
Отображаемое имя подключения.
Сопоставление типов данных
В следующей таблице показано используемое по умолчанию сопоставление типов данных Qlik Cloud типам данных Amazon S3.
Сопоставление типов данных Qlik Cloud типам данных Amazon S3
| Типы данных Qlik Cloud | Типы данных цели Amazon S3 |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES (длина) |
BLOB | BLOB |
REAL4 | REAL4 (7) |
REAL8 | REAL8 (14) |
INT1 | INT1 (3) |
INT2 | INT2 (5) |
INT4 | INT4 (10) |
INT8 | INT8 (19) |
UINT1 | UINT1 (3) |
UINT2 | UINT2 (5) |
UINT4 | UINT4 (10) |
UINT8 | UINT8 (20) |
NUMERIC | NUMERIC (p,s) |
STRING | STRING (длина) |
WSTRING | STRING (длина) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN (1) |
Сопоставление типов данных Qlik Cloud типам данных Parquet
Когда Parquet задается в качестве формата файла, вследствие ограниченного количества типов данных, поддерживаемых Parquet, используются сопоставления типов данных, приведенные ниже.
| Тип данных Qlik Cloud | Примитивный тип Parquet | Логический тип |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, ложь) |
REAL4 | FLOAT; | |
REAL8 | DOUBLE | |
NUMERIC | МАССИВ_БАЙТОВ_ФИКСИРОВАННОЙ_ДЛИНЫ (16) | DECIMAL (точность, масштаб) |
STRING | МАССИВ БАЙТОВ | STRING |
WSTRING | МАССИВ БАЙТОВ | STRING |
BYTES | МАССИВ БАЙТОВ | |
BLOB | МАССИВ БАЙТОВ | |
CLOB | МАССИВ БАЙТОВ | STRING |
NCLOB | МАССИВ БАЙТОВ | STRING |
DATE | INT32 | DATE |
TIME | INT32 | ВРЕМЯ (UTC=истина, unit=MILLIS) |
DATETIME | INT64 | МЕТКА ВРЕМЕНИ (UTC=истина, unit=MICROS) |