# Amazon S3

Amazon S3 можно использовать как:

* облачную промежуточную область при использовании Databricks (необязательно) и Amazon Redshift (обязательно) в качестве цели конвейера данных; Облачная промежуточная область — место, куда помещаются данные и изменения до того, как они будут применены и сохранены.

* Облачная промежуточная область при использовании проектов Открытое озеро данных Qlik с источниками CDC. Для этого требуется, чтобы Шлюз движения данных и кластеры могли читать из блока промежуточного хранения и записывать в него. Для получения дополнительной информации см. раздел [Шаг 1. Создание сетевой интеграции.](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/network-integration.htm).

* Облачная промежуточная область при использовании проектов Открытое озеро данных Qlik с потоковыми источниками. Для этого требуется, чтобы кластеры могли читать из блока промежуточного хранения и записывать в него. Для получения дополнительной информации см. раздел [Шаг 1. Создание сетевой интеграции.](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/network-integration.htm).

* Цель в задаче репликации.

  * Для получения инструкций по репликации данных в Amazon S3 с использованием подписок Standard, Premium и Enterprise см. раздел [Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm).
  * Для получения инструкций по репликации данных в Amazon S3 с использованием подписки Starter см. раздел [Репликация данных с использованием подписки Qlik Talend Cloud Starter](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-starter-subscription.htm).

## Разрешения, необходимые для промежуточного хранения данных

* У вас должен быть блок Amazon S3, доступный из службы или компьютера, используемого для доступа к нему.

  Для получения информации о регистрации в Amazon S3 см. http://aws.amazon.com/s3/.

* Учетные данные для доступа к блоку: запишите имя блока, ключ доступа и секретный ключ — их потребуется указывать в параметрах коннектор Amazon S3.

* Разрешения на доступ к блоку: для доступа требуются следующие разрешения:

  ```
   
  ```

  ```
  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  ```

Где `YOUR_BUCKET_NAME` — это имя блока и `target_path` — это предусмотренное местоположение целевых файлов в блоке.

Примечание к информации

Если целевой путь является корневым каталогом блока, просто укажите для `“/target_path”` пустую строку.

## Предварительные требования для Шлюз данных Qlik — движение данных

Data Movement Gateway подключается к AWS с использованием SSL. На машине Data Movement Gateway должен быть соответствующий сертификат; в противном случае подключиться не получится. Сертификат CA нужен для удостоверения прав владения на сертификат сервера AWS.

Проверьте, что требуемый сертификат CA хранится на машине Linux в следующей папке:

/etc/pki/tls/certs/ca-bundle.crt

Если сертификат отсутствует, самым простым решением будет скопировать пакет сертификатов с другого компьютера Linux.

## Настройка свойств подключения Amazon S3

Чтобы настроить коннектор, выполните следующие действия:

1. В виде Подключения нажмите Создать подключение.

2. Выберите коннектор цели Amazon S3, а затем задайте следующие настройки.

### Цель данных

Использование

Выберите одно из значений, указанных ниже, в зависимости от сценария использования:

* Перемещение данных: Выберите при использовании Шлюз движения данных для доступа к целевому объекту Amazon S3.

* Сетевая интеграция: Выберите при использовании Amazon S3 для хранения файлов метаданных Qlik, необходимых для [сетевой интеграции Открытое озеро данных Qlik](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/manual-integration.htm).

* Оба: Выберите, если верны оба указанных выше условия.

Шлюз данных

Если выбран параметр Перемещение данных или Оба, выберите Шлюз движения данных, который вы хотите использовать для доступа к целевому объекту.

В зависимости от конкретной ситуации, это будет либо тот же Шлюз движения данных, развернутый для промежуточного хранения данных, либо другой шлюз. Для получения дополнительной информации о доступных возможностях развертывания Шлюз движения данных см. [Распространенные варианты использования](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/Gateways/replication-gateway.htm#Common).

Примечание к информацииТребуется Шлюз движения данных 2023.5.10 или более поздней версии.

Сетевая интеграция

Если выбрано Сетевая интеграция или Оба, выберите Открытое озеро данных Qlik [созданную ранее сетевую интеграцию](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/network-integration.htm).

### Свойства подключения

* Параметры доступа: выберите один из следующих вариантов:

  * Пара ключей (по умолчанию)

    Используйте пару ключей для доступа к вашему блоку Amazon S3. Если выбран этот параметр, укажите следующее:

    * Ключ доступа: ключ доступа для блока Amazon S3.

    * Секретный ключ: Секретный ключ для вашего блока Amazon S3.

  * IAM Roles Anywhere (не поддерживается при использовании Amazon S3 в качестве промежуточной области для Databricks или Открытое озеро данных Qlik):

    IAM Roles Anywhere можно настроить в [консоли IAM Roles Anywhere](https://console.aws.amazon.com/rolesanywhere/home/), через AWS CLI или с помощью AWS SDK. IAM Roles Anywhere позволяет использовать инфраструктуру открытых ключей (PKI) для создания временных учетных данных для доступа к ролям IAM из-за пределов AWS. Это означает, что вы можете безопасно получать доступ к ресурсам AWS из Qlik Talend Data Integration без необходимости управлять долгосрочными учетными данными.

    Если выбран этот параметр, укажите следующее:

    * Файл сертификата: Путь к открытому сертификату Qlik Talend Data Integration на компьютере Data Movement Gateway в формате PEM. Этот файл должен быть подписан сертификатом центра сертификации (CA), настроенным в консоли IAM Roles Anywhere.

    * Файл закрытого ключа: Путь к файлу закрытого ключа Qlik Talend Data Integration на компьютере Data Movement Gateway в формате PEM.

    * Парольная фраза закрытого ключа: Парольная фраза закрытого ключа. Требуется только в том случае, если файл закрытого ключа зашифрован.

    * ARN якоря доверия: ARN, связанный с якорем доверия, который вы создали в консоли IAM Roles Anywhere. Вы устанавливаете доверие между IAM Roles Anywhere и вашим центром сертификации (CA), создавая якорь доверия. Якорь доверия — это ссылка на AWS Private CA или внешний сертификат CA. Ваши рабочие нагрузки за пределами AWS проходят аутентификацию с помощью якоря доверия, используя cертификаты, выданные доверенным CA, в обмен на временные учетные данные AWS.

    * ARN профиля: ARN, связанный с профилем, который вы создали в консоли IAM Roles Anywhere. Чтобы указать, какие роли принимает IAM Roles Anywhere и что ваши рабочие нагрузки могут делать с временными учетными данными, вы создаете профиль. В профиле можно определить разрешения с помощью управляемых политик IAM, чтобы ограничить разрешения для созданного сеанса.

    * ARN роли: ARN, связанный с ролью, которую вы создали в консоли IAM Roles Anywhere. Роль — это удостоверение IAM, которое вы создаете в своей учетной записи с определенными разрешениями. Чтобы IAM Roles Anywhere мог принять роль и предоставить временные учетные данные AWS, роль должна доверять субъекту службы IAM Roles Anywhere.

      Формат должен быть следующим:

      arn:aws:iam::<account-id>:role/<role-name-with-path>

    Для получения дополнительной информации об IAM Roles Anywhere см.:

    [Расширение ролей AWS IAM на рабочие нагрузки за пределами AWS с помощью IAM Roles Anywhere](https://docs.aws.amazon.com/rolesanywhere/latest/userguide/introduction.html)

  * Роли IAM для EC2

    Выберите этот метод, если машина, используемая для доступа к Amazon S3, настроена для аутентификации с помощью роли IAM.

    Дополнительные сведения о ролях IAM см. в разделе [Роли IAM](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles.html).

    * Принять роль: выберите этот параметр, чтобы принять целевую роль IAM.

      Этот параметр является необязательным для режимов «Перемещение данных», «Сетевая интеграция» и «Оба».

      Если этот параметр не выбран, подключение использует роль IAM, связанную с соответствующей машиной EC2.

      Настройте политику доверия целевой роли так, чтобы она доверяла соответствующей роли доступа к данным и/или перемещения данных для выбранного режима Использование.

      Укажите следующее:

      * ARN дополнительной роли: ARN, связанный с целевой ролью.
      * Внешний идентификатор дополнительной роли: если выбран параметр Принять роль и для параметра Использование задано значение Сетевая интеграция или Оба, нажмите Загрузить внешний идентификатор, чтобы получить внешний идентификатор. Добавьте полученный внешний идентификатор в политику доверия дополнительной целевой роли.

      Настройте политику доверия, чтобы доверять соответствующей роли для выбранного режима использования:

      * Режим сетевой интеграции: доверять роли Data Access (роли сервера), используемой вашей сетевой интеграцией.
      * Режим перемещения данных: доверять роли перемещения данных, используемой Шлюз движения данных.
      * Режим Оба: доверять как роли доступа к данным, так и роли перемещения данных.

* Имя блока: имя блокаAmazon S3.

  Примечание к информации

  По умолчанию для области блока задано автоматическое определение, при котором нет необходимости задавать конкретный регион. Однако в целях безопасности для некоторых регионов (например, AWS GovCloud), может потребоваться задать регион явным образом. В таком случае можно задать код региона, используя внутреннее свойство `regionCode`.

  Список кодов регионов см. в разделе Доступность регионов в документе: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Инструкции по настройке внутренних свойств см. ниже.

* Используйте AWS PrivateLink (не поддерживается в качестве целевого объекта промежуточного хранения для Открытое озеро данных Qlik ): Выберите этот параметр, чтобы подключиться к Amazon VPC, а затем укажите URL-адрес конечной точки VPC (например, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  Примечание к информацииПараметр Использовать AWS PrivateLink не поддерживается при использовании блока Amazon S3 в качестве промежуточной области для цели Databricks. Для получения информации о настройке подключения к цели Databricks см. раздел [Databricks](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/databricks-target.htm).

### Шифрование данных

Выберите один из следующих вариантов шифрования:

* Серверное шифрование с ключами, управляемыми Amazon S3 (SSE-S3).

  Это значение по умолчанию.

* Серверное шифрование с ключами, управляемыми AWS KMS (SSE-KMS)

  Для этого параметра также требуется указать идентификатор ключа KMS.

  Дополнительные сведения о доступных методах серверного шифрования см. в разделе:

  [Защита данных с помощью серверного шифрования](http://docs.aws.amazon.com/AmazonS3/latest/dev/serv-side-encryption.html)

* Отсутствует

### Внутренние свойства

Внутренние свойства предназначены для особых вариантов использования и поэтому не отображаются в диалоговом окне. Их можно использовать только по указанию службы поддержки Qlik.

Используйте кнопки the Создать icon и the Отмена icon справа от полей, чтобы при необходимости добавить или удалить свойства.

### Имя

Отображаемое имя подключения.

## Сопоставление типов данных

В следующей таблице показано используемое по умолчанию сопоставление типов данных Qlik Cloud типам данных Amazon S3.

Примечание к информацииСопоставление типов данных релевантно, только если включен установлен флажок [Создать файлы метаданных в целевой папке](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes-settings.htm#Metadata) в параметрах задачи «Промежуточное хранение данных в озере данных».

### Сопоставление типов данных Qlik Cloud типам данных Amazon S3

Типы данных Qlik CloudQlik Cloud и Amazon S3

| Типы данных Qlik Cloud | Типы данных цели Amazon S3 |
| --- | --- |
| DATE | DATE |
| TIME | TIME |
| DATETIME | DATETIME |
| BYTES | BYTES (длина) |
| BLOB | BLOB |
| REAL4 | REAL4 (7) |
| REAL8 | REAL8 (14) |
| INT1 | INT1 (3) |
| INT2 | INT2 (5) |
| INT4 | INT4 (10) |
| INT8 | INT8 (19) |
| UINT1 | UINT1 (3) |
| UINT2 | UINT2 (5) |
| UINT4 | UINT4 (10) |
| UINT8 | UINT8 (20) |
| NUMERIC | NUMERIC (p,s) |
| STRING | STRING (длина) |
| WSTRING | STRING (длина) |
| CLOB | CLOB |
| NCLOB | NCLOB |
| BOOLEAN | BOOLEAN (1) |

### Сопоставление типов данных Qlik Cloud типам данных Parquet

Когда Parquet задается в качестве формата файла, вследствие ограниченного количества типов данных, поддерживаемых Parquet, используются сопоставления типов данных, приведенные ниже.

Сопоставление типов данных Parquet

| Тип данных Qlik Cloud | Примитивный тип Parquet | Логический тип |
| --- | --- | --- |
| BOOLEAN | BOOLEAN |  |
| INT1 | INT32 | INT(8, true) |
| INT2 | INT32 | INT(16, true) |
| INT4 | INT32 |  |
| INT8 | INT64 |  |
| UINT1 | INT32 | ЦЕЛОЕ ЧИСЛО(8, false) |
| UINT2 | INT32 | ЦЕЛОЕ ЧИСЛО(16, false) |
| UINT4 | INT64 |  |
| UINT8 | INT64 | ЦЕЛОЕ ЧИСЛО(64, false) |
| REAL4 | FLOAT |  |
| REAL8 | DOUBLE |  |
| NUMERIC | МАССИВ\_БАЙТОВ\_ФИКСИРОВАННОЙ\_ДЛИНЫ (16) | DECIMAL (точность, масштаб) |
| STRING | BYTE\_ARRAY | STRING |
| WSTRING | BYTE\_ARRAY | STRING |
| BYTES | BYTE\_ARRAY |  |
| BLOB | BYTE\_ARRAY |  |
| CLOB | BYTE\_ARRAY | STRING |
| NCLOB | BYTE\_ARRAY | STRING |
| DATE | INT32 | DATE |
| TIME | INT32 | ВРЕМЯ (UTC=true, unit=MILLIS) |
| DATETIME | INT64 | ОТМЕТКА ВРЕМЕНИ (UTC=true, unit=MICROS) |

## Подробнее

* [Промежуточное хранение данных в озере данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm)
* [Цель Amazon Redshift](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/redshift-target.htm)
* [Цель Databricks](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/databricks-target.htm)