Amazon S3

Чтобы настроить коннектор, выполните следующие действия:

1. В виде Подключения нажмите Создать подключение.

2. Выберите коннектор цели Amazon S3, а затем задайте следующие настройки.

Цель данных

Использование 

Выберите одно из значений, указанных ниже, в зависимости от сценария использования:

• Перемещение данных: Выберите при использовании Шлюз движения данных для доступа к целевому объекту Amazon S3.

• Сетевая интеграция: Выберите при использовании Amazon S3 для хранения файлов метаданных Qlik, необходимых для сетевой интеграции Открытое озеро данных Qlik.

• Оба: Выберите, если верны оба указанных выше условия.

Шлюз данных

Если выбран параметр Перемещение данных или Оба, выберите Шлюз движения данных, который вы хотите использовать для доступа к целевому объекту.

В зависимости от конкретной ситуации, это будет либо тот же Шлюз движения данных, развернутый для промежуточного хранения данных, либо другой шлюз. Для получения дополнительной информации о доступных возможностях развертывания Шлюз движения данных см. Распространенные варианты использования.

Сетевая интеграция

Если выбрано Сетевая интеграция или Оба, выберите Открытое озеро данных Qlik созданную ранее сетевую интеграцию.

Свойства подключения

• Параметры доступа: выберите один из следующих вариантов:

  • Пара ключей (по умолчанию)

    Используйте пару ключей для доступа к вашему блоку Amazon S3. Если выбран этот параметр, укажите следующее:

    • Ключ доступа: ключ доступа для блока Amazon S3.

    • Секретный ключ: Секретный ключ для вашего блока Amazon S3.

  • IAM Roles Anywhere (не поддерживается при использовании Amazon S3 в качестве промежуточной области для Databricks или Открытое озеро данных Qlik):

    IAM Roles Anywhere можно настроить в консоли IAM Roles Anywhere, через AWS CLI или с помощью AWS SDK. IAM Roles Anywhere позволяет использовать инфраструктуру открытых ключей (PKI) для создания временных учетных данных для доступа к ролям IAM из-за пределов AWS. Это означает, что вы можете безопасно получать доступ к ресурсам AWS из Qlik Talend Data Integration без необходимости управлять долгосрочными учетными данными.

    Если выбран этот параметр, укажите следующее:

    • Файл сертификата: Путь к открытому сертификату Qlik Talend Data Integration на компьютере Data Movement Gateway в формате PEM. Этот файл должен быть подписан сертификатом центра сертификации (CA), настроенным в консоли IAM Roles Anywhere.
    • Файл закрытого ключа: Путь к файлу закрытого ключа Qlik Talend Data Integration на компьютере Data Movement Gateway в формате PEM.
    • Парольная фраза закрытого ключа: Парольная фраза закрытого ключа. Требуется только в том случае, если файл закрытого ключа зашифрован.
    • ARN якоря доверия: ARN, связанный с якорем доверия, который вы создали в консоли IAM Roles Anywhere. Вы устанавливаете доверие между IAM Roles Anywhere и вашим центром сертификации (CA), создавая якорь доверия. Якорь доверия — это ссылка на AWS Private CA или внешний сертификат CA. Ваши рабочие нагрузки за пределами AWS проходят аутентификацию с помощью якоря доверия, используя cертификаты, выданные доверенным CA, в обмен на временные учетные данные AWS.
    • ARN профиля: ARN, связанный с профилем, который вы создали в консоли IAM Roles Anywhere. Чтобы указать, какие роли принимает IAM Roles Anywhere и что ваши рабочие нагрузки могут делать с временными учетными данными, вы создаете профиль. В профиле можно определить разрешения с помощью управляемых политик IAM, чтобы ограничить разрешения для созданного сеанса.

    • ARN роли: ARN, связанный с ролью, которую вы создали в консоли IAM Roles Anywhere. Роль — это удостоверение IAM, которое вы создаете в своей учетной записи с определенными разрешениями. Чтобы IAM Roles Anywhere мог принять роль и предоставить временные учетные данные AWS, роль должна доверять субъекту службы IAM Roles Anywhere.

      Формат должен быть следующим:

      arn:aws:iam::<account-id>:role/<role-name-with-path>

    Для получения дополнительной информации об IAM Roles Anywhere см.:

    Расширение ролей AWS IAM на рабочие нагрузки за пределами AWS с помощью IAM Roles Anywhere

  • Роли IAM для EC2

    Выберите этот метод, если машина, используемая для доступа к Amazon S3, настроена для аутентификации с помощью роли IAM.

    Дополнительные сведения о ролях IAM см. в разделе Роли IAM.

    • Принять роль: выберите этот параметр, чтобы принять целевую роль IAM.

      Этот параметр является необязательным для режимов «Перемещение данных», «Сетевая интеграция» и «Оба».

      Если этот параметр не выбран, подключение использует роль IAM, связанную с соответствующей машиной EC2.

      Настройте политику доверия целевой роли так, чтобы она доверяла соответствующей роли доступа к данным и/или перемещения данных для выбранного режима Использование.

      Укажите следующее:

      • ARN дополнительной роли: ARN, связанный с целевой ролью.
      • Внешний идентификатор дополнительной роли: если выбран параметр Принять роль и для параметра Использование задано значение Сетевая интеграция или Оба, нажмите Загрузить внешний идентификатор, чтобы получить внешний идентификатор. Добавьте полученный внешний идентификатор в политику доверия дополнительной целевой роли.

      Настройте политику доверия, чтобы доверять соответствующей роли для выбранного режима использования:

      • Режим сетевой интеграции: доверять роли Data Access (роли сервера), используемой вашей сетевой интеграцией.
      • Режим перемещения данных: доверять роли перемещения данных, используемой Шлюз движения данных.
      • Режим Оба: доверять как роли доступа к данным, так и роли перемещения данных.

• Имя блока: имя блокаAmazon S3.

  Примечание к информации

  По умолчанию для области блока задано автоматическое определение, при котором нет необходимости задавать конкретный регион. Однако в целях безопасности для некоторых регионов (например, AWS GovCloud), может потребоваться задать регион явным образом. В таком случае можно задать код региона, используя внутреннее свойство regionCode.

  Список кодов регионов см. в разделе Доступность регионов в документе: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Инструкции по настройке внутренних свойств см. ниже.

• Используйте AWS PrivateLink (не поддерживается в качестве целевого объекта промежуточного хранения для Открытое озеро данных Qlik ): Выберите этот параметр, чтобы подключиться к Amazon VPC, а затем укажите URL-адрес конечной точки VPC (например, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  Примечание к информацииПараметр Использовать AWS PrivateLink не поддерживается при использовании блока Amazon S3 в качестве промежуточной области для цели Databricks. Для получения информации о настройке подключения к цели Databricks см. раздел Databricks.

Шифрование данных

Выберите один из следующих вариантов шифрования:

• Серверное шифрование с ключами, управляемыми Amazon S3 (SSE-S3).

  Это значение по умолчанию.

• Серверное шифрование с ключами, управляемыми AWS KMS (SSE-KMS)

  Для этого параметра также требуется указать идентификатор ключа KMS.

  Дополнительные сведения о доступных методах серверного шифрования см. в разделе:

  Защита данных с помощью серверного шифрования

• Отсутствует

Внутренние свойства

Внутренние свойства предназначены для особых вариантов использования и поэтому не отображаются в диалоговом окне. Их можно использовать только по указанию службы поддержки Qlik.

Используйте кнопки и справа от полей, чтобы при необходимости добавить или удалить свойства.

Имя

Отображаемое имя подключения.

Сопоставление типов данных

В следующей таблице показано используемое по умолчанию сопоставление типов данных Qlik Cloud типам данных Amazon S3.

Сопоставление типов данных Qlik Cloud типам данных Amazon S3

Сопоставление типов данных Qlik Cloud типам данных Parquet

Когда Parquet задается в качестве формата файла, вследствие ограниченного количества типов данных, поддерживаемых Parquet, используются сопоставления типов данных, приведенные ниже.