Amazon S3

Amazon S3 можно использовать как:

• облачную промежуточную область при использовании Databricks (необязательно) и Amazon Redshift (обязательно) в качестве цели конвейера данных; Облачная промежуточная область — место, куда помещаются данные и изменения до того, как они будут применены и сохранены.

• Цель в задаче репликации.

  • Для получения инструкций по репликации данных в Amazon S3 с использованием подписок Standard, Premium и Enterprise см. раздел Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise.
  • Для получения инструкций по репликации данных в Amazon S3 с использованием подписки Starter см. раздел Репликация данных с использованием подписки Qlik Talend Cloud Starter.

Разрешения, необходимые для промежуточного хранения данных

• Для этого необходим блок Amazon S3, доступный с компьютера Data Movement Gateway.

  Для получения информации о регистрации в Amazon S3 см. http://aws.amazon.com/s3/.

• Учетные данные для доступа к блоку: запишите имя блока, ключ доступа и секретный ключ — их потребуется указывать в настройках коннектор Amazon S3.

• Разрешения на доступ к блоку: для доступа требуются следующие разрешения:

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

Где YOUR_BUCKET_NAME — это имя блока и target_path — это предусмотренное местоположение целевых файлов в блоке.

Предварительные требования для Qlik Data Gateway — Data Movement

Data Movement Gateway подключается к AWS с использованием SSL. На машине Data Movement Gateway должен быть соответствующий сертификат; в противном случае подключиться не получится. Сертификат CA нужен для удостоверения прав владения на сертификат сервера AWS.

Проверьте, что требуемый сертификат CA хранится на машине Linux в следующей папке:

/etc/pki/tls/certs/ca-bundle.crt

Если сертификат отсутствует, самым простым решением будет скопировать пакет сертификатов с другого компьютера Linux.

Настройка свойств подключения Amazon S3

Чтобы настроить коннектор, выполните следующие действия:

1. В виде Подключения нажмите Создать подключение.

2. Выберите коннектор цели Amazon S3 , а затем задайте следующие настройки.

Цель данных

Шлюз данных: Выберите шлюз Data Movement Gateway, который требуется использовать для доступа к целевой базе данных.

В зависимости от конкретной ситуации, это будет либо тот же Data Movement Gateway, развернутый для промежуточного хранения данных, либо другой шлюз. Для получения дополнительной информации о доступных возможностях развертывания Data Movement Gateway см. Общие случаи использования.

Свойства подключения

• Ключ доступа: ключ доступа для блока Amazon S3.
• Секретный ключ: секретный ключ для блока Amazon S3.

• Имя блока: имя блокаAmazon S3.

  Примечание к информации

  По умолчанию для области блока задано автоматическое определение, при котором нет необходимости задавать конкретный регион. Однако в целях безопасности для некоторых регионов (например, AWS GovCloud), может потребоваться задать регион явным образом. В таком случае можно задать код региона, используя внутреннее свойство regionCode.

  Список кодов регионов см. в разделе Доступность регионов в документе: https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  Инструкции по настройке внутренних свойств см. ниже.

• Использовать AWS PrivateLink: установите этот флажок, чтобы подключиться к ВЧО Amazon (виртуальное частное облако), а затем укажите URL конечной точки ВЧО (например, https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com).

  Примечание к информацииПараметр Использовать AWS PrivateLink не поддерживается при использовании блока Amazon S3 в качестве промежуточной области для цели Databricks. Для получения информации о настройке подключения к цели Databricks см. раздел Databricks.

Внутренние свойства

Внутренние свойства предназначены для особых вариантов использования и поэтому не отображаются в диалоговом окне. Их можно использовать только по указанию службы поддержки Qlik.

Используйте кнопки и справа от полей, чтобы при необходимости добавить или удалить свойства.

Имя

Отображаемое имя подключения.

Сопоставление типов данных

В следующей таблице показано используемое по умолчанию сопоставление типов данных Qlik Cloud типам данных Amazon S3.

Сопоставление типов данных Qlik Cloud типам данных Amazon S3

Сопоставление типов данных Qlik Cloud типам данных Parquet

Когда Parquet задается в качестве формата файла, вследствие ограниченного количества типов данных, поддерживаемых Parquet, используются сопоставления типов данных, приведенные ниже.