AWS Kinesis Data Stream

Подключитесь к вашей службе Amazon Kinesis, чтобы использовать ее в качестве источника данных в ваших проектах Открытое озеро данных Qlik. Подключения Kinesis можно использовать только с задачей потокового промежуточного хранения и задачей потокового преобразования.

AWS Kinesis Data Stream — это полностью управляемая служба для непрерывного сбора и обработки потоков данных в реальном времени. В проекте Открытое озеро данных Qlik поток Kinesis можно использовать в качестве потокового источника данных для приема высокоскоростных событий и записей в таблицы Apache Iceberg. Данные, считываемые из потока, обрабатываются с помощью задач промежуточного хранения потоковой передачи и преобразования потоковой передачи, что обеспечивает прием, преобразование и хранение потоковых данных практически в реальном времени в открытом, доступном для запросов табличном формате, подходящем для последующей аналитики и потребления. Потоки можно разделить на несколько наборов данных с помощью задачи преобразования.

Необходимые условия

Для создания подключения к службе Amazon Kinesis требуется следующее:

• Если вы используете аутентификацию на основе ролей для доступа к блоку, вам необходимо:

  • Разрешение на доступ к сетевой интеграции, которую вы хотите использовать для подключения.

  • Роль ARN, или ее можно создать в процессе настройки.

• Если вы используете аутентификацию по ключу доступа для доступа к блоку, вам потребуется:

  • Идентификатор ключа доступа AWS.

  • Ваш секретный ключ доступа AWS.

Настройка свойств подключения Kinesis

Чтобы настроить подключение Kinesis, выполните следующие действия:

1. В виде Подключения нажмите Создать подключение.

2. Выберите Пространство, где вы хотите создать подключение, или выберите Создать новое пространство данных.

3. Выберите Kinesis из списка Имя коннектора или используйте поле Поиск. Убедитесь, что Тип — Источник, а Категория — Потоковая передача.

4. Выберите Регион, где размещена ваша служба Kinesis.

5. В разделе Тип аутентификации выберите способ подключения и настройте параметры.

На основе ролей

Выполните следующие шаги, чтобы использовать аутентификацию на основе ролей.

Создать роль ARN

• Выберите Интеграция сети для вашего подключения.

• Введите вашу роль ARN, если она у вас уже есть.

Создайте роль AWS

Выполните следующие шаги для создания роли AWS:

1. Создать роль

   • В консоли AWS перейдите в IAM.

   • В разделе Roles (Роли) нажмите Create role (Создать роль) и настройте роль:

   • Trusted entity type (Тип доверенной сущности): выберите Custom trust policy (Настраиваемая политика доверия).

   • Оператор: Скопируйте политику Доверенная сущность, созданную в разделе Создание роли AWS в Qlik Cloud, в панель кода в AWS.

   • Создайте роль.

2. Создать встроенную политику

   • В консоли AWS, в Ролях, нажмите роль, которую вы создали на шаге 1.

   • В политиках разрешений нажмите Добавить разрешения > Создать встроенную политику.

   • Скопируйте код в Qlik Cloud и вставьте его в политику в AWS.

     Примечание к информацииКод предоставляет подключению Kinesis доступ ко всем потокам Kinesis во всех учетных записях AWS в выбранном регионе.

3. Копировать роль ARN

   • На странице Роли в консоли AWS найдите значение ARN в разделе Сводка.

   • Скопируйте ARN и вставьте его в роль ARN в Qlik Cloud.

Ключ доступа

Выполните следующие шаги, чтобы использовать ключ доступа для аутентификации подключения:

• Access key: Введите уникальный идентификатор ключа доступа AWS для использования при аутентификации.

• Секретный ключ: Введите свой секретный ключ доступа AWS для использования с вашим ключом доступа.

1. Создать политику

   • В консоли AWS перейдите в IAM.

   • Перейдите в Политики> Создать политику.

   • В Qlik Cloud, в диалоговом окне Создать роль AWS скопируйте политику.

   • В AWS, в редакторе политик вставьте политику.

     Примечание к информацииКод предоставляет подключению Kinesis доступ ко всем потокам Kinesis во всех учетных записях AWS в выбранном регионе.

2. Прикрепить новую политику к пользователю

   • Прикрепите новую политику к пользователю, которому вы хотите предоставить доступ.

Создайте подключение

После настройки метода безопасности выполните следующие шаги для создания подключения:

• В Имя введите отображаемое имя для подключения, например, My Kinesis Streaming Source connection.

• Нажмите Проверить подключение, чтобы проверить учетные данные.

• Нажмите Создать.