# Создание проекта Открытое озеро данных Qlik

Создайте проект конвейера Открытое озеро данных Qlik, чтобы ввести данные из какого-либо источника. Сохраните данные в открытом табличном формате Iceberg.

## Необходимые условия

Чтобы создать проект Открытое озеро данных Qlik, необходимы:

* Сетевая интеграция, позволяющая Qlik предоставлять и управлять вычислительными ресурсами от вашего имени.

* Кластер Lakehouse, сконфигурированный для выполнения задачи хранения данных в проекте Iceberg.

* Подключение к каталогу данных, используемое для целевых данных в проекте, или информация, чтобы создать новое подключение.

## Поддерживаемые задачи

В проекте Открытое озеро данных Qlik поддерживаются следующие задачи.

#### Источники приложений CDC и SaaS

* Задача промежуточного хранения данных

  Загрузите данные в формате CSV в S3 из любого источника, поддерживаемого Qlik (потоки данных большого объема также поддерживаются).

  Для получения дополнительной информации см. раздел [Выгрузка данных в Открытое озеро данных Qlik для промежуточного хранения](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data.htm).

* Задача хранения данных

  Задача хранения данных использует данные, которые были загружены в облако через задачу промежуточного хранения данных. Задача записывает данные в таблицы Iceberg для эффективного хранения и выполнения запросов.

* Для получения дополнительной информации см. раздел [Хранение наборов данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/storing-data.htm).

* Задача зеркалирования данных

  Зеркалируйте таблицы Iceberg из задачи хранения в ваше облачное хранилище данных. Пользователи могут запрашивать данные через внешние таблицы без переноса данных в ваше облачное хранилище данных.

#### Источники потоковой передачи

* Задача по промежуточному хранению потоковых данных

  Загрузите данные в формате Avro в S3 из любого потокового источника, поддерживаемого Qlik.

  Для получения дополнительной информации см. [Промежуточное хранение потоковых данных в Открытое озеро данных Qlik](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data-streaming.htm)

* Задача потокового преобразования данных

  Задача потокового преобразования данных потребляет события, размещенные в облаке задачей потокового промежуточного хранения. Задача записывает данные в таблицы Iceberg для эффективного хранения и выполнения запросов и поддерживает преобразования.

  Для получения дополнительной информации см. раздел [Хранение потоковых наборов данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/storing-data-streaming.htm).

* Задача зеркалирования данных

  Зеркалируйте таблицы Iceberg из вашей задачи потокового хранения в ваше облачное хранилище данных. Пользователи могут запрашивать данные через внешние таблицы без переноса данных в ваше облачное хранилище данных.

## Пример создания проекта Открытое озеро данных Qlik

В следующем примере создается Открытое озеро данных Qlik конвейерный проект, который загружает данные из источника CDC и сохраняет их в таблицах формата Iceberg. В этом примере создан простой конвейер, который можно при необходимости расширить, подключив больше источников данных. Можно добавить задачу зеркалирования данных, чтобы зеркалировать ваши таблицы в вашем хранилище данных без дублирования данных, или использовать этот проект в качестве источника для проекта, который требует преобразований в вашем облачном хранилище данных.

Чтобы создать проект Открытое озеро данных Qlik:

1. На главной странице Интеграция данных нажмите Создать конвейер и настройте конвейер:

   * Имя: введите название проекта.

   * Пространство: выберите пространство, в котором будет находиться проект.

   * Описание: при необходимости ведите описание проекта.

2. В поле Пример использования выберите Конвейер данных.

3. Настройте платформу данных:

   * Платформа данных: выберите Открытое озеро данных Qlik из списка.

   * Подключение к каталогу данных: выберите в списке существующее подключение или нажмите Создать новое, чтобы добавить новое подключение к каталогу данных.

   * Подключение целевого хранилища: выберите блок (bucket) S3 для промежуточного хранения данных или нажмите кнопку Создать новый, чтобы добавить новый блок.

   * Вычислительный кластер хранилища: выберите кластер Lakehouse, на котором будет выполняться задача хранения.

4. Создайте проект.

5. Выполняйте инструкции в мастере подключения данных.Подробнее см. [Подключение данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/onboarding-data.htm), где приведены инструкции для источников CDC и потоковой передачи.

## Ограничения

* Если вы воссоздаете задачу, вы также должны воссоздать все нижестоящие задачи.