# Подключение данных

Ввод данных – это первый шаг, необходимый для создания конвейера данных в проекте Открытое озеро данных Qlik. Этот процесс позволяет передавать данные из источника и сохранять наборы данных в оптимизированных таблицах Iceberg.

Создание подключения данных производится в один этап, однако само подключение реализуется в два этапа. Тип источника данных, CDC или потоковый, определяет задачи в вашем проекте:

### Источники CDC

* Промежуточное хранение данных

  Это подразумевает перенос данных непрерывными мини-пакетами из локального источника данных в область промежуточного хранения с использованием задачи промежуточного хранения данных.

  [Промежуточное хранение данных, полученных из источников данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm)

  Данные можно также выгрузить в озеро-хранилище Lakehouse, где они будут храниться в файловом хранилище S3.

  [Выгрузка данных в Открытое озеро данных Qlik для промежуточного хранения](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data.htm)

* Хранение наборов данных

  Это подразумевает чтение начальной загрузки данных для промежуточного хранения или инкрементальных загрузок, а также применение данных в оптимизированном для чтения формате с использованием задачи хранения данных.

  [Хранение наборов данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/storing-data.htm)

### Источники потоковой передачи

* Промежуточное хранение данных

  Это подразумевает непрерывную потоковую передачу данных из источника в область промежуточного хранения с использованием задачи потоковой передачи данных в область промежуточного хранения.

  [Промежуточное хранение потоковых данных в Открытое озеро данных Qlik](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data-streaming.htm)

* Хранение наборов данных

  Это включает чтение начальной загрузки данных для промежуточного хранения и применение данных в оптимизированном для чтения формате с использованием задачи Преобразование данных хранилища.

  [Хранение потоковых наборов данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/storing-data-streaming.htm)

## Использование подключенных данных

При наличии подключенных данных сохраненные наборы данных можно использовать разными способами, включая:

* Наборы данных можно использовать в аналитическом приложении.

* Данные можно зеркалировать в одно или несколько облачных хранилищ данных, включая Amazon Redshift и Snowflake, путем добавления задачи зеркалирования данных непосредственно к задаче хранения данных для источников CDC или к задаче преобразования потоковой передачи для потоковых источников.

  Для получения дополнительной информации см. раздел [Зеркальное копирование данных в облачное хранилище данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/mirroring-data.htm).

* Можно производить трансформацию данных в вашем облачном хранилище данных, создав межпроектный конвейер, который будет потреблять данные из проекта подключения.