Подключение данных

Ввод данных – это первый шаг, необходимый для создания конвейера данных в проекте Открытое озеро данных Qlik. Этот процесс позволяет передавать данные из источника и сохранять наборы данных в оптимизированных таблицах Iceberg.

Создание подключения данных производится в один этап, однако само подключение реализуется в два этапа. Тип источника данных, CDC или потоковый, определяет задачи в вашем проекте:

Источники CDC

• Промежуточное хранение данных

  Это подразумевает перенос данных непрерывными мини-пакетами из локального источника данных в область промежуточного хранения с использованием задачи промежуточного хранения данных.

  Промежуточное хранение данных, полученных из источников данных

  Данные можно также выгрузить в озеро-хранилище Lakehouse, где они будут храниться в файловом хранилище S3.

  Выгрузка данных в Открытое озеро данных Qlik для промежуточного хранения

• Хранение наборов данных

  Это подразумевает чтение начальной загрузки данных для промежуточного хранения или инкрементальных загрузок, а также применение данных в оптимизированном для чтения формате с использованием задачи хранения данных.

  Хранение наборов данных

Источники потоковой передачи

• Промежуточное хранение данных

  Это подразумевает непрерывную потоковую передачу данных из источника в область промежуточного хранения с использованием задачи потоковой передачи данных в область промежуточного хранения.

  Выгрузка потоковых данных в Открытое озеро данных Qlik

• Хранение наборов данных

  Это включает чтение начальной загрузки данных для промежуточного хранения и применение данных в оптимизированном для чтения формате с использованием задачи Преобразование данных хранилища.

  Хранение потоковых наборов данных

Использование подключенных данных

При наличии подключенных данных сохраненные наборы данных можно использовать разными способами, включая:

• Наборы данных можно использовать в аналитическом приложении.

• Данные можно зеркалировать в одно или несколько облачных хранилищ данных, включая Amazon Redshift и Snowflake, путем добавления задачи зеркалирования данных непосредственно к задаче хранения данных для источников CDC или к задаче преобразования потоковой передачи для потоковых источников.

  Для получения дополнительной информации см. раздел Зеркальное отображение данных в облачное хранилище данных.

• Можно производить трансформацию данных в вашем облачном хранилище данных, создав межпроектный конвейер, который будет потреблять данные из проекта подключения.