Создание проекта Открытое озеро данных Qlik

Создайте проект конвейера Открытое озеро данных Qlik, чтобы ввести данные из какого-либо источника. Сохраните данные в открытом табличном формате Iceberg.

Необходимые условия

Чтобы создать проект Открытое озеро данных Qlik, необходимы:

• Сетевая интеграция, позволяющая Qlik предоставлять и управлять вычислительными ресурсами от вашего имени.

• Кластер Lakehouse, сконфигурированный для выполнения задачи хранения данных в проекте Iceberg.

• Подключение к каталогу данных, используемое для целевых данных в проекте, или информация, чтобы создать новое подключение.

Поддерживаемые задачи

В проекте Открытое озеро данных Qlik поддерживаются следующие задачи.

Источники приложений CDC и SaaS

• Задача промежуточного хранения данных

  Загрузите данные в формате CSV в S3 из любого источника, поддерживаемого Qlik (потоки данных большого объема также поддерживаются).

  Для получения дополнительной информации см. раздел Выгрузка данных в Открытое озеро данных Qlik для промежуточного хранения.

• Задача хранения данных

  Задача хранения данных использует данные, которые были загружены в облако через задачу промежуточного хранения данных. Задача записывает данные в таблицы Iceberg для эффективного хранения и выполнения запросов.

• Для получения дополнительной информации см. раздел Хранение наборов данных.

• Задача зеркалирования данных

  Зеркалируйте таблицы Iceberg из задачи хранения в ваше облачное хранилище данных. Пользователи могут запрашивать данные через внешние таблицы без переноса данных в ваше облачное хранилище данных.

Источники потоковой передачи

• Задача по промежуточному хранению потоковых данных

  Загрузите данные в формате Avro в S3 из любого потокового источника, поддерживаемого Qlik.

  Для получения дополнительной информации см. Выгрузка потоковых данных в Открытое озеро данных Qlik

• Задача потокового преобразования данных

  Задача потокового преобразования данных потребляет события, размещенные в облаке задачей потокового промежуточного хранения. Задача записывает данные в таблицы Iceberg для эффективного хранения и выполнения запросов и поддерживает преобразования.

  Для получения дополнительной информации см. раздел Хранение потоковых наборов данных.

• Задача зеркалирования данных

  Зеркалируйте таблицы Iceberg из вашей задачи потокового хранения в ваше облачное хранилище данных. Пользователи могут запрашивать данные через внешние таблицы без переноса данных в ваше облачное хранилище данных.

Пример создания проекта Открытое озеро данных Qlik

В следующем примере создается Открытое озеро данных Qlik конвейерный проект, который загружает данные из источника CDC и сохраняет их в таблицах формата Iceberg. В этом примере создан простой конвейер, который можно при необходимости расширить, подключив больше источников данных. Можно добавить задачу зеркалирования данных, чтобы зеркалировать ваши таблицы в вашем хранилище данных без дублирования данных, или использовать этот проект в качестве источника для проекта, который требует преобразований в вашем облачном хранилище данных.

Чтобы создать проект Открытое озеро данных Qlik:

1. На главной странице Интеграция данных нажмите Создать конвейер и настройте конвейер:

• Имя: введите название проекта.

• Пространство: выберите пространство, в котором будет находиться проект.

• Описание: при необходимости ведите описание проекта.

2. В поле Пример использования выберите Конвейер данных.

3. Настройте платформу данных:

• Платформа данных: выберите Открытое озеро данных Qlik из списка.

• Подключение к каталогу данных: выберите в списке существующее подключение или нажмите Создать новое, чтобы добавить новое подключение к каталогу данных.

• Подключение целевого хранилища: выберите блок (bucket) S3 для промежуточного хранения данных или нажмите кнопку Создать новый, чтобы добавить новый блок.

• Вычислительный кластер хранилища: выберите кластер Lakehouse, на котором будет выполняться задача хранения.

4. Создайте проект.

5. Выполняйте инструкции в мастере подключения данных.Подробнее см. Подключение данных, где приведены инструкции для источников CDC и потоковой передачи.