Шаг 4. Создание проектаОткрытое озеро данных Qlik.

Создайте проект конвейера Открытое озеро данных Qlik, чтобы ввести данные из какого-либо источника. Сохраните данные в открытом табличном формате Iceberg.

Необходимые условия

Чтобы создать проект Открытое озеро данных Qlik, необходимы:

• Сетевая интеграция, позволяющая Qlik предоставлять и управлять вычислительными ресурсами от вашего имени.

• Кластер Lakehouse, сконфигурированный для выполнения задачи хранения данных в проекте Iceberg.

• Подключение к каталогу данных, используемое для целевых данных в проекте, или информация, чтобы создать новое подключение.

Поддерживаемые задачи

В проекте Открытое озеро данных Qlik поддерживаются следующие задачи:

• Задача промежуточного хранения данных

  Загрузите данные в формате CSV в S3 из любого источника, поддерживаемого Qlik (потоки данных большого объема также поддерживаются).

• Задача хранения данных

  Задача хранения данных использует данные, которые были загружены в облако через задачу промежуточного хранения данных. Задача записывает данные в таблицы Iceberg для эффективного хранения и выполнения запросов.

• Задача зеркалирования данных

  Копирует таблицы Iceberg из Открытое озеро данных Qlik в Snowflake. Пользователи могут запрашивать данные через внешние таблицы без необходимости переноса данных в Snowflake.

Пример создания проекта Открытое озеро данных Qlik

В следующем примере создается конвейерный проект Открытое озеро данных Qlik, в него вводятся данные, которые хранятся в табличном формате Iceberg. В этом примере создан простой конвейер, который можно при необходимости расширить, подключив больше источников данных. Например, можно добавить задачу зеркалирования данных, которая будет создавать зеркало таблиц в Snowflake, не дублируя данные. Кроме того, этот проект может использоваться в качестве источника для другого проекта, в котором преобразование данных происходит в Snowflake.

Чтобы создать проект Открытое озеро данных Qlik:

1. На главной странице Интеграция данных нажмите Создать конвейер и настройте конвейер:

• Имя: введите название проекта.

• Пространство: выберите пространство, в котором будет находиться проект.

• Описание: при необходимости ведите описание проекта.

2. В поле Пример использования выберите Конвейер данных.

3. Настройте платформу данных:

• Платформа данных: выберите Открытое озеро данных Qlik из списка.

• Подключение к каталогу данных: выберите в списке существующее подключение или нажмите Создать новое, чтобы добавить новое подключение к каталогу данных.

• Подключение целевого хранилища: выберите блок (bucket) S3 для промежуточного хранения данных или нажмите кнопку Создать новый, чтобы добавить новый блок.

• Вычислительный кластер хранилища: выберите кластер Lakehouse, на котором будет выполняться задача хранения.

4. Создайте проект.

5. Выполняйте инструкции в мастере подключения данных.Для получения дополнительной информации см. раздел Подключение данных.