# Промежуточное хранение потоковых данных в Открытое озеро данных Qlik

Можно выполнять промежуточное хранение данных из потокового источника в Amazon S3, чтобы задача Streaming Transform (Потоковое преобразование) могла преобразовать их в формат открытых таблиц Iceberg.

Для промежуточного хранения потоковых данных в Открытое озеро данных Qlik требуется предварительно настроенный блок Amazon S3. Открытое озеро данных Qlik специально оптимизирован для источников данных большого объема и совместим со всеми потоковыми источниками данных, поддерживаемыми Qlik. Для получения дополнительной информации о поддерживаемых потоковых источниках см. [Подключение к потокам данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/Connecting-Data-Streams.htm).

Необработанные данные помещаются на промежуточное хранение в формате Avro в S3, а задача Streaming Transform преобразует данные в формат Iceberg. Спецификация Iceberg позволяет запрашивать данные из любого механизма, который изначально поддерживает Trino SQL, например Amazon Athena, Ahana или Starburst Enterprise. При необходимости таблицы можно зеркалировать в облачное хранилище данных, где их можно запрашивать без дублирования данных.

## Подготовка

* Убедитесь, что настроен Открытое озеро данных Qlik. Это включает создание сетевой интеграции, кластера lakehouse, а также подключений к источнику и целевой базе данных. Для получения дополнительной информации см. [Настройка Открытое озеро данных Qlik](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/Onboarding-open-lakehouse-setup.htm).

* Чтобы зеркалировать данные в облачное хранилище данных, необходимо сначала создать проект Открытое озеро данных Qlik для приема данных и их хранения с использованием формата открытых таблиц Iceberg. Можно добавить задачу Mirror data (Зеркалирование данных) после задачи Streaming Transformation (Потоковое преобразование). Для получения дополнительной информации см. [Зеркальное копирование данных в облачное хранилище данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/mirroring-data.htm).

## Создание задачи потокового промежуточного хранения

Чтобы создать задачу потокового промежуточного хранения, выполните следующие действия для первоначального создания проекта:

1. Создайте проект и выберите Конвейер данных в разделе Вариант использования.

2. Выберите Открытое озеро данных Qlik в разделе Платформа данных и установите подключение к каталогу данных.

3. Настройте область хранения в разделе Целевое подключение для промежуточного хранения.

4. Нажмите Создать, чтобы создать проект.

При загрузке данных или создании задачи промежуточного хранения в проекте создается Задача потокового промежуточного хранения вместо задачи Промежуточное хранение. Задачи потокового промежуточного хранения работают и ведут себя аналогично задаче Промежуточное хранение, за исключением того, что они выполняют промежуточное хранение данных в облачное хранилище из потоковых источников. Для получения дополнительной информации см. [Подключение к потокам данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/Connecting-Data-Streams.htm).

Все файлы помещаются на промежуточное хранение в формате Avro. После обновления данных промежуточного хранения Задача потокового преобразования потребляет данные промежуточного хранения и обновляет внешние таблицы.

## Просмотр информации о задаче

Нажмите the Сведения icon на панели меню, чтобы просмотреть информацию о задаче, например:

* Владелец

* Пространство

* Платформа данных

* Идентификатор проекта

* Идентификатор выполнения задачи данных

## Операции

В задаче потокового промежуточного хранения доступны следующие операции:

* Удаление столбца

  Выберите столбец и нажмите Удалить.

  Это добавит правило преобразования, которое удаляет столбец из вновь загруженных данных после подготовки и запуска задачи. Можно восстановить столбец для новых записей, удалив правило преобразования.

* Хеширование столбца, например, для маскировки конфиденциальной информации.

  Выберите Хешировать в столбце.

  Это сгенерирует хеш SHA-256 входного столбца после его объединения со строкой соли хеша. Строка соли хеша задается в настройках проекта в разделе Метаданные > Хеш. Эта настройка доступна только в проектах Открытое озеро данных Qlik. Для получения дополнительной информации см. [Метаданные](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-project-settings.htm#Metadata)

  Тип данных изменяется на String (Строка) при хешировании столбца. Если необходимо сохранить нехешированные данные также для привилегированных пользователей, выполните хеширование позже в задаче Transform (Преобразование).

* Фильтрация данных

  Для получения дополнительной информации см. [Фильтрация набора данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm).

* Переименование набора данных

  Нажмите the Дополнительно icon на наборе данных и выберите Переименовать.

## Удаление задачи

Вы можете удалить задачу данных, если она не запущена и нет зависимостей от последующих задач в том же проекте.

* В представлении проекта конвейера проекта нажмите the Дополнительно icon на задаче и выберите Удалить.

Артефакты (таблицы и виды), созданные задачей, также будут удалены, если вы не выберете их сохранение.

Примечание к информацииИмейте в виду, что сохраненные вами артефакты больше не будут обновляться задачей.

## Настройки

Для получения дополнительной информации о настройках задачи см. [Настройки потокового промежуточного хранения в озере](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data-settings-streaming.htm)