# Хранение потоковых наборов данных Следующие настройки задачи преобразования потоковых данных применяются к проектам Открытое озеро данных Qlik, использующим потоковый источник. Вы можете хранить и преобразовывать потоковые данные с помощью задачи преобразования потоковых данных. Потоковые данные часто содержат вложенные структуры и массивы, которые требуют выравнивания, а возможности преобразования необходимы на этапе хранения. Эти возможности доступны для задачи преобразования потоковых данных, позволяя применять преобразования сразу после промежуточного хранения ваших потоковых данных. ## Управление детализацией набора данных Можно сгладить вложенные структуры и массивы, чтобы увеличить детализацию. Детализация отображается в представлении набора данных. В виде повествования щелкните элемент the редактировать icon для редактирования детализации: * Выбор поля из массива приведет к тому, что целевая таблица будет содержать одну строку на каждый элемент. Это увеличит количество строк в целевом объекте. * Необходимо выбрать поля из одного и того же пути массива. Выбор полей из разных путей вызовет ошибку проверки. * Отображаемые типы данных отражают выбранную детализацию. Например, ARRAY<INT> становится INT при сглаживании. Для получения дополнительной информации см. раздел [Сопоставления типов данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/onboarding-data-streaming.htm#Data). ## Удаление задачи Вы можете удалить задачу данных, если она не запущена и нет зависимостей от последующих задач в том же проекте. * В представлении проекта конвейера проекта нажмите the Дополнительно icon на задаче и выберите Удалить. Артефакты (таблицы и виды), созданные задачей, также будут удалены, если вы не выберете их сохранение. Примечание к информацииИмейте в виду, что сохраненные вами артефакты больше не будут обновляться задачей. ## Просмотр информации о задаче Нажмите the Сведения icon на панели меню, чтобы просмотреть информацию о задаче, например: * Владелец * Пространство * Платформа данных * Идентификатор проекта * Идентификатор выполнения задачи данных ## Настройки преобразования для потока Можно задать свойства для задачи потокового преобразования данных, когда в качестве платформы данных используется Открытое озеро данных Qlik. * Нажмите Настройки. ### Общие настройки * Схема задачи Можно изменить имя схемы задачи потокового преобразования. Имя по умолчанию – имя задачи хранения. * Внутренняя схема Вы можете изменить имя схемы ресурса внутреннего хранилища. Имя по умолчанию – имя задачи хранения, к которому добавлена строка \_internal. * Префикс для всех таблиц и видов Можно задать префикс для всех таблиц и видов, создаваемых с помощью этой задачи. Примечание к информацииНеобходимо использовать уникальный префикс, когда требуется использовать схему базы данных в нескольких задачах данных. * Папка для использования Можно изменить папку хранения задачи потокового преобразования. * Загрузить настройки для новых наборов данных * Только добавление Добавление новых записей без изменения существующих данных. Ограничения ключа не применяются, если поступают дублирующиеся записи. * Применить изменения Обновляются существующие записи и вставляются новые записи на основе ключевых полей. Если вы выберете слияние изменений, вы также можете выбрать следующее: * Мягкое удаление записей путем указания выражения для удаления Определите выражение для удаления, чтобы пометить записи для удаления. * Сохранять исторические записи (Тип 2) Сохранять предыдущие версии измененных записей. * Развертка по столбцам * Сохранить вложенные столбцы Выберите, чтобы сохранить вложенные данные. * Развернуть в отдельные столбцы Поведение по умолчанию — развертывать данные в отдельные столбцы. * Разделение целевых таблиц Примечание к информацииЭтот параметр доступен только при выборе Только добавление в Настройки загрузки. * Без разделения Новые таблицы создаются без разделов. * Разделение по дате события Новые таблицы разделяются по дате приема событий. * Изменение данных Примечание к информацииЭтот параметр доступен только тогда, когда Применить изменения выбран в Настройки загрузки. * Включить мягкие удаления: Введите выражение, чтобы определить, какие записи пометить для удаления. * Создать хранилище исторических данных (тип 2): Это позволит сохранить предыдущие версии измененных записей. * Управление сохранением * Без отсечения разделов * Текущее отсечение разделов снимка ### Определения таблиц * hdr\_\_from\_timestamp Если эта опция включена, столбец заголовка hdr\_\_from\_timestamp будет отображаться в стандартных представлениях. Кроме того, если в мастере настройки выбрано Секционировать по дате приема события, hdr\_\_from\_timestamp будет использоваться в качестве столбца секционирования по умолчанию. Примечание к информацииПредставления истории всегда включают все столбцы заголовков стандартного представления, независимо от этой настройки. ### Параметры времени выполнения * Кластер хранилищ в озерах данных Вы можете изменить кластер lakehouse, но он должен поддерживать потоковые рабочие нагрузки или смешанные рабочие нагрузки. ### Настройки эволюции схемы * Добавить новые наборы данных Эта настройка применяется, когда новые наборы данных добавляются в задачу промежуточного хранения потока. Примечание к информацииПоддерживается только при потоковой передаче данных промежуточного хранения из Kafka. * Применить к цели Автоматически добавляет новые наборы данных из задачи промежуточного хранения потока в задачу преобразования потока. Это настройка по умолчанию. * Игнорировать Не добавляет новые наборы данных. * Добавить столбцы на корневом уровне Эта настройка применяется, когда новые столбцы добавляются в задачу промежуточного хранения потока на корневом уровне. * Применить к цели Автоматически добавляет новые столбцы корневого уровня из задачи промежуточного хранения потока в задачу преобразования потока. Это настройка по умолчанию. * Игнорировать Не добавляет новые столбцы корневого уровня. * Остановить задачу Останавливает задачу преобразования, если в задаче потокового промежуточного хранения обнаружен новый столбец корневого уровня. * Добавить столбцы к структурам Эта настройка применяется, когда новые поля добавляются внутри существующей вложенной структуры в задаче потокового промежуточного хранения. * Применить к цели Автоматически добавляет новые поля в существующие структуры в задаче потокового преобразования, если они добавлены в структуру промежуточного хранения. * Игнорировать Не добавляет новые поля в существующие структуры. * Остановить задачу Останавливает задачу преобразования, если новое поле добавляется в структуру в задаче потокового промежуточного хранения. * Изменить тип данных поля * Игнорировать Не изменяет тип данных. * Остановить задачу Останавливает задачу преобразования, если обнаружено изменение типа данных в задаче потокового промежуточного хранения. ## Параметры набора данных Следующие параметры доступны для всех наборов данных в представлении Дизайн > Наборы данных. В виде повествования щелкните элемент the еще icon рядом с набором данных и выберите Настройки. * Загрузка данных Определяет, как данные загружаются в целевую таблицу. * Только добавление Добавление новых записей без изменения существующих данных. Ограничения ключа не применяются, если поступают дублирующиеся записи. * Применить изменения Обновляются существующие записи и вставляются новые записи на основе ключевых полей. * Изменение данных Примечание к информацииЭтот параметр доступен только тогда, когда Применить изменения выбран в Настройки загрузки. * Включить обратимые удаления: Введите выражение, чтобы определить, какие записи пометить для удаления. Это должно быть выражение, которое принимает значение «Истина», если изменение является обратимым удалением. Пример: operation = 'D' * Создать хранилище исторических данных (тип 2): Это позволит сохранить предыдущие версии измененных записей. * Столбцы разделения Примечание к информацииЭтот параметр доступен только при выборе Только добавление в Настройки загрузки. При необходимости можно выбрать столбцы разделения, чтобы оптимизировать производительность. Нажмите Добавить столбец, чтобы добавить столбец раздела, затем выберите Преобразование и при необходимости задайте Параметр. * Управление сохранением Усечение разделов удаляет разделы, которые старше периода хранения. Это не приводит к физическому удалению данных и не влияет на старые снимки немедленно. Старые данные могут быть доступны в старых снимках до истечения срока их действия. Примечание к информацииПоявляется, только если раздел содержит хотя бы один столбец даты или даты и времени. * Без отсечения разделов * Текущее отсечение разделов снимка * Столбцы сортировки Примечание к информацииЭтот параметр доступен только при выборе Только добавление в Настройки загрузки. При необходимости можно указать столбцы, по которым данные будут сортироваться в каждом файле таблицы Iceberg. Iceberg упорядочивает записи по этим столбцам во время загрузки данных. Определение ключей сортировки для столбцов, часто используемых в запросах, улучшает локальность данных, что приводит к более высокой производительности чтения и более эффективному сжатию. Правильное определение ключей сортировки позволяет оптимальным образом организовать данные и улучшить производительность запросов. Нажмите Добавить столбец, чтобы добавить столбец сортировки, а затем задайте порядок сортировки. * Срок хранения снимка Этот параметр определяет срок хранения снимков, что существенно влияет на размер таблицы и затраты на хранение. Для часто обновляемых таблиц рекомендуется использовать меньший срок, чтобы уменьшить стоимость хранения. Примечание к информацииВведите 0, чтобы отключить срок действия снимка. * Заголовки в стандартных видах * Наследовать от настроек задачи данных Это значение по умолчанию. Отключить, если вы хотите задать определенные столбцы заголовков только для этого набора данных. * hdr\_\_from\_timestamp Если эта опция включена, столбец заголовка hdr\_\_from\_timestamp будет отображаться в стандартных представлениях. Кроме того, если в мастере настройки выбрано Секционировать по дате приема события, hdr\_\_from\_timestamp будет использоваться в качестве столбца секционирования по умолчанию. Примечание к информацииПредставления истории всегда включают все столбцы заголовков стандартного представления, независимо от этой настройки.