Хранение потоковых наборов данных

Следующие настройки задачи преобразования потоковых данных применяются к проектам Открытое озеро данных Qlik, использующим потоковый источник.

Вы можете хранить и преобразовывать потоковые данные с помощью задачи преобразования потоковых данных. Потоковые данные часто содержат вложенные структуры и массивы, которые требуют выравнивания, а возможности преобразования необходимы на этапе хранения. Эти возможности доступны для задачи преобразования потоковых данных, позволяя применять преобразования сразу после промежуточного хранения ваших потоковых данных.

Настройки хранилища

Можно задать свойства для задачи потокового преобразования данных, когда в качестве платформы данных используется Открытое озеро данных Qlik.

• Нажмите Настройки.

Общие настройки

• Схема задачи

  Можно изменить имя схемы задачи потокового преобразования. Имя по умолчанию – имя задачи хранения.

• Внутренняя схема

  Вы можете изменить имя схемы ресурса внутреннего хранилища. Имя по умолчанию – имя задачи хранения, к которому добавлена строка _internal.

• Префикс для всех таблиц и видов

  Можно задать префикс для всех таблиц и видов, создаваемых с помощью этой задачи.

  Примечание к информацииНеобходимо использовать уникальный префикс, когда требуется использовать схему базы данных в нескольких задачах данных.

• Папка для использования

  Можно изменить папку хранения задачи потокового преобразования.

• Загрузить настройки для новых наборов данных

  • Только дополнять

    Добавление новых записей без изменения существующих данных.Ограничения ключа не применяются, если поступают дублирующиеся записи.

  • Применить изменения (Слияние)

    Обновляются существующие записи и вставляются новые записи на основе ключевых полей.

    Если вы выберете слияние изменений, вы также можете выбрать следующее:

    • Мягкое удаление записей путем указания выражения для удаления

      Определите выражение для удаления, чтобы пометить записи для удаления.

    • Сохранять исторические записи (Тип 2)

      Сохранять предыдущие версии измененных записей.

• Развертка по столбцам

  • Сохранить вложенные столбцы

    Выберите, чтобы сохранить вложенные данные.

  • Развернуть в отдельные столбцы

    Поведение по умолчанию — развертывать в отдельные столбцы.

• Разделение целевых таблиц

  • Без разделения

    Новые таблицы создаются без разделов.

  • Разделение по дате события

    Новые таблицы разделяются по дате приема событий.

Параметры времени выполнения

• Кластер хранилищ в озерах данных

  Вы можете изменить кластер lakehouse, но он должен поддерживать потоковые рабочие нагрузки или смешанные рабочие нагрузки.

Настройки эволюции схемы

• Добавить столбцы на корневом уровне

  Эта настройка применяется, когда новые столбцы добавляются в задачу промежуточного хранения потока на корневом уровне.

  • Применить к цели

    Автоматически добавляет новые столбцы корневого уровня из задачи промежуточного хранения потока в задачу преобразования потока. Это настройка по умолчанию.

  • Игнорировать

    Не добавляет новые столбцы корневого уровня.

  • Остановить задачу

    Останавливает задачу преобразования, если в задаче потокового промежуточного хранения обнаружен новый столбец корневого уровня.

• Добавить столбцы к структурам

  Эта настройка применяется, когда новые поля добавляются внутри существующей вложенной структуры в задаче потокового промежуточного хранения.

  • Применить к цели

    Автоматически добавляет новые поля в существующие структуры в задаче потокового преобразования, если они добавлены в структуру промежуточного хранения.

  • Игнорировать

    Не добавляет новые поля в существующие структуры.

  • Остановить задачу

    Останавливает задачу преобразования, если новое поле добавляется в структуру в задаче потокового промежуточного хранения.

• Изменить тип данных поля

  • Игнорировать

    Не изменяет тип данных.

  • Остановить задачу

    Останавливает задачу преобразования, если обнаружено изменение типа данных в задаче потокового промежуточного хранения.