Хранение потоковых наборов данных

Следующие настройки задачи преобразования потоковых данных применяются к проектам Открытое озеро данных Qlik, использующим потоковый источник.

Вы можете хранить и преобразовывать потоковые данные с помощью задачи преобразования потоковых данных. Потоковые данные часто содержат вложенные структуры и массивы, которые требуют выравнивания, а возможности преобразования необходимы на этапе хранения. Эти возможности доступны для задачи преобразования потоковых данных, позволяя применять преобразования сразу после промежуточного хранения ваших потоковых данных.

Управление детализацией набора данных

Можно сгладить вложенные структуры и массивы, чтобы увеличить детализацию. Детализация отображается в представлении набора данных. Нажмите редактировать , чтобы изменить уровень детализации:

Выбор поля из массива приведет к тому, что целевая таблица будет содержать одну строку на каждый элемент. Это увеличит количество строк в целевом объекте.
Необходимо выбрать поля из одного и того же пути массива. Выбор полей из разных путей вызовет ошибку проверки.
Отображаемые типы данных отражают выбранную детализацию. Например, ARRAY<INT> становится INT при сглаживании. Для получения дополнительной информации см. раздел Сопоставления типов данных.

Просмотр информации о задаче

Нажмите Сведения на панели меню, чтобы просмотреть информацию о задаче, например:

Владелец
Пространство
Платформа данных
Идентификатор проекта
Идентификатор выполнения задачи данных

Настройки преобразования для потока

Настройки хранилища

Можно задать свойства для задачи потокового преобразования данных, когда в качестве платформы данных используется Открытое озеро данных Qlik.

Нажмите Настройки.

Общие настройки

Схема задачи

Можно изменить имя схемы задачи потокового преобразования. Имя по умолчанию – имя задачи хранения.
Внутренняя схема

Вы можете изменить имя схемы ресурса внутреннего хранилища. Имя по умолчанию – имя задачи хранения, к которому добавлена строка _internal.
Префикс для всех таблиц и видов
Можно задать префикс для всех таблиц и видов, создаваемых с помощью этой задачи.

Примечание к информацииНеобходимо использовать уникальный префикс, когда требуется использовать схему базы данных в нескольких задачах данных.
Папка для использования

Можно изменить папку хранения задачи потокового преобразования.
Загрузить настройки для новых наборов данных
- Только дополнять
  
  Добавление новых записей без изменения существующих данных.Ограничения ключа не применяются, если поступают дублирующиеся записи.
- Применить изменения
  
  Обновляются существующие записи и вставляются новые записи на основе ключевых полей.
  
  Если вы выберете слияние изменений, вы также можете выбрать следующее:
  - Мягкое удаление записей путем указания выражения для удаления
    
    Определите выражение для удаления, чтобы пометить записи для удаления.
  - Сохранять исторические записи (Тип 2)
    
    Сохранять предыдущие версии измененных записей.
Развертка по столбцам
- Сохранить вложенные столбцы
  
  Выберите, чтобы сохранить вложенные данные.
- Развернуть в отдельные столбцы
  
  Поведение по умолчанию — развертывать данные в отдельные столбцы.
Разделение целевых таблиц

Примечание к информацииЭтот параметр доступен только при выборе Только добавление в Настройки загрузки.
- Без разделения
  
  Новые таблицы создаются без разделов.
- Разделение по дате события
  
  Новые таблицы разделяются по дате приема событий.
Изменение данных

Примечание к информацииЭтот параметр доступен только при выборе Применить изменения в Настройки загрузки.
- Включить мягкие удаления: Введите выражение, чтобы определить, какие записи пометить для удаления.
- Создать хранилище исторических данных (Тип 2): Это позволит сохранить предыдущие версии измененных записей.
Управление сохранением
- Без отсечения разделов
- Текущее отсечение разделов снимка

Параметры времени выполнения

Кластер хранилищ в озерах данных

Вы можете изменить кластер lakehouse, но он должен поддерживать потоковые рабочие нагрузки или смешанные рабочие нагрузки.

Настройки эволюции схемы

Добавить столбцы на корневом уровне

Эта настройка применяется, когда новые столбцы добавляются в задачу промежуточного хранения потока на корневом уровне.
- Применить к цели
  
  Автоматически добавляет новые столбцы корневого уровня из задачи промежуточного хранения потока в задачу преобразования потока. Это настройка по умолчанию.
- Игнорировать
  
  Не добавляет новые столбцы корневого уровня.
- Остановить задачу
  
  Останавливает задачу преобразования, если в задаче потокового промежуточного хранения обнаружен новый столбец корневого уровня.
Добавить столбцы к структурам

Эта настройка применяется, когда новые поля добавляются внутри существующей вложенной структуры в задаче потокового промежуточного хранения.
- Применить к цели
  Автоматически добавляет новые поля в существующие структуры в задаче потокового преобразования, если они добавлены в структуру промежуточного хранения.
- Игнорировать
  
  Не добавляет новые поля в существующие структуры.
- Остановить задачу
  
  Останавливает задачу преобразования, если новое поле добавляется в структуру в задаче потокового промежуточного хранения.
Изменить тип данных поля
- Игнорировать
  Не изменяет тип данных.
- Остановить задачу
  
  Останавливает задачу преобразования, если обнаружено изменение типа данных в задаче потокового промежуточного хранения.

Параметры набора данных

Следующие параметры доступны для всех наборов данных в представлении Дизайн > Наборы данных.

Нажмите еще рядом с набором данных и выберите Настройки.

Загрузка данных

Определяет, как данные загружаются в целевую таблицу.
- Только дополнять
  
  Добавление новых записей без изменения существующих данных.Ограничения ключа не применяются, если поступают дублирующиеся записи.
- Применить изменения
  
  Обновляются существующие записи и вставляются новые записи на основе ключевых полей.
Изменение данных

Примечание к информацииЭтот параметр доступен только тогда, когда Применить изменения выбран в Настройки загрузки.
- Включить обратимые удаления: Введите выражение, чтобы определить, какие записи пометить для удаления. Это должно быть выражение, которое принимает значение «Истина», если изменение является обратимым удалением.
  
  Пример: operation = 'D'
- Создать хранилище исторических данных (тип 2): Это позволит сохранить предыдущие версии измененных записей.
Столбцы разделения

При необходимости можно выбрать столбцы разделения, чтобы оптимизировать производительность.

Нажмите Добавить столбец, чтобы добавить столбец раздела, затем выберите Преобразование и при необходимости задайте Параметр.
Управление сохранением

Усечение разделов удаляет разделы, которые старше периода хранения. Это не приводит к физическому удалению данных и не влияет на старые снимки немедленно. Старые данные могут быть доступны в старых снимках до истечения срока их действия.

Примечание к информацииПоявляется, только если раздел содержит хотя бы один столбец даты или даты и времени.
- Без отсечения разделов
- Текущее отсечение разделов снимка
Столбцы сортировки

Примечание к информацииЭтот параметр доступен, только если в Параметрах загрузки выбрано значение Только добавление.

При необходимости можно указать столбцы, по которым данные будут сортироваться в каждом файле таблицы Iceberg. Iceberg упорядочивает записи по этим столбцам во время загрузки данных. Определение ключей сортировки по столбцам, часто используемых в запросах, позволяет оптимизировать локальность данных и повысить скорость чтения и эффективность сжатия. Правильное определение ключей сортировки позволяет оптимальным образом организовать данные и улучшить производительность запросов.

Нажмите Добавить столбец, чтобы добавить столбец сортировки, а затем задайте порядок сортировки.
Срок хранения снимка

Этот параметр определяет срок хранения снимков, что существенно влияет на размер таблицы и затраты на хранение. Для часто обновляемых таблиц рекомендуется использовать меньший срок, чтобы уменьшить стоимость хранения.

Примечание к информацииВведите 0, чтобы отключить срок действия снимка.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь