Хранение потоковых наборов данных

Следующие настройки задачи потокового преобразования применяются к проектам Открытое озеро данных Qlik, использующим потоковый источник.

Вы можете хранить и преобразовывать потоковые данные с помощью задачи потокового преобразования данных (Streaming Transform data). Потоковые данные часто содержат вложенные структуры и массивы, которые требуют сглаживания, а возможности преобразования необходимы на этапе хранения. Эти возможности доступны для задачи потокового преобразования, что позволяет применять преобразования сразу после промежуточного хранения потоковых данных.

Управление детализацией набора данных

Вы можете сглаживать вложенные структуры и массивы для повышения детализации. Детализация отображается в виде набора данных. Нажмите редактировать , чтобы изменить детализацию:

Выбор поля из массива приведет к тому, что целевая таблица будет включать одну строку на элемент. Это увеличит количество строк в целевой таблице.
Необходимо выбирать поля из одного и того же пути массива. Выбор полей из разных путей вызовет ошибку проверки.
Отображаемые типы данных отражают выбранную детализацию. Например, ARRAY<INT> становится INT при сглаживании. Для получения дополнительной информации см. Сопоставления типов данных.

Удаление задачи

Вы можете удалить задачу данных, если она не запущена и нет зависимостей от последующих задач в том же проекте.

В представлении проекта конвейера проекта нажмите на задаче и выберите Удалить.

Артефакты (таблицы и виды), созданные задачей, также будут удалены, если вы не выберете их сохранение.

Имейте в виду, что сохраненные вами артефакты больше не будут обновляться задачей.

Просмотр информации о задаче

Нажмите Сведения на панели меню, чтобы просмотреть информацию о задаче, например:

Владелец
Пространство
Платформа данных
Идентификатор проекта
Идентификатор выполнения задачи данных

Настройки потокового преобразования

Вы можете задать свойства для задачи потокового преобразования данных, когда платформой данных является Открытое озеро данных Qlik.

Нажмите Настройки.

Общие настройки

Схема задачи

Вы можете изменить имя схемы задачи потокового преобразования. Имя по умолчанию — это имя задачи хранения.
Внутренняя схема

Вы можете изменить имя внутренней схемы ресурсов данных хранения. Имя по умолчанию — это имя задачи хранения с добавлением _internal.
Префикс для всех таблиц и видов
Можно задать префикс для всех таблиц и видов, создаваемых с помощью этой задачи.

Примечание к информацииНеобходимо использовать уникальный префикс, когда требуется использовать схему базы данных в нескольких задачах данных.
Используемая папка

Вы можете изменить папку хранения задачи потокового преобразования.
Настройки загрузки для новых наборов данных
- Только добавление
  
  Добавляет новые записи без изменения существующих данных. Ограничения ключей не применяются, если поступают записи-дубликаты.
- Применить изменения
  
  Обновляет существующие записи и вставляет новые записи на основе ключевых полей.
  
  Если вы выберете объединение изменений, вы также можете выбрать следующее:
  - Мягкое удаление записей путем предоставления выражения удаления
    
    Определите выражение удаления, чтобы пометить записи для удаления.
  - Хранить исторические записи (Тип 2)
    
    Сохранять предыдущие версии измененных записей.
Развертывание столбцов
- Сохранить вложенные столбцы
  
  Выберите, чтобы сохранить вложенные данные.
- Развернуть в отдельные столбцы
  
  Поведение по умолчанию — развертывание данных в отдельные столбцы.
Разделение целевых таблиц

Примечание к информацииЭта опция доступна только в том случае, если в разделе Настройки загрузки выбрано Только добавление.
- Без разделения
  
  Новые таблицы создаются без разделов.
- Разделение по дате события
  
  Новые таблицы разделяются по дате получения событий.
Обработка изменений данных

Примечание к информацииЭта опция доступна только в том случае, если в разделе Настройки загрузки выбрано Применить изменения.
- Включить мягкие удаления: Введите выражение, чтобы определить, какие записи следует пометить для удаления.
- Создать хранилище исторических данных (Тип 2): Это позволит сохранить предыдущие версии измененных записей.
Управление хранением
- Без усечения разделов
- Усечение разделов текущего снимка

Определения таблиц

hdr__from_timestamp

Если эта опция включена, столбец заголовка hdr__from_timestamp будет отображаться в стандартных представлениях. Кроме того, если в мастере настройки выбрано Секционировать по дате приема события, hdr__from_timestamp будет использоваться в качестве столбца секционирования по умолчанию.

Примечание к информацииПредставления истории всегда включают все столбцы заголовков стандартного представления, независимо от этой настройки.

Настройки времени выполнения

Кластер Lakehouse

Вы можете изменить кластер Lakehouse, но он должен поддерживать потоковые или смешанные рабочие нагрузки.

Настройки эволюции схемы

Добавить столбцы на корневом уровне

Эта настройка применяется, когда новые столбцы добавляются в задачу потокового промежуточного хранения на корневом уровне.
- Применить к цели
  
  Автоматически добавляет новые столбцы корневого уровня из задачи потокового промежуточного хранения в задачу потокового преобразования. Это настройка по умолчанию.
- Игнорировать
  
  Не добавляет новые столбцы корневого уровня.
- Остановить задачу
  
  Останавливает задачу преобразования, если в задаче потокового промежуточного хранения обнаружен новый столбец корневого уровня.
Добавить столбцы в структуры

Эта настройка применяется, когда новые поля добавляются внутрь существующей вложенной структуры в задаче потокового промежуточного хранения.
- Применить к цели
  Автоматически добавляет новые поля в существующие структуры в задаче потокового преобразования, если они добавлены в структуру промежуточного хранения.
- Игнорировать
  
  Не добавляет новые поля в существующие структуры.
- Остановить задачу
  
  Останавливает задачу преобразования, если новое поле добавлено в структуру в задаче потокового промежуточного хранения.
Изменить тип данных поля
- Игнорировать
  Не изменяет тип данных.
- Остановить задачу
  
  Останавливает задачу преобразования, если в задаче потокового промежуточного хранения обнаружено изменение типа данных.

Настройки набора данных

Следующие настройки доступны для всех наборов данных в представлении Дизайн > Наборы данных.

Нажмите дополнительно рядом с набором данных и выберите Настройки.

Обработка загрузки данных

Выбирает способ загрузки данных в целевую таблицу.
- Только добавление
  
  Добавляет новые записи без изменения существующих данных. Ограничения ключей не применяются, если поступают записи-дубликаты.
- Применить изменения
  
  Обновляет существующие записи и вставляет новые записи на основе ключевых полей.
Обработка изменений данных

Примечание к информацииЭта опция доступна только в том случае, если в разделе Настройки загрузки выбрано Применить изменения.
- Включить мягкие удаления: Введите выражение, чтобы определить, какие записи следует пометить для удаления. Это должно быть выражение, которое принимает значение True, если изменение является мягким удалением.
  
  Пример: operation = 'D'
- Создать хранилище исторических данных (Тип 2): Это позволит сохранить предыдущие версии измененных записей.
Столбцы разделов

При необходимости вы можете выбрать столбцы разделов для оптимизации производительности.

Нажмите Добавить столбец, чтобы добавить столбец раздела, затем выберите Преобразование и задайте Параметр, если требуется.
Управление хранением

Усечение разделов удаляет разделы, которые старше периода хранения. Это не удаляет данные физически и не влияет на старые снимки немедленно. Старые данные могут быть доступны в старых снимках до истечения срока их действия.

Примечание к информацииПоявляется только в том случае, если в разделе есть хотя бы один столбец даты или даты и времени.
- Без усечения разделов
- Усечение разделов текущего снимка
Столбцы сортировки

Примечание к информацииЭта опция доступна только в том случае, если в разделе Настройки загрузки выбрано Только добавление.

При необходимости вы можете указать столбцы, по которым будут сортироваться данные в каждом файле вашей таблицы Iceberg. Во время получения данных Iceberg использует эти столбцы для упорядочивания записей. Определение ключей сортировки для столбцов, часто используемых в запросах, улучшает локальность данных, что приводит к более высокой производительности чтения и более эффективному сжатию. Правильно настроенные ключи сортировки гарантируют, что ваши данные оптимально организованы для производительности запросов.

Нажмите Добавить столбец, чтобы добавить столбец сортировки, а затем задайте порядок сортировки.
Продолжительность срока действия снимка

Эта настройка контролирует, как долго хранятся снимки, что значительно влияет на размер таблицы и затраты на хранение. Для часто обновляемых таблиц рекомендуется более короткая продолжительность, чтобы помочь снизить затраты на хранение.

Примечание к информацииВведите 0, чтобы отключить истечение срока действия снимка.
Заголовки стандартного представления
- Наследовать из настроек задачи данных
  
  Это значение по умолчанию. Отключите, если вы хотите задать определенные столбцы заголовков только для этого набора данных.
- hdr__from_timestamp
  
  Если эта опция включена, столбец заголовка hdr__from_timestamp будет отображаться в стандартных представлениях. Кроме того, если в мастере настройки выбрано Секционировать по дате приема события, hdr__from_timestamp будет использоваться в качестве столбца секционирования по умолчанию.
  
  Примечание к информацииПредставления истории всегда включают все столбцы заголовков стандартного представления, независимо от этой настройки.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице или с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом!

Оставьте свой отзыв здесь