Работа с многомерным прогнозированием временных рядов

С помощью Qlik Predict можно обучать модели машинного обучения для прогнозирования показателей, зависящих от времени. Используя методы на основе нейронных сетей, модели изучают и прогнозируют сложные закономерности, включающие ассоциации, зависящие от времени, сгруппированные целевые данные, исторические характеристики и известные будущие переменные. Чтобы создать прогноз временных рядов, подготовьте набор данных для обучения, используйте его в эксперименте с временными рядами, разверните модель, а затем создайте наборы данных применения, которые можно использовать для генерации прогнозов.

Цель

Как и в других типах экспериментов, цель — это столбец, для которого модель должна прогнозировать будущие значения. Для экспериментов с временными рядами цель должна содержать числовые данные, например, продажи или запасы.

Если в прогнозе временных рядов используются группы, модели будут прогнозировать одно целевое значение для каждой группы на каждом временном шаге в окне прогнозирования. Если группы не используются, обученные модели будут прогнозировать одно целевое значение для каждого временного шага в окне прогнозирования.

Индекс даты

Индекс даты отслеживает показатели временных рядов на протяжении непрерывного временного интервала (временного шага). Необходимо определиться с временным шагом на раннем этапе: как часто нужно прогнозировать будущие значения?

В частности, индекс даты — это столбец, который появляется в наборах данных для обучения и применения для задач временных рядов. Индекс даты определяет структуру обоих этих наборов данных применения: каждая строка представляет собой шаг во времени (или, при наличии групп, шаг во времени для каждой уникальной группировки).

При добавлении набора данных для обучения в эксперимент с временными рядами возможные столбцы индекса даты автоматически идентифицируются и представляются в виде Аналитики на уровне столбцов. Их можно определить с помощью аналитики Возможный индекс даты в представлении схемы.

Группы — это характеристики, содержащие категориальную информацию, для которой требуется генерировать прогнозы отдельно. Классические примеры групп включают номер магазина и продукт, которые могли использоваться для организации данных для такой цели, как продажи. При выборе номера магазина и типа продукта в качестве групп модели временных рядов будут предоставлять прогнозы для каждого отдельного значения в этих столбцах. Например, если целью являются продажи, и у вас есть три номера магазинов (1, 2 и 3) и два типа продуктов (бакалея и свежие продукты), модель сгенерирует прогнозы продаж для каждой уникальной комбинации этих значений.

Следует включать группы в задачу временных рядов, если у вас есть данные и требуются индивидуальные прогнозы по категориям. Еще одно преимущество групп заключается в том, что модели могут обучаться глобально, лучше понимая закономерности, существующие между определенными вами различными группировками.

Можно настроить группы для использования в каждой версии эксперимента. Если группы не указаны, но они идентифицированы в наборе данных для обучения, при обучении будут использоваться группы.

Группы идентифицируются по дубликатам значений в столбце индекса даты: например, для даты 14.01.2025 есть две записи: одна для магазина A, а другая для магазина B.

Каждая группа в эксперименте с временными рядами, включая только цель, рассматривается как отдельный временной ряд в наборе данных. См. раздел Что такое временной ряд?.

Первичные и вторичные группы

Для задач временных рядов с двумя столбцами групп одна группа является первичной, а другая — вторичной. Примеры см. в разделах Подготовка набора данных для обучения, Пример набора данных для обучения — две группы и Пример набора данных применения — две группы.

Первичная группировка определяет независимые временные ряды. Например, каждый магазин становится отдельным временным рядом, что позволяет модели изучать различное поведение и закономерности в разных магазинах.

Вторичная группировка обрабатывается иначе. Вместо создания полностью отдельных рядов система преобразует эти значения в дополнительные характеристики (ковариаты), позволяя связанным подрядам предоставлять друг другу контекстную информацию.

Обычно не нужно знать, какая группа является первичной, а какая вторичной, хотя при желании можно выбрать первичную группу в эксперименте. При прогнозировании с помощью развернутых моделей временных рядов применяются определенные соображения — см. раздел Подготовка набора данных применения.

Окно прогнозирования и размер разрыва задаются при настройке версии эксперимента. Эти значения используются как во время обучения модели, так и при генерации прогнозов из моделей, развернутых как развертывания машинного обучения.

Окно прогнозирования — это количество временных шагов, на которое требуется сделать прогноз в будущее. Например, если временной шаг составляет один день и нужно спрогнозировать продажи на следующие две недели, окно прогнозирования следует установить равным 14.

Разрыв прогнозирования — это период времени в будущем, для которого прогнозы не требуются. Установка разрыва прогнозирования не является обязательной, так как он может понадобиться или нет. Разрыв прогнозирования начинается в конце предоставленных записанных исторических данных для обучения. Окно прогнозирования начинается там, где заканчивается разрыв прогнозирования.

Например, может потребоваться спрогнозировать будущие продажи, но интересуют только будущие продажи на даты, наступающие более чем через неделю после окончания входных данных. В этом случае при временном шаге в днях можно установить размер разрыва прогнозирования равным семи временным шагам.

Выбранное окно прогнозирования, помимо объема данных для обучения, ограничивает то, насколько далеко в будущее можно сделать прогноз. Для получения дополнительной информации см. раздел Максимальное окно прогнозирования.

Будущие характеристики

С помощью будущих характеристик можно предоставить моделям дополнительные данные о будущей информации, которая уже известна или которую можно обоснованно ожидать. В частности, есть доступ к будущим значениям для этой характеристи, охватывающим выбранный горизонт прогнозирования. При определении будущих характеристик необходимо предоставить как исторические, так и будущие данные.

Например, для модели, прогнозирующей показатели, на которые могут повлиять будущие скидки, предлагаемые магазином, можно включить исторически наблюдаемые скидки, а также скидки для будущих периодов времени в пределах окна прогнозирования. Другими примерами будущих характеристик может быть информация о погоде или календаре.

Временные шаги

Временной шаг определяется набором данных для обучения и важен как для обучения, так и для прогнозов.

В наборе данных для обучения временной шаг — это интервал, с которым записываются данные в индексе даты. Например, временной шаг может быть ежедневным, ежечасным, ежеминутным или ежесекундным. Наименьший обнаруживаемый временной шаг — миллисекунды.

Важно знать временной шаг, используемый в данных для обучения. Другие определяемые параметры эксперимента, такие как окно прогнозирования и размер разрыва прогнозирования, будут следовать этому интервалу временного шага.

После развертывания модели данные применения, для которых требуется создать прогнозы, должны будут следовать тому же временному шагу, который определен в наборе данных для обучения.

Качество

При выборе набора данных для обучения система определяет используемый временной шаг. Если в индексе даты есть пропущенные значения или пробелы, такие столбцы, как цель, группы и ковариаты, могут быть интерполированы системой автоматически. Однако если данные содержат временные интервалы, которые настолько непоследовательны, что обнаруживаются разные временные шаги, данные необходимо сначала исправить. Например, если есть данные за несколько месяцев, записываемые один раз в день, но есть раздел, в котором данные последовательно записываются еженедельно, набор данных использовать нельзя, так как будут обнаружены несколько временных шагов.

Окно применения

Окно применения, или период ретроспективного анализа, — это часть данных для обучения, которую алгоритм может использовать для предоставления прогнозов для указанного окна прогнозирования.

Окно применения рассчитывается и устанавливается системой. Оно измеряется во временных шагах. Окно применения определяется тем, что задано в качестве окна прогнозирования и разрыва (горизонта прогнозирования). Размер окна применения отображается на панели конфигурации эксперимента и в Сводке по обучению модели после запуска хотя бы одной версии эксперимента. Он также отображается в Схеме модели развертывания машинного обучения при создании или редактировании конфигурации пакетного прогнозирования.

Окно применения определяется автоматически из конфигурации обучения. Чтобы сгенерировать прогнозы для заданного окна прогнозирования, необходимо предоставить исторические данные, охватывающие как минимум окно применения. Это предоставляется в наборе данных применения. См. раздел Подготовка набора данных применения.

Максимальное окно прогнозирования

Максимальное окно прогнозирования оценивается при настройке эксперимента с временными рядами. После запуска версии обучения максимальное окно прогнозирования подтверждается с уверенностью. Максимальное окно прогнозирования отображается как Расчетный максимальный прогноз или Максимальный прогноз в разделе На основе ваших данных при открытии Цель и тип эксперимента на панели конфигурации эксперимента. Максимальное окно прогнозирования — это максимальное количество временных шагов, для которых можно сгенерировать прогнозы, с учетом выбранного окна прогнозирования, объема предоставленных исторических данных и минимального размера выборки, ожидаемого системой. Чем больше исторических данных предоставлено, тем дальше во времени можно будет прогнозировать. Однако для генерации надежных прогнозов важно выбрать разумное окно прогнозирования.

Максимальное окно прогнозирования может составлять до 180 временных шагов.

Время отсечения прогноза

Время отсечения прогноза особенно важно при определении набора данных применения во время прогнозирования. Время отсечения прогноза — это последняя дата в выборке, для которой есть целевое значение. По сути, даты после этого времени отсечения — это даты, для которых требуется сгенерировать прогнозы.

Что такое временной ряд?

В прогнозировании временных рядов Qlik Predict каждая группа, включая только цель, рассматривается как отдельный временной ряд в наборе данных для обучения. Например, предположим, что набор данных для обучения содержит показатели продаж. Эти показатели продаж определены для каждого магазина и типа продукта. Если столбцы «Магазин» и «Тип продукта» определены как группы, в наборе данных для обучения будет три временных ряда.

Подготовка набора данных для обучения

Для многомерных прогнозов временных рядов набор данных для обучения должен содержать следующие столбцы:

• Индекс даты

• Целевой столбец

• Столбцы групп (необязательно)

• Столбцы характеристик (необязательно — без характеристик обучается одномерная модель прогнозирования)

Набор данных применения — требования и проверка

Для моделей временных рядов набор данных применения должен содержать:

• Столбцы и заголовки столбцов для всех столбцов, включенных в набор данных для обучения.

• Тот же временной шаг, что и в наборе данных для обучения.

• Все группы и значения групп, которые присутствовали в наборе данных для обучения.

  Примечание к информацииЕсли в наборе данных для применения присутствуют новые значения групп (которых не было в данных для обучения), прогнозы для этих строк не генерируются. Если для этих новых значений групп требуются прогнозы, рекомендуется переобучить модель с использованием данных для обучения, которые их включают.
  Примечание к информации

  Во время прогнозирования или в наборе данных для применения отсутствующие значения групп обрабатываются следующим образом:

  • Отсутствие значений основной группы, на которых обучается модель, допускается.

  • Отсутствие значений вторичной группы не допускается. Прогнозирование завершается с ошибкой.

  По возможности лучше всего собирать и предоставлять все данные вторичной группы во время прогнозирования. Однако, если ожидается, что вторичные группы будут отсутствовать в основном во время прогнозирования, одним из возможных решений является полный отказ от использования вторичных групп.

  Вместо этого можно объединить исходные значения основной и вторичной групп в один новый столбец группировки, использовать его в качестве новой основной группы и переобучить модель на основе этой структуры. В этой конфигурации новая модель зависит только от недавно введенных основных групп.

  Компромисс заключается в том, что вы можете потерять часть коррелированной информации между группами, поскольку теперь они будут рассматриваться как полностью отдельные временные ряды, а не как связанные подряды, предоставляющие друг другу контекстную информацию.

• Столько же или больше записей исторических данных (для каждой цели и группы) до времени отсечения прогноза, сколько записей в окне применения для модели. Это должны быть полные записи, содержащие исторически наблюдаемую дату или метку времени, цель и значения ковариат. Окно применения определяется окном прогноза и интервалом, настроенными во время обучения: чем дальше в будущее нужно сделать прогноз, тем больше исторических данных требуется в наборе данных для применения для выполнения прогнозирования.

• Записи для всех будущих временных шагов в горизонте прогноза. Для этих будущих записей включайте только значения для столбца индекса даты, а также любые будущие характеристики. Оставьте значения для остальных столбцов пустыми.

Примеры