Оценка моделей временных рядов
Модели времени предсказывают результаты в виде чисел, соответствующих конкретным будущим датам. Для оценки моделей временных рядов генерируются несколько метрик.
MASE
MASE означает среднюю абсолютную масштабированную ошибку. MASE является одной из ключевых метрик, используемых для оценки и рекомендации моделей временных рядов в Qlik Predict.
В Qlik Predict, MASE определяется путем сравнения средней абсолютной ошибки (MAE) прогноза с MAE наивного прогноза. В наивном прогнозе на всех последующих шагах в качестве прогнозного значения используется последнее доступное значение.
MAE
MAE означает среднюю абсолютную ошибку. Наряду с MASE, MAE является одной из ключевых метрик, используемых для оценки и рекомендации моделей временных рядов в Qlik Predict. MAE измеряет качество модели путем расчета частоты ошибок в прогнозах, созданных моделью.
RMSE
Квадратный корень из среднеквадратичной ошибки (RMSE) может быть интерпретирован как средняя ожидаемая разница +/- между прогнозным значением и фактическим значением. Это остаточное стандартное отклонение (разница между наблюдаемым значением и прогнозным значением признака). Показатель RMSE измеряется в тех же единицах, что и целевое значение.
К примеру, предположим, что наша цель — спрогнозировать стоимость контракта, и мы получаем RMSE = 1250. Это означает, что в среднем прогнозная стоимость контракта отличается от фактической на +/- 1250 долларов.
Скорость прогнозирования
Скорость предсказания – это метрика, которая применяется ко всем типам моделей: бинарной классификации, многоклассовой классификации, регрессии и временных рядов. Скорость предсказания измеряет, насколько быстро модель машинного обучения способна генерировать предсказания.
В Qlik Predict скорость предсказания рассчитывается по двум факторам: времени вычисления признака и времени предсказания на тестовом наборе данных. Отображается в строках в секунду.
Скорость предсказания можно проанализировать в таблице Метрики модели после выполнения версии эксперимента. Кроме того, скорость предсказания данных можно проверить при анализе моделей со встроенной аналитикой. Для получения дополнительной информации см.:
Замечания
Результирующее значение скорости предсказания зависит от размера обучающего набора данных, а не от характера данных, на основе которых делаются предсказания. После развертывания модели разница в скорости генерации предсказаний заметна, если обучающие данные и новые входные данные значительно отличаются по размеру или предсказания генерируются в режиме реального времени на одном или нескольких рядах данных.