Оценка моделей многоклассовой классификации
Многоклассовая классификация – это вид классификации, в которой модель пытается спрогнозировать один дискретный результат, как в двоичной классификации, но с более чем двумя классами. Модели многоклассовой классификации оцениваются по различным средним значениям F1.
F1 Macro
F1 Macro — это среднее значение мер F1, полученных для всех классов; при этом вес не учитывается, все классы имеют равный вес.
Micro F1
Micro F1 — это мера F1, рассчитанная по всей матрице ошибок. Подсчитывается общее количество истинно положительных, ложноотрицательных и ложноположительных результатов. Значение Micro F1 рассчитывается аналогично значению глобальной точности или глобальной полноты.
Взвешенная F1-мера
Взвешенная F1-мера соответствует метрике F1 в моделях двоичной классификации. Она рассчитывается для каждого класса, а затем объединяется как средневзвешенное значение с учетом количества записей для каждого класса.
Точность
Accuracy (точность) измеряет, как часто модель в среднем дает правильный прогноз. Значение точности рассчитывается как количество точно совпадающих прогнозов, поделенное на количество образцов.
Скорость прогнозирования
Скорость предсказания – это метрика, которая применяется ко всем типам моделей: бинарной классификации, многоклассовой классификации, регрессии и временных рядов. Скорость предсказания измеряет, насколько быстро модель машинного обучения способна генерировать предсказания.
В Qlik Predict скорость предсказания рассчитывается по двум факторам: времени вычисления признака и времени предсказания на тестовом наборе данных. Отображается в строках в секунду.
Скорость предсказания можно проанализировать в таблице Метрики модели после выполнения версии эксперимента. Кроме того, скорость предсказания данных можно проверить при анализе моделей со встроенной аналитикой. Для получения дополнительной информации см.:
Замечания
Результирующее значение скорости предсказания зависит от размера обучающего набора данных, а не от характера данных, на основе которых делаются предсказания. После развертывания модели разница в скорости генерации предсказаний заметна, если обучающие данные и новые входные данные значительно отличаются по размеру или предсказания генерируются в режиме реального времени на одном или нескольких рядах данных.
Метрики смещения
В дополнение к этим метрикам также доступен ряд метрик предвзятости для функциональности, на которой вы выполняете обнаружение предвзятости. Некоторые из этих метрик специфичны для типа модели, которую вы обучаете. Для получения дополнительной информации см. раздел Обнаружение предвзятости в моделях машинного обучения.