Оценка моделей многоклассовой классификации

Многоклассовая классификация представляет собой классификацию, в ходе которой модель пытается спрогнозировать один дискретный результат, как в двоичной классификации, но с более чем двумя классами. Модели многоклассовой классификации оцениваются по различным средним значениям F1.

Макро F1

F1 Macro — это среднее значение по метрикам F1, полученным для всех классов, в котором вес не учитывается, все классы имеют равный вес.

Micro F1

Micro F1 — это значение F1, рассчитанное по всей матрице ошибок. Подсчитывается общее количество истинно положительных, ложноотрицательных и ложноположительных результатов. Значение Micro F1 рассчитывается аналогично значению глобальной точности или глобальной полноты.

Weighted F1

Значение Weighted F1 соответствует значению F1 для моделей двоичной классификации. Оно рассчитывается для каждого класса, а затем объединяется как средневзвешенное значение с учетом количества записей для каждого класса.

Точность

Accuracy (точность) измеряет, как часто модель в среднем дает правильный прогноз. Значение точности рассчитывается как количество точно совпадающих прогнозов, поделенное на количество образцов.

Скорость прогнозирования

Скорость предсказания – это метрика, которая применяется ко всем типам моделей: бинарной классификации, многоклассовой классификации, регрессии и временных рядов. Скорость предсказания измеряет, насколько быстро модель машинного обучения способна генерировать предсказания.

В Qlik Predict скорость предсказания рассчитывается по двум факторам: времени вычисления признака и времени предсказания на тестовом наборе данных. Отображается в строках в секунду.

Скорость предсказания можно проанализировать в таблице Метрики модели после выполнения версии эксперимента. Кроме того, скорость предсказания данных можно проверить при анализе моделей со встроенной аналитикой. Для получения дополнительной информации см.:

• Анализ таблицы с метриками модели

• Сравнение моделей