Оценка моделей многоклассовой классификации

Многоклассовая классификация представляет собой классификацию, в ходе которой модель пытается спрогнозировать один дискретный результат, как в двоичной классификации, но с более чем двумя классами. Модели многоклассовой классификации оцениваются по различным средним значениям F1.

В ходе обучения эксперимента многоклассовой классификации автоматически создаются следующие диаграммы, позволяющие быстро проанализировать сгенерированные модели.

• Важность перестановки: диаграмма, на которой признаки отображаются в порядке от наиболее важного (наибольшее влияние на эффективность модели) к наименее важному (наименьшее влияние на эффективность модели). Для получения дополнительной информации см. раздел Важность перестановки.

• Важность SHAP: диаграмма, которая показывает, какое влияние оказывает каждый признак на прогнозируемый результат. Для получения дополнительной информации см. раздел Важность SHAP в обучении эксперимента.

Macro F1

Macro F1 — это усредненное значение F1 для каждого класса без взвешивания, то есть все классы обрабатываются одинаково.

Micro F1

Micro F1 — это значение F1, рассчитанное по всей матрице ошибок. Подсчитывается общее количество истинно положительных, ложноотрицательных и ложноположительных результатов. Значение Micro F1 рассчитывается аналогично значению глобальной точности или глобальной полноты.

Weighted F1

Значение Weighted F1 соответствует значению F1 для моделей двоичной классификации. Оно рассчитывается для каждого класса, а затем объединяется как средневзвешенное значение с учетом количества записей для каждого класса.

Точность

Accuracy (точность) измеряет, как часто модель в среднем дает правильный прогноз. Значение точности рассчитывается как количество точно совпадающих прогнозов, поделенное на количество образцов.