Интерпретация оценок модели

Оценки модели ― это технические меры того, насколько хорошо модели способны прогнозировать данные обучения. Как и важность признаков, оценки модели являются ключевым аспектом анализа модели.

Метрики для оценки модели

Ключевые метрики для оценки модели варьируются в зависимости от типа задачи. Задача может относиться к типу двоичной классификации, многоклассовой классификации или регрессии. Для получения дополнительных сведений см. следующие разделы справки:

• Задачи двоичной классификации Оценка моделей двоичной классификации

• Задачи многоклассовой классификации: Оценка моделей многоклассовой классификации

• Задачи регрессии Оценка регрессионных моделей

Почему важна оценка моделей

Целью оценки модели по различным показателям является понимание преимуществ модели. Оценка моделей позволяет повысить уверенность в том, что модель пригодна для использования, и показывает, какие улучшения можно внести. Если оценка очень высокая или очень низкая, это может указывать на проблему с данными, переданными в модель.

Оценка модели — сложная задача, так как существует несколько метрик, описывающих разные аспекты модели. Чтобы определить, является ли модель хорошей, необходимо объединить бизнес-опыт в конкретной области с пониманием различных метрик оценки и данных, на основе которых обучалась модель. То, что может выглядеть как ужасный результат в одном сценарии использования, может оказаться отличным результатом и обеспечить высокую рентабельность инвестиций в другом сценарии использования.

Самая важная метрика: аналогия с автомобилем

Какая метрика самая важная? Это зависит от того, как вы планируете использовать модель. Нет ни одной метрики, которая могла бы дать вам полную информацию о том, что вы хотите знать.

В качестве аналогии рассмотрим покупку автомобиля. При покупке автомобиля необходимо учитывать множество различных характеристик, таких как, например, расход топлива, мощность, крутящий момент, вес и ускорение. Покупатель может хотеть, чтобы все эти характеристики были отличными, но он должен идти на компромиссы в зависимости от того, как он планирует использовать автомобиль. Жителю пригорода, возможно, нужен автомобиль с низким расходом топлива, даже если это означает, что ему придется смириться с низким крутящим моментом, в то время как владелец лодки может выбрать автомобиль с высоким крутящим моментом и закрыть глаза на высокий расход топлива.

То же самое можно сказать и о модели. Мы хотим, чтобы все метрики давали высокие результаты, и их можно было бы улучшить, добавив больше данных и повысив качество признаков, но всегда есть ограничения и приходится идти на компромиссы. Некоторые метрики важнее других в зависимости от того, что вы планируете делать с моделью.

Подходит ли модель?

Чтобы определить, подходит ли модель для конкретного сценария использования и можно ли ее внедрить в бизнес-процессы, необходимо ответить на следующий вопрос: «Достаточно ли точна модель, чтобы обеспечить положительную рентабельность инвестиций без неприемлемых последствий?» Следующие четыре вопроса помогут вам разобраться в этом.

Модель служит для того, чтобы информировать человека о том, какое решение принять, или для автоматизации процесса принятия решений?

Требуемая точность зависит от того, будете ли вы использовать модель для автоматизации процесса принятия решений или для того, чтобы она информировала вас о том, какое решение принять. Например, модель можно обучить определять, сколько денег должны зарабатывать сотрудники. В этом случае точность, вероятно, должна быть выше, поскольку модель автоматизирует процесс принятия решения, а не информирует о том, какое решение принять. Если руководители используют модель, чтобы выяснить, недоплачивают ли сотруднику или переплачивают, по результатам модели они сами могут определить, ошибается она или нет.

Можно ли количественно оценить стоимость ложноположительного или ложноотрицательного результата?

Можете ли вы количественно оценить стоимость ложного результата? Учитывайте эту стоимость при определении уровня точности, необходимого для того, чтобы считать модель подходящей.

Возьмем пример, приведенный выше, и предположим, что модель используется только для того, чтобы информировать вас о том, какое решение принять. Руководитель доверяет модели и не повышает зарплату сотруднику, так как по результатам модели выходит, что в случае повышения зарплаты сотрудник будет зарабатывать слишком много. После этого сотрудник увольняется и устраивается на работу в другое место. Какова стоимость потери этого сотрудника? Если бы произошло обратное, какова была бы стоимость ложного повышения зарплаты?

Насколько модель лучше случайного прогнозирования?

При решении задач регрессии определите, какой была бы ошибка, если бы вы всегда использовали среднее значение целевого столбца. Насколько модель лучше по сравнению с этим подходом?

При решении задач классификации возьмите долю положительного класса в квадрате и прибавьте ее к доле отрицательного класса в квадрате, чтобы получить случайную точность. Насколько точность модели выше случайной точности?

Является ли модель лучше, чем ультиматум?

В зависимости от того, есть ли издержки, связанные с ошибками, следует определить, является ли модель лучше, чем ультиматум. Например, предположим, что компания бесплатно проводит консультации, которые стоят дорого и отнимают много времени (6000 $), но они приносят хорошие деньги, если сделка заключается (60 000 $). На данный момент компания исходит из предположения, что после консультаций будет заключено 100 процентов сделок. Однако компания получила бы большую прибыль, если бы можно было определить, какие консультации следует проводить, а какие нет. Какова должна быть точность модели, чтобы компания могла использовать результаты модели вместо ультимативного предположения о том, что 100 процентов сделок будут заключены?

Важность признака

Хотя значения важности признаков не рассматриваются как оценки модели с технической точки зрения, они являются ключевыми метриками для оценки прогностической производительности моделей. Оценка важности признаков также помогает выявлять проблемы с конфигурацией эксперимента и данными для обучения, такие как утечка данных.

Для получения дополнительной информации см. раздел Общие сведения о важности признаков.