Перейти к основному содержимому Перейти к дополнительному содержимому

Анализ моделей

Для того чтобы оценить модель машинного обучения, нужно разбираться в оценках и метриках модели. В некоторых случаях понимание того, как каждое поле и значение влияет на прогнозируемый результат — почему что-то происходит, — может быть важнее, чем сам прогноз.

Почему важна оценка моделей

Целью оценки модели по различным показателям является понимание преимуществ модели. Оценка моделей позволяет повысить уверенность в том, что модель пригодна для использования, и показывает, какие улучшения можно внести. Если оценка очень высокая или очень низкая, это может указывать на проблему с данными, переданными в модель.

Оценка модели — сложная задача, так как существует несколько метрик, описывающих разные аспекты модели. Чтобы определить, является ли модель хорошей, необходимо объединить бизнес-опыт в конкретной области с пониманием различных метрик оценки и данных, на основе которых обучалась модель. То, что может выглядеть как ужасный результат в одном сценарии использования, может оказаться отличным результатом и обеспечить высокую рентабельность инвестиций в другом сценарии использования.

Самая важная метрика: аналогия с автомобилем

Какая метрика самая важная? Это зависит от того, как вы планируете использовать модель. Нет ни одной метрики, которая могла бы дать вам полную информацию о том, что вы хотите знать.

В качестве аналогии рассмотрим покупку автомобиля. При покупке автомобиля необходимо учитывать множество различных характеристик, таких как, например, расход топлива, мощность, крутящий момент, вес и ускорение. Покупатель может хотеть, чтобы все эти характеристики были отличными, но он должен идти на компромиссы в зависимости от того, как он планирует использовать автомобиль. Жителю пригорода, возможно, нужен автомобиль с низким расходом топлива, даже если это означает, что ему придется смириться с низким крутящим моментом, в то время как владелец лодки может выбрать автомобиль с высоким крутящим моментом и закрыть глаза на высокий расход топлива.

То же самое можно сказать и о модели. Мы хотим, чтобы все метрики давали высокие результаты, и их можно было бы улучшить, добавив больше данных и повысив качество признаков, но всегда есть ограничения и приходится идти на компромиссы. Некоторые метрики важнее других в зависимости от того, что вы планируете делать с моделью.

Подходит ли модель?

Чтобы определить, подходит ли модель для конкретного сценария использования и можно ли ее внедрить в бизнес-процессы, необходимо ответить на следующий вопрос: «Достаточно ли точна модель, чтобы обеспечить положительную рентабельность инвестиций без неприемлемых последствий?» Следующие четыре вопроса помогут вам разобраться в этом.

Модель служит для того, чтобы информировать человека о том, какое решение принять, или для автоматизации процесса принятия решений?

Требуемая точность зависит от того, будете ли вы использовать модель для автоматизации процесса принятия решений или для того, чтобы она информировала вас о том, какое решение принять. Например, модель можно обучить определять, сколько денег должны зарабатывать сотрудники. В этом случае точность, вероятно, должна быть выше, поскольку модель автоматизирует процесс принятия решения, а не информирует о том, какое решение принять. Если руководители используют модель, чтобы выяснить, недоплачивают ли сотруднику или переплачивают, по результатам модели они сами могут определить, ошибается она или нет.

Можно ли количественно оценить стоимость ложноположительного или ложноотрицательного результата?

Можете ли вы количественно оценить стоимость ложного результата? Учитывайте эту стоимость при определении уровня точности, необходимого для того, чтобы считать модель подходящей.

Возьмем пример, приведенный выше, и предположим, что модель используется только для того, чтобы информировать вас о том, какое решение принять. Руководитель доверяет модели и не повышает зарплату сотруднику, так как по результатам модели выходит, что в случае повышения зарплаты сотрудник будет зарабатывать слишком много. После этого сотрудник увольняется и устраивается на работу в другое место. Какова стоимость потери этого сотрудника? Если бы произошло обратное, какова была бы стоимость ложного повышения зарплаты?

Насколько модель лучше случайного прогнозирования?

При решении задач регрессии определите, какой была бы ошибка, если бы вы всегда использовали среднее значение целевого столбца. Насколько модель лучше по сравнению с этим подходом?

При решении задач классификации возьмите долю положительного класса в квадрате и прибавьте ее к доле отрицательного класса в квадрате, чтобы получить случайную точность. Насколько точность модели выше случайной точности?

Является ли модель лучше, чем ультиматум?

В зависимости от того, есть ли издержки, связанные с ошибками, следует определить, является ли модель лучше, чем ультиматум. Например, предположим, что компания бесплатно проводит консультации, которые стоят дорого и отнимают много времени (6000 $), но они приносят хорошие деньги, если сделка заключается (60 000 $). На данный момент компания исходит из предположения, что после консультаций будет заключено 100 процентов сделок. Однако компания получила бы большую прибыль, если бы можно было определить, какие консультации следует проводить, а какие нет. Какова должна быть точность модели, чтобы компания могла использовать результаты модели вместо ультимативного предположения о том, что 100 процентов сделок будут заключены?

Подробнее

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!