Interpretación de las puntuaciones de los modelos

Las puntuaciones de los modelos son medidas técnicas del grado en que los modelos son capaces de predecir los datos de entrenamiento. Además de la importancia de las características, las puntuaciones de los modelos son un aspecto clave de su análisis.

Métricas de puntuación de modelos

La métrica clave que se va a utilizar para la puntuación del modelo varía según el tipo de problema. El tipo de problema puede ser clasificación binaria, clasificación multiclase o regresión. Para obtener más información, consulte los siguientes temas:

• Problemas de clasificación binaria: Puntuación de modelos de clasificación binaria

• Problemas de clasificación multiclase: Puntuación de modelos de clasificación multiclase

• Problemas de regresión: Puntuación de modelos de regresión

Por qué es importante la puntuación del modelo

El propósito de las diferentes puntuaciones del modelo es comprender los puntos fuertes del modelo. Esto aumentará su confianza en la usabilidad del modelo y le mostrará las mejoras que se pueden realizar. Si la puntuación es muy alta o muy baja, podría indicar que hay un problema con los datos que alimentan al modelo.

Puntuar un modelo es una tarea desafiante porque hay varias métricas que describen diferentes cuestiones sobre el modelo. Para saber si es un buen modelo, debe combinar el conocimiento del dominio empresarial con la comprensión de las diversas métricas de puntuación y los datos con los que se entrenó el modelo. Lo que podría parecer una puntuación terrible en un caso de uso, podría ser una puntuación excelente y generar un alto retorno de la inversión en otro caso de uso.

La métrica más importante: una analogía automovilística

¿Qué métrica es más importante? Eso depende de cómo planee utilizar el modelo. No hay una sola métrica que pueda decirnos todo lo que deseamos saber.

Como analogía, piense en comprar un automóvil. Hay muchos parámetros diferentes que tener en cuenta, como la eficiencia del combustible, la potencia, el par, el peso y la aceleración. Puede que queramos que todos sean estupendos, pero debemos hacer concesiones en función del uso que pensemos dar al coche. Una persona que se desplaza a diario al trabajo puede querer un coche con una gran eficiencia de combustible aunque ello suponga un motor más bajo, mientras que el propietario de una embarcación puede elegir un motor más potente aunque ello suponga una menor eficiencia de combustible.

Un modelo puede concebirse del mismo modo. Queremos que todas las métricas sean buenas, y podríamos mejorarlas con más datos y mejores características, pero siempre hay limitaciones y compensaciones que realizar. Algunas puntuaciones importan más dependiendo de lo que pretenda hacer con el modelo.

¿El modelo tiene un buen ajuste?

Determinar si un modelo se adapta bien al caso de uso y es bueno para ponerlo en producción se reduce en última instancia a la pregunta: "¿Es el modelo lo suficientemente preciso como para generar un retorno de inversión positivo sin consecuencias inaceptables?" Las siguientes cuatro preguntas pueden ayudar a desglosarlo.

¿El modelo da información para tomar una decisión humana o la automatiza?

La exactitud requerida depende de si se usará el modelo para automatizar o para aportar información para la toma de decisiones. Por ejemplo, se puede entrenar un modelo para determinar cuánto dinero deberían ganar los empleados. En este caso, es probable que la exactitud deba ser mayor si el modelo automatiza la decisión en comparación con si solo aporta información para una decisión. Si los directivos lo utilizan para descubrir si un empleado está mal pagado o pagado en exceso, entonces pueden usar su propia discreción para determinar si el modelo es erróneo o no.

¿Existe un coste cuantificable para un falso positivo o un falso negativo?

¿Es capaz de cuantificar el coste de un resultado falso? Tenga en cuenta ese coste cuando determine el nivel de exactitud requerido para considerar que el modelo se ajusta bien.

Usando el mismo ejemplo anterior, supongamos que el modelo simplemente está informando. No obstante, el gerente confía en el modelo y no le da un aumento de sueldo a un empleado porque el modelo da como resultado que el empleado recibiría un pago excesivo si se le diera un aumento. El empleado renuncia a su puesto y se va a trabajar a otro lugar. ¿Cuál fue el coste de perder a esa persona? Si sucediera lo contrario, ¿cuál habría sido el coste de dar un aumento falso?

¿Cuánto mejor es el modelo que el azar?

Para los problemas de regresión, determine cuál sería el error si siempre supusiera el valor promedio de la columna objetivo. ¿Cuánto mejor es el modelo en comparación con eso?

Para los problemas de clasificación, tome la tasa de la clase positiva al cuadrado y súmela a la tasa de la clase negativa al cuadrado para obtener la exactitud aleatoria. ¿Qué exactitud tiene el modelo?

¿Es el modelo mejor que dar un ultimátum?

Dependiendo de si hay un coste asociado con los errores, considere si el modelo es mejor que un ultimátum. Por ejemplo, supongamos que una empresa realiza consultas gratuitas que son costosas y consumen mucho tiempo (6000 $), pero ganan mucho dinero cuando se cierra un trato (60 000 $). La empresa actualmente opera bajo el supuesto de que el 100 por ciento de las consultas se cerrarán. Sin embargo, obtendrían mejores ganancias si pudieran determinar qué consultas deben cerrar y cuáles no. ¿Cuál debe ser la exactitud del modelo para que la empresa utilice el resultado del modelo en lugar del ultimátum de que se cerrará el 100 por ciento de los tratos?

Importancia de la característica

Aunque los valores de importancia de las características no se consideran técnicamente puntuaciones del modelo, son métricas clave para evaluar el rendimiento predictivo de sus modelos. La evaluación de la importancia de las características también puede ayudar a identificar problemas con la configuración de su experimento y los datos de entrenamiento, como la fuga de datos.

Para obtener más información, consulte Comprensión de la importancia de las características.