Saltar al contenido principal Saltar al contenido complementario

Revisar los modelos

Para evaluar sus modelos de aprendizaje automático, debe poder dar sentido a las puntuaciones y métricas del modelo. En algunos casos, comprender cómo cada campo y valor influye en el resultado previsto (por qué sucede algo) puede ser más importante que hacer predicciones.

Por qué es importante la puntuación del modelo

El propósito de las diferentes puntuaciones del modelo es comprender los puntos fuertes del modelo. Esto aumentará su confianza en la usabilidad del modelo y le mostrará las mejoras que se pueden realizar. Si la puntuación es muy alta o muy baja, podría indicar que hay un problema con los datos que alimentan al modelo.

Puntuar un modelo es una tarea desafiante porque hay varias métricas que describen diferentes cuestiones sobre el modelo. Para saber si es un buen modelo, debe combinar el conocimiento del dominio empresarial con la comprensión de las diversas métricas de puntuación y los datos con los que se entrenó el modelo. Lo que podría parecer una puntuación terrible en un caso de uso, podría ser una puntuación excelente y generar un alto retorno de la inversión en otro caso de uso.

La métrica más importante: Una analogía con un coche

¿Qué métrica es más importante? Eso depende de cómo planee utilizar el modelo. No hay una sola métrica que pueda decirnos todo lo que deseamos saber.

Como analogía, piense en comprar un automóvil. Hay muchos parámetros diferentes que tener en cuenta, como la eficiencia del combustible, la potencia, el par, el peso y la aceleración. Puede que queramos que todos sean estupendos, pero debemos hacer concesiones en función del uso que pensemos dar al coche. Una persona que se desplaza a diario al trabajo puede querer un coche con una gran eficiencia de combustible aunque ello suponga un motor más bajo, mientras que el propietario de una embarcación puede elegir un motor más potente aunque ello suponga una menor eficiencia de combustible.

Un modelo puede concebirse del mismo modo. Queremos que todas las métricas sean buenas, y podríamos mejorarlas con más datos y mejores características, pero siempre hay limitaciones y compensaciones que realizar. Algunas puntuaciones importan más dependiendo de lo que pretenda hacer con el modelo.

¿El modelo tiene un buen ajuste?

Determinar si un modelo se ajusta bien al caso de uso y es bueno para ponerlo en producción, en última instancia, se reduce a la pregunta: "¿Es el modelo lo suficientemente preciso como para generar un retorno positivo de la inversión sin consecuencias inaceptables?" Las siguientes cuatro preguntas pueden ayudar a desglosarlo.

¿El modelo da información para tomar una decisión humana o la automatiza?

La exactitud requerida depende de si se usará el modelo para automatizar o para aportar información para la toma de decisiones. Por ejemplo, se puede entrenar un modelo para determinar cuánto dinero deberían ganar los empleados. En este caso, es probable que la exactitud deba ser mayor si el modelo automatiza la decisión en comparación con si solo aporta información para una decisión. Si los directivos lo utilizan para descubrir si un empleado está mal pagado o pagado en exceso, entonces pueden usar su propia discreción para determinar si el modelo es erróneo o no.

¿Existe un coste cuantificable para un falso positivo o un falso negativo?

¿Es capaz de cuantificar el coste de un resultado falso? Tenga en cuenta ese coste cuando determine el nivel de exactitud requerido para considerar que el modelo se ajusta bien.

Usando el mismo ejemplo anterior, supongamos que el modelo simplemente está informando. No obstante, el gerente confía en el modelo y no le da un aumento de sueldo a un empleado porque el modelo da como resultado que el empleado recibiría un pago excesivo si se le diera un aumento. El empleado renuncia a su puesto y se va a trabajar a otro lugar. ¿Cuál fue el coste de perder a esa persona? Si sucediera lo contrario, ¿cuál habría sido el coste de dar un aumento falso?

¿Cuánto mejor es el modelo que el azar?

Para los problemas de regresión, determine cuál sería el error si siempre supusiera el valor promedio de la columna objetivo. ¿Cuánto mejor es el modelo en comparación con eso?

Para los problemas de clasificación, tome la tasa de la clase positiva al cuadrado y súmela a la tasa de la clase negativa al cuadrado para obtener la exactitud aleatoria. ¿Qué exactitud tiene el modelo?

¿Es el modelo mejor que dar un ultimátum?

Dependiendo de si hay un coste asociado con los errores, considere si el modelo es mejor que un ultimátum. Por ejemplo, supongamos que una empresa realiza consultas gratuitas que son costosas y consumen mucho tiempo (6.000 $), pero ganan mucho dinero cuando se cierra un trato (60.000 $). La empresa actualmente opera bajo el supuesto de que el 100 por ciento de las consultas se cerrarán. Sin embargo, obtendrían mejores ganancias si pudieran determinar qué consultas deben cerrar y cuáles no. ¿Cuál debe ser la exactitud del modelo para que la empresa utilice el resultado del modelo en lugar del ultimátum de que se cerrará el 100 por ciento de los tratos?

Más información

¿Esta página le ha sido útil?

No dude en indicarnos en qué podemos mejorar si encuentra algún problema en esta página o su contenido, como, por ejemplo, errores tipográficos, pasos que falta o errores técnicos.