Puntuación de modelos de regresión
Los modelos de regresión predicen los resultados como un número, lo que indica la mejor estimación del modelo de la variable objetivo. Se generan varias métricas para evaluar los modelos de regresión.
Durante el entrenamiento de un experimento de regresión, los siguientes gráficos se generan automáticamente para proporcionar un análisis rápido de los modelos generados:
-
Importancia de la permutación: Un gráfico en el que las características se muestran por orden, desde la influencia más alta (mayor impacto en el rendimiento del modelo) hasta la influencia más baja (menor impacto en el rendimiento del modelo). Para más información, vea Importancia de la permutación.
-
Importancia de SHAP: Un gráfico que representa cuánto influye cada característica en el resultado previsto. Para más información, vea Importancia de SHAP en el entrenamiento de experimentos.
R2
R al cuadrado (R2) es una medida sin unidades de correlación de las características con el objetivo. Se puede expresar como: ¿a qué porcentaje más cercano a la perfección están las predicciones del modelo en comparación con el uso del valor promedio del objetivo?
R2 oscila entre infinito negativo y 1. Cuanto más se acerque a 1, más varianza del valor objetivo pueden explicar las variables de las características. En otras palabras, cuanto más probable sea que haya variables importantes que conduzcan a predicciones precisas.
Los gráficos muestran un ejemplo de estatura en función de la edad. La altura está más estrechamente correlacionada con la edad en el primer gráfico, donde R2 es 0,97, que en el segundo, donde R2 es 0,56.
Dos gráficos que representan la altura en función de la edad con diferentes valores R2
Tenga en cuenta que un valor R2 más bajo no significa necesariamente que sea un mal modelo. Cómo interpreta R2 depende del caso de uso concreto y los datos. Al considerar la puntuación del modelo de regresión, es importante recordar que una relación lineal no siempre es crítica. Si la regresión lineal produce resultados deficientes mientras que otros algoritmos tienen un mejor rendimiento, simplemente podría significar que sus datos no se pueden modelar lo suficientemente bien mediante una relación lineal.
RMSE
El error cuadrático medio (RMSE) se puede interpretar como la diferencia promedio +/- esperada entre un valor predicho y el valor real. Es la desviación estándar de los residuos (la diferencia entre el valor observado y el valor predicho para una característica). RMSE se mide en la misma unidad que el valor objetivo.
Como ejemplo, supongamos que nuestro objetivo es predecir el valor del contrato y obtenemos RMSE = 1250. Esto significa que, en promedio, el valor predicho difiere +/- 1,250 $ del valor real.
MSE
El error cuadrático medio (MSE) se puede interpretar como la diferencia cuadrática +/- entre el valor predicho y el valor real que esperaríamos ver en promedio. Se mide en la misma unidad que el valor objetivo al cuadrado.
En el ejemplo con la predicción del valor de contrato, un valor de MSE de 1562500 significaría que el modelo tiene una desviación de +/- 1.562.500 $2. Tenga en cuenta que la unidad es dólares al cuadrado.
MAE
El error medio absoluto (MAE) es la media de todos los errores absolutos de predicción, donde el error de predicción es la diferencia entre el valor real y el valor predicho. Utilizar el valor absoluto de errores de predicción evita que los errores +/- se anulen entre sí. MAE se mide en la misma unidad que el valor objetivo.