Gráfico de dispersión para una función numérica seleccionada, que permite analizar la distribución de los valores SHAP

Cuando los modelos terminan el entrenamiento de una versión del experimento, realiza un análisis de las métricas más importantes del modelo y accede a un resumen de cómo se procesaron los datos de entrenamiento. El análisis rápido se lleva a cabo en las pestañas Datos y Modelos.

Use la pestaña Modelos para obtener una vista general de los resultados del entrenamiento. Cuando ejecute una versión del experimento, pasará automáticamente a la pestaña Modelos. También se recomienda volver a visitar la pestaña Datos para inspeccionar cómo se han preprocesado y tratado los datos.

Existen opciones adicionales para seguir evaluando los modelos. Puede comparar métricas e hiperparámetros adicionales entre modelos, o centrarse en un modelo específico para un análisis granular. Estas opciones están disponibles en las pestañas Comparar y Analizar. Para obtener más información, consulte:

• Comparación de modelos

• Realización de análisis detallados de modelos

Comprensión de los conceptos

Puede resultar útil contar con un entendimiento básico de los conceptos que subyacen al análisis de modelos antes de empezar a evaluar sus modelos. Para obtener más información, consulte Comprensión de los conceptos de revisión de modelos.

Impacto de la configuración de optimización en el análisis

Su experiencia de análisis puede ser ligeramente diferente en función de si ha utilizado la optimización inteligente de modelos o no. La optimización inteligente de modelos está activada de forma predeterminada para los experimentos nuevos.

Análisis de modelos entrenados con optimización inteligente

De forma predeterminada, los nuevos modelos se ejecutan con la optimización inteligente de modelos.

La optimización inteligente del modelo proporciona un proceso de entrenamiento más sólido que, de forma ideal, crea un modelo listo para implementarse con poco o ningún perfeccionamiento adicional. El rendimiento de estos modelos cuando se implementan para casos de uso en producción sigue dependiendo de su entrenamiento con un conjunto de datos de alta calidad que incluya características y datos relevantes.

Si su versión se entrenó con optimización inteligente de modelos, tenga en cuenta lo siguiente:

• Cada modelo de la versión puede tener una selección de características diferente en función de cómo haya analizado los datos el algoritmo.

• En la pestaña Modelos, lea el Resumen de entrenamiento del modelo antes de pasar al análisis específico. El Resumen de entrenamiento del modelo muestra un resumen de cómo AutoML optimizó automáticamente el modelo iterando sobre la selección de características y aplicando transformaciones avanzadas.

Si desea más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.

Análisis de modelos entrenados sin optimización inteligente

Otra posibilidad es que haya desactivado la optimización inteligente del modelo para la versión del entrenamiento. La optimización manual de los modelos puede ser útil si necesita más control sobre el proceso de entrenamiento.

Si ha utilizado la optimización manual, todos los modelos de la versión tendrán la misma selección de características, por lo que no es necesario un resumen del entrenamiento del modelo.

Inspección de la configuración

Durante el preprocesamiento, es posible que se hayan excluido características para utilizarlas en el entrenamiento. Esto suele ocurrir porque se conoce más información sobre los datos a medida que avanza el entrenamiento que antes de ejecutar la versión.

Tras revisar el resumen de entrenamiento del modelo ( solo se muestra con la optimización inteligente), puede echar un vistazo más en profundidad a la configuración del experimento si necesita comprobar estos otros cambios.

Haga lo siguiente:

1. En el experimento, cambie a la pestaña Datos.

2. Asegúrese de que está en la vista de esquema.

3. Utilice el menú desplegable de la barra de herramientas para seleccionar un modelo de la versión.

4. Analice el esquema del modelo. Puede que desee centrarse en las columnas Información y Tipo de función para ver si ciertas características se han eliminado o se han transformado en un tipo de característica diferente.

   Por ejemplo, es posible que una característica marcada inicialmente como Posible texto libre se haya excluido después de ejecutar la versión.

   Para obtener más información sobre lo que significan los diferentes aspectos de la información, consulte Interpretación de la información sobre los conjuntos de datos.

Tenga en cuenta que si ejecuta la versión con la opción de optimización inteligente por defecto, cada modelo de la versión podría tener una selección de características diferente debido al perfeccionamiento automático. Si la versión se ha ejecutado sin optimización inteligente, la selección de características será la misma para todos los modelos de la versión. Para obtener más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.

Según lo que encuentre en esta configuración, puede que necesite volver a la fase de preparación del conjunto de datos para mejorar los datos de las características.

Con la optimización inteligente de modelos desactivada, no verá un resumen de entrenamiento del modelo como parte de su experiencia de análisis rápido. Además, todos los modelos de una versión experimental utilizarán las mismas combinaciones de funciones, mientras que los modelos entrenados con optimización inteligente pueden tener diferentes combinaciones de funciones.

Selección de un modelo

Cuando finaliza el entrenamiento, se selecciona automáticamente el modelo con mejores resultados para el análisis y se muestran las métricas de ese modelo. El modelo con mejores resultados para cada versión del experimento está marcado con un icono .

Cambie de modelo para comparar las diferencias en métricas y configuración. Si se encuentra en la pestaña Datos, utilice el menú desplegable de la barra de herramientas para elegir un modelo. Si se encuentra en la pestaña Modelos, haga clic en un modelo de la tabla Métricas del modelo para elegir un modelo.

Análisis del resumen del entrenamiento

Para los modelos entrenados con la optimización inteligente de modelos, el Resumen del entrenamiento del modelo resume la información clave sobre lo ocurrido durante el entrenamiento. Este resumen incluye lo siguiente:

• La relación de muestreo para el modelo.

• Una lista de funciones que se eliminaron automáticamente como resultado de la optimización inteligente. Esta lista varía en función del modelo seleccionado.

• Un enlace al conjunto de datos de entrenamiento.

El Resumen de entrenamiento del modelo no se muestra si está optimizando sus modelos manualmente.

Para obtener más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.

El resumen de entrenamiento del modelo no incluye las características que se eliminaron durante la fase de preprocesamiento. Para comprobar esta información, vuelva a la pestaña Datos del experimento. Consulte: Inspección de la configuración

Haga lo siguiente:

1. En el experimento, cambie a la pestaña Modelos.

2. Confirme que ha seleccionado el modelo que desea analizar.

3. En la sección Información del modelo, en la parte derecha de la página, mire el Resumen del entrenamiento del modelo.

Análisis de la tabla de métricas del modelo

La tabla Métricas del modelo proporciona información de alto nivel sobre el rendimiento de cada modelo en el experimento. Esta tabla se muestra en la pestaña Modelos.

Cuando se encuentre en la pestaña Modelos, la tabla Métricas del modelo es también el lugar donde se selecciona un modelo para analizar.

La tabla de métricas del modelo muestra lo siguiente:

• Si el modelo es el que muestra mejor rendimiento para su versión

• El nombre de cada modelo (esto puede editarse para mayor comodidad. Consulte: 488Edición de los detalles del modelo)

• El algoritmo utilizado para entrenar el modelo

• Valores para la puntuación más importante del rendimiento del modelo, dado el tipo de modelo definido por el objetivo del experimento:

  • Modelos de clasificación binaria: F1.

    F1

  • Modelos de clasificación multiclase: F1 Macro.

    Macro F1

  • Modelos de regresión: R2.

    R2

  Para obtener más información sobre qué tipo de modelos entrena su experimento, consulte Determinar el tipo de modelo creado.

Filtrado de modelos de la tabla

La tabla de métricas del modelo puede filtrarse para mostrar solo los modelos que desee comparar.

Dispone de los siguientes filtros, que pueden combinarse según sea necesario:

• Versión: Seleccione una o varias versiones del experimento.

• Algoritmo: Seleccione uno o varios algoritmos.

• Mejor rendimiento: Muestra los modelos con mejor rendimiento en todas las versiones (marcados con los iconos ). Se encuentra debajo de Más filtros de modelos.

• Muestreo al 100 %: Este filtro se aplica por defecto. Se puede eliminar si se desea El filtro muestra los modelos que utilizaron todo el conjunto de datos de entrenamiento para completar el proceso de entrenamiento y validación cruzada. Se encuentra debajo de Más filtros de modelos.

• Implementado: Muestra los modelos que se han implementado en las implementaciones de aprendizaje automático. Se encuentra debajo de Más filtros de modelos.

Interpretación de las visualizaciones de importancia de las características

En la pestaña Modelos, desplácese hacia abajo para ver las visualizaciones de la importancia de las características. Se trata de Importancia de la permutación e Importancia de SHAP.

Gráfico de importancia de la permutación

La magnitud de la importancia de la permutación mide qué relevancia tiene la función para la predicción general del modelo. Lo que vea en el gráfico Importancia de la permutación puede ayudarle a comprender cómo perfeccionar sus modelos.

Entre la información más frecuente que puede obtener analizando este gráfico se incluye lo siguiente:

• Si una función está consumiendo casi toda la importancia, es probable que se trate de un signo de fuga de objetivos. Es necesario eliminar esta función. Si esto se debe a problemas de calidad de los datos, también habrá que abordarlos.

  Fuga de datos

• Algunas características pueden tener muy poco o ningún impacto en las predicciones del modelo. Las características con una importancia de permutación extremadamente baja pueden considerarse ruido estadístico y deben eliminarse.

 Si se hubiera utilizado una optimización inteligente de modelos para entrenar la versión, algunos de los problemas comunes señalados anteriormente podrían haberse solucionado automáticamente eliminando estas características.

Para obtener más información sobre la importancia de la permutación, consulte Comprensión de la importancia de la permutación.

Gráfico de importancia de SHAP

El gráfico de importancia de SHAP proporciona otra forma de analizar la influencia que cada función del experimento está teniendo en las predicciones de cada modelo. Esto puede darle una idea temprana de qué características son significativas o si necesita reconfigurar el entrenamiento. Para obtener más información, consulte Comprensión de la importancia de SHAP en el entrenamiento de experimentos.

Interpretación de visualizaciones de puntuación de modelos

Si su experimento es un problema de clasificación binaria, se autogeneran una serie de visualizaciones adicionales para un consumo rápido. Estas visualizaciones le ofrecen más información sobre hasta qué punto el modelo predice correctamente las clases positivas y negativas.

Para obtener más información sobre estas visualizaciones, consulte Puntuación de modelos de clasificación binaria.

Matriz de confusión

El gráfico Matriz de confusión muestra la exactitud de las predicciones creadas por el modelo. Las predicciones se llevan a cabo en los datos de retención automáticos.

Matriz de confusión

Curva ROC

El gráfico Curva ROC describe hasta qué punto el modelo es capaz de predecir la clase positiva cuando el resultado real es positivo.

Para conocer el aspecto de una curva ROC ideal, consulte AUC y curva ROC.