Gráfico de dispersión para una característica numérica seleccionada, que permite analizar la distribución de los valores SHAP
Cuando los modelos finalizan el entrenamiento en una versión de un experimento, realice un análisis de las métricas más importantes del modelo y acceda a un resumen de cómo se procesaron los datos del entrenamiento. El análisis rápido se lleva a cabo en las pestañas Datos y Modelos.
Utilice la pestaña Modelos para obtener una vista general de los resultados del entrenamiento. Cuando ejecute una versión del experimento, pasará automáticamente a la pestaña Modelos. También se recomienda volver a visitar la pestaña Datos para inspeccionar cómo se han preprocesado y tratado los datos.
La pestaña Modelos para un experimento de clasificación binaria
Existen opciones adicionales para seguir evaluando los modelos. Puede comparar métricas e hiperparámetros adicionales entre modelos, o centrarse en un modelo específico para un análisis granular. Estas opciones están disponibles en las pestañas Comparar y Analizar. Para obtener más información, consulte:
Comprensión de los conceptos
Puede resultar útil contar con un entendimiento básico de los conceptos que subyacen al análisis de modelos antes de empezar a evaluar sus modelos. Para obtener más información, consulte Comprensión de los conceptos de revisión de modelos.
Impacto de la configuración de optimización en el análisis
Su experiencia de análisis puede ser ligeramente diferente en función de si ha utilizado la optimización inteligente de modelos o no. La optimización inteligente de modelos está activada de forma predeterminada para los experimentos nuevos.
Análisis de modelos entrenados con optimización inteligente
De forma predeterminada, los nuevos modelos se ejecutan con la optimización inteligente de modelos.
La optimización inteligente del modelo proporciona un proceso de entrenamiento más sólido que, de forma ideal, crea un modelo listo para implementarse con poco o ningún perfeccionamiento adicional. El rendimiento de estos modelos cuando se implementan para casos de uso en producción sigue dependiendo de su entrenamiento con un conjunto de datos de alta calidad que incluya características y datos relevantes.
Si su versión se entrenó con optimización inteligente de modelos, tenga en cuenta lo siguiente:
-
Cada modelo de la versión puede tener una selección de características diferente en función de cómo haya analizado los datos el algoritmo.
-
En la pestaña Modelos, lea el Resumen de entrenamiento del modelo antes de pasar al análisis específico. El Resumen del entrenamiento del modelo muestra un resumen de cómo Qlik Predict optimizó automáticamente el modelo mediante la iteración en la selección de funciones y la aplicación de transformaciones avanzadas.
Para obtener más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.
Análisis de modelos entrenados sin optimización inteligente
Otra posibilidad es que haya desactivado la optimización inteligente del modelo para la versión del entrenamiento. La optimización manual de los modelos puede ser útil si necesita más control sobre el proceso de entrenamiento.
Si ha utilizado la optimización manual, todos los modelos de la versión tendrán la misma selección de características, por lo que no es necesario un resumen del entrenamiento del modelo.
Inspección de la configuración
Durante el preprocesamiento, es posible que se hayan excluido características para utilizarlas en el entrenamiento. Esto suele ocurrir porque se conoce más información sobre los datos a medida que avanza el entrenamiento que antes de ejecutar la versión.
Tras revisar el resumen de entrenamiento del modelo ( solo se muestra con la optimización inteligente), puede echar un vistazo más en profundidad a la configuración del experimento si necesita comprobar estos otros cambios.
Haga lo siguiente:
-
En el experimento, cambie a la pestaña Datos.
-
Asegúrese de que está en la
vista de esquema. -
Utilice el menú desplegable de la barra de herramientas para seleccionar un modelo de la versión.
-
Analice el esquema del modelo. Puede que desee centrarse en las columnas Información y Tipo de función para ver si ciertas características se han eliminado o se han transformado en un tipo de característica diferente.
Por ejemplo, es posible que una característica marcada inicialmente como Posible texto libre se haya excluido después de ejecutar la versión.
Para obtener más información sobre lo que significan los diferentes aspectos de la información, consulte Interpretación de la información sobre los conjuntos de datos.
Tenga en cuenta que si ejecuta la versión con la opción de optimización inteligente por defecto, cada modelo de la versión podría tener una selección de características diferente debido al perfeccionamiento automático. Si la versión se ha ejecutado sin optimización inteligente, la selección de características será la misma para todos los modelos de la versión. Para obtener más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.
Según lo que encuentre en esta configuración, puede que necesite volver a la fase de preparación del conjunto de datos para mejorar los datos de las características.
Con la optimización inteligente de modelos desactivada, no verá un resumen de entrenamiento del modelo como parte de su experiencia de análisis rápido. Además, todos los modelos de una versión experimental utilizarán las mismas combinaciones de características, mientras que los modelos entrenados con optimización inteligente pueden tener diferentes combinaciones de características.
Selección de un modelo
Cuando finaliza el entrenamiento, se selecciona automáticamente el modelo recomendado para el análisis y se muestran las métricas de ese modelo.
Cambie de modelo para comparar las diferencias en métricas y configuración. Si se encuentra en la pestaña Datos, utilice el menú desplegable de la barra de herramientas para elegir un modelo. Si se encuentra en la pestaña Modelos, haga clic en un modelo de la tabla Métricas del modelo para elegir un modelo.
Análisis del resumen del entrenamiento
Para los modelos entrenados con la optimización inteligente de modelos, el Resumen del entrenamiento del modelo resume la información clave sobre lo ocurrido durante el entrenamiento. Este resumen incluye lo siguiente:
-
La relación de muestreo para el modelo.
-
Una lista de características que se eliminaron automáticamente como resultado de la optimización inteligente. Esta lista varía en función del modelo seleccionado.
-
Un resumen de las transformaciones avanzadas que se aplicaron al entrenar el modelo.
-
Un enlace al conjunto de datos de entrenamiento.
El Resumen del entrenamiento del modelo no se muestra si está optimizando sus modelos manualmente.
Para obtener más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.
Gráfico resumen del entrenamiento de un modelo, mostrado en la pestaña Modelos
El resumen de entrenamiento del modelo no incluye las características que se eliminaron durante la fase de preprocesamiento. Para comprobar esta información, vuelva a la pestaña Datos del experimento. Consulte: Inspección de la configuración
Haga lo siguiente:
-
En el experimento, cambie a la pestaña Modelos.
-
Confirme que ha seleccionado el modelo que desea analizar.
-
En la sección Información del modelo, en la parte derecha de la página, mire el Resumen del entrenamiento del modelo.
Análisis de la tabla de métricas del modelo
La tabla Métricas de modelos proporciona información de alto nivel sobre el rendimiento de cada modelo en el experimento. Los modelos recomendados de esta lista se presentan encima de la tabla.
La tabla Métricas de modelos con modelos y filtros recomendados
La tabla muestra:
-
Si el modelo es un modelo superior con respecto a los tipos de modelos superiores. Consulte: Encontrar los mejores modelos
-
El nombre de cada modelo (esto puede editarse para mayor comodidad. Consulte: Edición de los detalles del modelo)
-
El algoritmo utilizado para entrenar el modelo
-
Métricas clave relacionadas con el rendimiento del modelo. Puede alternar entre:
-
Métricas comunes para evaluar el potencial predictivo, según el tipo de modelo. Para los modelos de clasificación binaria, se trata de F1. Para los modelos de clasificación multiclase, se trata de Macro F1. En el caso de los modelos de regresión, se trata de R2.
-
Velocidad de predicción.
-
Exactitud. En el caso de los modelos de clasificación, se trata de la métrica denominada exactitud. Para los modelos de regresión, se trata del EAM (error absoluto medio).
-
Encontrar los mejores modelos
Los mejores modelos y los de mayor rendimiento se determinan en función de los filtros que haya aplicado. Se presentan como recomendaciones encima de la tabla de métricas del modelo y también están resaltados dentro de la tabla.
El Mejor modelo está seleccionado de manera predeterminada. Este modelo se marca mediante un icono 
. El mejor modelo se determina basándose en un cálculo equilibrado que tiene en cuenta tanto la exactitud como la velocidad de predicción.
Dependiendo de su caso de uso, también podría interesarle analizar individualmente marcadores de rendimiento específicos. Otros modelos de alto rendimiento se destacan con los siguientes marcadores:
-
El más exacto: el modelo muestra la mayor exactitud en función de las métricas de puntuación aplicables para el tipo de problema. -
El modelo más rápido: el modelo que ofrece las velocidades de predicción más rápidas. También se tiene en cuenta la exactitud.
También puede seleccionar los modelos de mayor rendimiento directamente desde las recomendaciones que aparecen encima de la tabla Métricas de modelos.
Para obtener una vista general completa de cómo se determina cada tipo de modelo recomendado, consulte Seleccionar el mejor modelo para usted.
Filtrar los modelos en la tabla
La tabla de métricas del modelo puede filtrarse para mostrar solo los modelos que desee comparar.
Dispone de los siguientes filtros, que pueden combinarse según sea necesario:
Versión: seleccione una o varias versiones del experimento.
Algoritmo: seleccione uno o varios algoritmos.
Muestreo al 100 %: este filtro se aplica por defecto. Se puede eliminar si se desea El filtro muestra los modelos que utilizaron todo el conjunto de datos de entrenamiento para completar el proceso de entrenamiento y validación cruzada. Se encuentra debajo de Más filtros de modelos.
Implementado: Muestra los modelos que se han implementado en las implementaciones de aprendizaje automático. Se encuentra debajo de Más filtros de modelos.
Una vez aplicados los filtros deseados, los modelos con mejores resultados se recalculan automáticamente en función de los elementos filtrados. A continuación, se actualizan sus modelos recomendados.
Interpretación de las visualizaciones de importancia de las características
En la pestaña Modelos, desplácese hacia abajo para ver las visualizaciones de la importancia de las características. Se trata de Importancia de la permutación e Importancia de SHAP.
Visualización de la importancia de las características en la pestaña Modelos
Gráfico de importancia de la permutación
La magnitud de la importancia de la permutación mide qué relevancia tiene la función para la predicción general del modelo. Lo que vea en el gráfico Importancia de la permutación puede ayudarle a comprender cómo perfeccionar sus modelos.
Entre la información más frecuente que puede obtener analizando este gráfico se incluye lo siguiente:
Si una característica está consumiendo casi toda la importancia, es probable que se trate de un signo de fuga de objetivo. Es necesario eliminar esta característica. Si esto se debe a problemas de calidad de los datos, también habrá que abordarlos.
Algunas características pueden tener muy poco o ningún impacto en las predicciones del modelo. Las características con una importancia de permutación extremadamente baja pueden considerarse ruido estadístico y deben eliminarse.
Si se hubiera utilizado una optimización inteligente de modelos para entrenar la versión, algunos de los problemas comunes señalados anteriormente podrían haberse solucionado automáticamente eliminando estas características.
Para obtener más información sobre la importancia de la permutación, consulte Comprensión de la importancia de la permutación.
Gráfico de importancia de SHAP
El gráfico de importancia de SHAP proporciona otra forma de analizar la influencia que cada característica del experimento está teniendo en las predicciones de cada modelo. Esto puede darle una idea temprana de qué características son significativas o si necesita reconfigurar el entrenamiento. Para obtener más información, consulte Comprensión de la importancia de SHAP en el entrenamiento de experimentos.
Interpretación de visualizaciones de puntuación de modelos
Si su experimento es un problema de clasificación binaria, se autogeneran una serie de visualizaciones adicionales para un consumo rápido. Estas visualizaciones le ofrecen más información sobre hasta qué punto el modelo predice correctamente las clases positivas y negativas.
Para obtener más información sobre estas visualizaciones, consulte Puntuación de modelos de clasificación binaria.
Matriz de confusión
El gráfico Matriz de confusión muestra la exactitud de las predicciones creadas por el modelo. Las predicciones se llevan a cabo en los datos de retención automáticos.
Curva ROC
El gráfico Curva ROC describe hasta qué punto el modelo es capaz de predecir la clase positiva cuando el resultado real es positivo.
Para conocer el aspecto de una curva ROC ideal, consulte AUC y curva ROC.