Revisar y perfeccionar los modelos

Una vez finalizada la primera versión del entrenamiento del modelo, analice las métricas de modelos resultantes y los modelos recomendados. Si se requieren más modificaciones para perfeccionar los modelos, puede ejecutar versiones adicionales utilizando la optimización manual de modelos.

Cuando ejecute la versión del experimento, se le llevará a la pestaña Modelos, donde puede comenzar a analizar las métricas de los modelos resultantes. Puede acceder a la vista de esquema y a la vista de datos volviendo a la pestaña Datos. Se pueden realizar análisis más granulares en las pestañas Comparar y Analizar.

Sabrá que la primera versión del entrenamiento finalizó cuando todas las métricas se rellenen en la tabla Métricas de modelos y aparezca un icono de trofeo Trofeo junto al modelo superior.

Qlik Predict mejora continuamente sus procesos de entrenamiento de modelos. Por lo tanto, es posible que observe que las métricas de modelos y otros detalles mostrados en las imágenes de esta página no son idénticos a los suyos cuando complete estos ejercicios.

Análisis de la tabla Métricas de modelos

Cambie de nuevo a la pestaña Modelos. En la sección Métricas del modelo, se destacan los modelos recomendados en función de los requisitos de calidad comunes. El mejor modelo, Trofeo , se ha seleccionado automáticamente para el análisis.

Los modelos entrenados en el experimento ofrecen tres recomendaciones. Un mismo modelo puede representarse en más de una recomendación. Las recomendaciones son:

El mejor modelo: el modelo que mejor equilibra las métricas de exactitud y velocidad de predicción.
El más preciso: el modelo obtiene la puntuación más alta en las métricas de exactitud equilibrada y bruta.
El modelo más rápido: el modelo tiene la velocidad de predicción más rápida, además de unas métricas sólidas relacionadas con la exactitud.

Es importante elegir el modelo que mejor se adapte a su caso de uso. En la mayoría de los casos, el Mejor modelo es la opción más favorable. Sin embargo, su caso de uso predictivo podría requerir especificaciones particulares para la velocidad de predicción o métricas de exactitud.

Para una vista general en profundidad de cómo se determinan los tipos de modelos superiores, consulte Seleccionar el mejor modelo para usted.

La tabla Métricas del modelo muestra los modelos recomendados y las métricas clave de cada modelo. — La tabla Métricas del modelo mostrando los modelos recomendados y las métricas de los modelos

Puede limitar su enfoque utilizando los filtros desplegables situados encima de las recomendaciones. Los tipos de modelos mejores se recalculan automáticamente cada vez que cambia el filtrado.

Cambie entre las métricas principales utilizando el selector Mostrar métrica situado encima de la tabla. Puede ordenar los modelos en función del nombre y de la métrica seleccionada que se esté analizando.

Los modelos sobreajustados se marcan con una advertencia en la tabla. Estos modelos no son adecuados para su implementación. Las causas del sobreajuste pueden ser la complejidad del modelo introducida por los algoritmos de entrenamiento y problemas con el conjunto de datos de entrenamiento. Para más información, vea Sobreajuste.

Análisis del Resumen de entrenamiento del modelo

Ahora podemos centrarnos en el Resumen de entrenamiento del modelo en la parte derecha de la interfaz. Este resumen le permite explorar cómo se han optimizado el modelo y los datos de entrenamiento de entrada para obtener el mejor rendimiento. El resumen del entrenamiento del modelo es una vista general de las mejoras que proporciona la optimización inteligente de modelos.

En el resumen de la imagen inferior, podemos ver:

Las características de los datos de entrenamiento se eliminaron durante el entrenamiento y no se incorporaron al modelo.
El modelo tiene una proporción de muestreo del 100%.

Característica eliminada debido a la fuga del objetivo

La característica DaysSinceLastService se eliminó durante el entrenamiento debido a la fuga de objetivo.

En esta columna de características, no se definió ninguna lógica durante la recopilación de datos para detener el recuento del número de días transcurridos desde el último ticket de servicio de un cliente para los clientes que cancelaron su suscripción. Como resultado, el modelo podría haber aprendido a asociar un gran número de días desde el último ticket de servicio (presente para clientes que cancelaron hace años) con un valor de yes en el campo Churned.

Era necesario eliminar esta característica del entrenamiento porque habría dado lugar a un modelo con un rendimiento muy pobre en los nuevos datos.

El problema subyacente se conoce como fuga de objetivo, que es una forma de filtración de datos. Para más información sobre la fuga de datos, consulte Fuga de datos.

Características eliminadas debido a la alta correlación

Podemos ver que PriorPeriodUsage-Rounded y AdditionalFeatureSpend se descartaron durante el entrenamiento.

En este caso, había al menos una columna de características -PriorPeriodUsage-Rounded- que se derivaba directamente de otra columna del conjunto de datos. Se detectaron otros problemas de correlación con AdditionalFeatureSpend.

Eliminar las características que causan problemas de correlación es importante para entrenar un modelo de calidad.

Para más información sobre la correlación, consulte Correlación.

Características descartadas por su escasa importancia

También se descartaron varias características debido a su escasa importancia de permutación. Tras un análisis preliminar, se ha determinado que estas características tienen un impacto muy bajo en los resultados del objetivo. Estas características pueden considerarse ruido estadístico y se han eliminado para obtener beneficios en la calidad del modelo.

Para obtener más información sobre la importancia de la permutación, consulte Comprensión de la importancia de la permutación.

Resumen del entrenamiento de modelos en un experimento de ML que muestra cómo se optimizó el modelo para obtener el mejor rendimiento. — Resumen del entrenamiento del modelo

Analizar otras visualizaciones en la pestaña Modelos

Hay otras visualizaciones disponibles en la pestaña Modelos para realizar análisis adicionales de alto nivel. Seleccione diferentes modelos en la tabla Métricas del modelo para explorar el rendimiento a nivel de característica y otros gráficos que puedan ofrecer una visión de la calidad de los modelos.

La pestaña "Modelos" en un experimento de ML que muestra otras visualizaciones disponibles para el análisis de modelos — Pestaña Modelos en el experimento de ML que muestra otras visualizaciones disponibles para el análisis

Comparar las métricas de entrenamiento y retención

Puede ver métricas adicionales y comparar las métricas del entrenamiento de validación cruzada con las métricas de retención.

Haga lo siguiente:

En el experimento, cambie a la pestaña Comparar.

Se abre un análisis integrado. Puede utilizar la interfaz interactiva para profundizar en el análisis de su modelo comparativo y descubrir información nueva.
En el panel Hojas a la izquierda del análisis, pase a la hoja Detalles.
Observe la visualización Métricas de modelos. Muestra las métricas de puntuación de los modelos, como F1, así como otra información.
En la sección Columnas que mostrar, utilice el panel de filtrado para añadir y eliminar columnas en la tabla.
En el cuadro de la lista desplegable, añada métricas adicionales. Las puntuaciones del entrenamiento están disponibles para ser añadidas a la tabla. Puede añadirlas según sea necesario para su análisis.

Ahora puede ver las métricas F1 del entrenamiento de validación cruzada y compararlas con las métricas retenidas.

Uso de la pestaña «Comparar» en el experimento para ver las puntuaciones del entrenamiento junto con las de retención — Adición y visualización das puntuaciones del entrenamiento para compararlas con las de retención

Concentración en un modelo específico

En cualquier momento del análisis del modelo, puede realizar un análisis granular de un modelo individual. Explore la exactitud de las predicciones, la importancia de las características y su distribución con una experiencia interactiva.

Haga lo siguiente:

Seleccione cualquier modelo, haga clic en la pestaña Analizar.

Se abre un análisis integrado.
Con la hoja de Vista general del modelo, puede analizar la exactitud de predicción del modelo. El análisis se ve favorecido por el poder de las selecciones. Haga clic en una característica o en un valor predicho para realizar una selección. Los datos del análisis integrado se ajustan para filtrar los datos. Puede profundizar en valores y rangos de características específicos para ver cómo cambian la influencia de las características y la exactitud de la predicción.
Si pasa a las otras hojas, obtendrá visualizaciones de la exactitud de la predicción, la distribución de las características y la distribución del impacto (SHAP). Este contenido analítico puede ayudarle a lo siguiente:
- Descubrir los factores clave que influyen en las tendencias de los datos.
- Identifique cómo afectan las características y cohortes específicas a los valores pronosticados y a la exactitud de la predicción.
- Identificar los valores atípicos en los datos.

Uso de la pestaña «Analizar» para mejorar el análisis con el poder de las selecciones — Pestaña Analizar en un experimento de aprendizaje automático

Siguientes pasos

Después de ejecutar una versión del experimento con optimización inteligente de modelos, puede ejecutar versiones manuales según sea necesario para refinar sus modelos. Para crear rápidamente una nueva versión manual , puede volver a la pestaña Modelos y hacer clic en Nueva versión manual en el Resumen del entrenamiento del modelo.

En un escenario real, es importante repetir los pasos de perfeccionamiento tantas veces como sea necesario antes de implementar su modelo, para asegurarse de que tiene el mejor modelo posible para su caso de uso particular.

Para más información sobre cómo refinar modelos, consulte Perfeccionamiento de los modelos.

En este tutorial, pase a la siguiente sección para ver cómo implementar su modelo.

¿Esta página le ha sido útil?

Si encuentra algún problema con esta página o su contenido (errores tipográficos, pasos que faltan o errores técnicos), no dude en ponerse en contacto con nosotros.

Deje aquí sus comentarios