Realización de análisis detallados de modelos

En la pestaña Analizar del experimento, puede centrarse en un único modelo para analizar en profundidad su rendimiento predictivo. El análisis detallado se lleva a cabo mediante las analíticas integradas.

Una vez finalizado el entrenamiento, seleccione un modelo. A continuación, abra la pestaña Analizar para ver más información sobre la precisión de las predicciones del modelo, lo que está influyendo en las tendencias de los datos y otra información. Los datos que se muestran en la pestaña Analizar se basan en las predicciones que el modelo genera a partir de los datos de retención.

Algunas de las principales ventajas del análisis detallado de modelos son:

• Interfaz interactiva en la que puede depurar y personalizar los datos de visualización según sus necesidades.

• Un primer plano de las predicciones realizadas sobre los datos de los valores de retención, junto con las estadísticas de importancia de las características.

Flujo de trabajo del análisis

Para entender de un modo completo los resultados del entrenamiento del modelo, se recomienda que complete el análisis rápido y, a continuación, proceda con las opciones adicionales de las pestañas Comparar y Analizar. El análisis rápido ofrece un resumen del entrenamiento del modelo que muestra qué funciones se han descartado durante el proceso de optimización inteligente, y también proporciona una serie de visualizaciones generadas automáticamente que permiten un consumo rápido. Las pestañas Comparar y Analizar no muestran el resumen de entrenamiento del modelo, pero le permiten profundizar en las métricas del modelo para comprender mejor la calidad de sus modelos.

Para obtener más información sobre las demás opciones de análisis, consulte:

• Gráfico de dispersión para una función numérica seleccionada, que permite analizar la distribución de los valores SHAP

• Comparación de modelos

Comprensión de los conceptos

Puede resultar útil contar con un entendimiento básico de los conceptos que subyacen al análisis de modelos antes de empezar a evaluar sus modelos. Para más información, vea Comprensión de los conceptos de revisión de modelos.

Impacto de la configuración de optimización en el análisis

Su experiencia de análisis puede ser ligeramente diferente en función de si ha utilizado la optimización inteligente de modelos o no. La optimización inteligente de modelos está activada de forma predeterminada para los experimentos nuevos.

Análisis de modelos entrenados con optimización inteligente

De forma predeterminada, los nuevos modelos se ejecutan con la optimización inteligente de modelos.

La optimización inteligente del modelo proporciona un proceso de entrenamiento más sólido que, de forma ideal, crea un modelo listo para implementarse con poco o ningún perfeccionamiento adicional. El rendimiento de estos modelos cuando se implementan para casos de uso en producción sigue dependiendo de su entrenamiento con un conjunto de datos de alta calidad que incluya características y datos relevantes.

Si su versión se entrenó con optimización inteligente de modelos, tenga en cuenta lo siguiente:

• Cada modelo de la versión puede tener una selección de características diferente en función de cómo haya analizado los datos el algoritmo.

• En la pestaña Modelos, lea el Resumen de entrenamiento del modelo antes de pasar al análisis específico. El Resumen de entrenamiento del modelo muestra un resumen de cómo AutoML optimizó automáticamente el modelo iterando sobre la selección de características y aplicando transformaciones avanzadas.

Si desea más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.

Análisis de modelos entrenados sin optimización inteligente

Otra posibilidad es que haya desactivado la optimización inteligente del modelo para la versión del entrenamiento. La optimización manual de los modelos puede ser útil si necesita más control sobre el proceso de entrenamiento.

Si ha utilizado la optimización manual, todos los modelos de la versión tendrán la misma selección de características, por lo que no es necesario un resumen del entrenamiento del modelo.

Inspección de la configuración

Durante el preprocesamiento, es posible que se hayan excluido características para utilizarlas en el entrenamiento. Esto suele ocurrir porque se conoce más información sobre los datos a medida que avanza el entrenamiento que antes de ejecutar la versión.

Tras revisar el resumen de entrenamiento del modelo ( solo se muestra con la optimización inteligente), puede echar un vistazo más en profundidad a la configuración del experimento si necesita comprobar estos otros cambios.

Haga lo siguiente:

1. En el experimento, cambie a la pestaña Datos.

2. Asegúrese de que está en la vista de esquema.

3. Utilice el menú desplegable de la barra de herramientas para seleccionar un modelo de la versión.

4. Analice el esquema del modelo. Puede que desee centrarse en las columnas Información y Tipo de función para ver si ciertas características se han eliminado o se han transformado en un tipo de característica diferente.

   Por ejemplo, es posible que una característica marcada inicialmente como Posible texto libre se haya excluido después de ejecutar la versión.

   Para obtener más información sobre lo que significan los diferentes aspectos de la información, consulte Interpretación de la información sobre los conjuntos de datos.

Tenga en cuenta que si ejecuta la versión con la opción de optimización inteligente por defecto, cada modelo de la versión podría tener una selección de características diferente debido al perfeccionamiento automático. Si la versión se ha ejecutado sin optimización inteligente, la selección de características será la misma para todos los modelos de la versión. Para obtener más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.

Según lo que encuentre en esta configuración, puede que necesite volver a la fase de preparación del conjunto de datos para mejorar los datos de las características.

Inicio de un análisis detallado

Existen varias formas de iniciar un análisis detallado de un modelo concreto:

• Seleccione un modelo en la pestaña Datos o Modelos, haga clic en junto al modelo y, a continuación, haga clic en Analizar.

• Haga clic en la pestaña Analizar cuando tenga un modelo seleccionado.

• Si ya está viendo un análisis de detalles de un modelo, utilice el menú desplegable de la barra de herramientas para seleccionar un modelo diferente.

El contenido analítico depende del tipo de modelo, según lo definido por el objetivo del experimento. Habrá diferentes métricas disponibles para los distintos tipos de modelos.

Navegación por las analíticas integradas

Utilice la interfaz interactiva para analizar el modelo con las analíticas integradas.

Desplazamiento entre hojas

El panel Hojas le permite cambiar entre las hojas del análisis. Cada hoja tiene un objetivo específico. El panel puede expandirse y contraerse según sea necesario.

Selecciones

Utilice las selecciones para perfeccionar los datos. Puede seleccionar funciones y profundizar en valores y rangos específicos. Esto le permite echar un vistazo más de cerca si es necesario. En algunos casos, puede que tenga que realizar una o varias selecciones para que se muestren las visualizaciones. Haga clic en los valores de los datos en las visualizaciones y los paneles de filtrado para realizar selecciones.

Puede trabajar con las selecciones de las siguientes maneras:

• Seleccione valores haciendo clic en el contenido, definiendo rangos y moviendo el ratón.

• Busque dentro de los gráficos para seleccionar valores.

• Haga clic en un campo seleccionado en la barra de herramientas situada en la parte superior del análisis incrustado. Esto le permite buscar en las selecciones existentes, bloquearlas o desbloquearlas y modificarlas posteriormente.

• En la barra de herramientas situada en la parte superior del análisis insertado, haga clic en para eliminar una selección. Borre todas las selecciones haciendo clic en el icono .

• Avance y retroceda en las selecciones haciendo clic en y .

Los análisis contienen paneles de filtrado para facilitar la depuración de los datos. En un panel de filtrado, haga clic en la casilla de verificación para seleccionar un valor. Si el panel de filtrado contiene varias casillas de lista, haga clic en una casilla de lista para expandirla y, a continuación, realice las selecciones que desee.

Exportar datos al catálogo

Puede exportar al catálogo los datos utilizados en el análisis detallado. Los datos se exportan a un espacio en Analítica de Qlik Cloud. Puede utilizar los datos exportados para crear sus propias apps Qlik Sense para análisis personalizados.

Para más información, vea Exportar datos de entrenamiento de modelos.

Análisis de la exactitud de las predicciones

La forma de interpretar la exactitud de las predicciones dependerá de la estructura de su conjunto de datos de entrenamiento y de su caso de uso del aprendizaje automático. Además, la interpretación de estas visualizaciones depende del tipo de modelo. En las siguientes secciones podrá encontrar más información para cada tipo de modelo.

La sección Predicciones de la Vista general del modelo ofrece una vista general agregada de cuántas predicciones está haciendo el modelo correcta e incorrectamente.

Usando la hoja de Predicciones y distribución de funciones, céntrese en una característica específica para analizar la naturaleza de las imprecisiones en las predicciones. Seleccione una sola característica en el panel de filtrado situado en el lateral izquierdo de la hoja. Para todos los tipos de modelos, esta hoja muestra las imprecisiones de las predicciones y la distribución de valor real en paralelo para contribuir a poner los datos en perspectiva

Modelos de clasificación binaria

Análisis del modelo completo

En la sección Predicciones de la hoja Vista general del modelo, se muestran los datos brutos definidos en la matriz de confusión. Esto incluye verdaderos y falsos positivos, y verdaderos y falsos negativos. Estos valores se presentan como totales estáticos, por lo que no responden a las selecciones. Para obtener más información sobre lo que implican estos valores, consulte Matriz de confusión.

Análisis de los subconjuntos de datos

En la hoja de Predicciones y distribución de características, el gráfico de Predicciones erróneas muestra una barra para cada posible valor o rango de característica, con la altura de la barra correspondiente a cuántas predicciones erróneas hizo el modelo. Cada color de la barra corresponde a cada uno de los valores reales del objetivo. Seleccione una única característica —y los valores de cualquier otro campo que desee— para ver cómo cambia la precisión de la predicción para distintos subconjuntos de datos.

Modelos de clasificación multiclase

Análisis del modelo completo

En la sección Predicciones de la hoja Vista general del modelo, se muestra un gráfico de barras con una barra para cada uno de los valores reales del objetivo. La altura de cada color de una barra corresponde al número de veces que una clase específica es predicha por el modelo. Además de este gráfico, la sección Predicciones también muestra un desglose de las predicciones correctas frente a las incorrectas.

Análisis de los subconjuntos de datos

En la hoja de Predicciones y distribución de características, el gráfico de Predicciones erróneas muestra una barra para cada posible valor o rango en la característica, con la altura de barra correspondiente a cuántas predicciones erróneas hizo el modelo. Cada color de la barra corresponde a cada uno de los valores objetivo reales.

Modelos de regresión

Para los modelos de regresión, puede ver la siguiente información tanto a nivel de modelo como de característica:

• Valor medio predicho para el objetivo

• Valor real del objetivo

• Rangos de predicción del nonagésimo y décimo percentil. Estas líneas muestran los rangos en los que cabe esperar que el modelo prediga un valor. La línea del percentil noventa será siempre la línea con los valores más grandes.

• Error absoluto de la media (MAE)

Tanto para las visualizaciones de todo el modelo como para las específicas de cada característica, analice las métricas junto con la distribución de valores real de la característica.

Análisis de la importancia de las características

Acceso a una vista general

El análisis de la importancia de las características le da una indicación de cómo influye cada una de ellas en las predicciones en relación con las demás.

La sección Impacto de las características de la hoja de Vista general del modelo ofrece una visión general agregada de los valores SHAP absolutos medios. Este gráfico tiene el mismo aspecto que el gráfico Importancia de SHAP de la pestaña Modelos . El gráfico se actualiza según las selecciones que realice. Cuando seleccione una sola característica, podrá profundizar en sus valores y rangos específicos para obtener más detalles.

Análisis de la distribución de SHAP

También puede abrir la hoja Impacto por característica para obtener una visión más completa de los valores SHAP de cada valor o rango de característica. Los valores SHAP se presentan como indicación más que como valores absolutos.

Este análisis puede ayudarle a identificar patrones en cohortes específicas, así como a encontrar valores atípicos en los datos. Realice selecciones de valores o rangos en el gráfico para filtrar los datos y obtener un análisis más granular.

El aspecto y el tipo del gráfico dependen del tipo de función que seleccione.

Funciones categóricas

Las funciones categóricas se visualizan como un diagrama de cajas. El diagrama de cajas le ayuda a ver la distribución de los valores SHAP para cada valor categórico. El diagrama de cajas tiene la siguiente configuración:

• Muestra los valores SHAP medios.

• Se utiliza la configuración estándar (Tukey):

  • La casilla de un valor está definida por el primer cuartil (extremo inferior) y el tercer cuartil (extremo superior).

  • La mediana es la línea horizontal dentro de la casilla.

• Los extremos superior e inferior corresponden a los límites superior e inferior del rango intercuartílico de 1,5.

• No se muestran los valores atípicos.

Funciones numéricas

Para las características numéricas, los valores SHAP se visualizan como un gráfico de dispersión. El gráfico de dispersión tiene la siguiente configuración:

• Se muestran los valores SHAP de la muestra seleccionada.

• El aspecto del gráfico de dispersión depende del número de puntos de datos que se muestren. En los gráficos con un número inferior de puntos de datos, se muestran burbujas individuales. Para los gráficos con un gran número de puntos de datos, las burbujas se agrupan en bloques, con colores para indicar cuántos puntos de datos hay dentro de cada bloque.

En el diagrama de dispersión, haga selecciones de valores o rangos específicos para examinarlos más de cerca.