Realización de análisis detallados de modelos

En la pestaña Analizar del experimento, puede centrarse en un único modelo para analizar en profundidad su rendimiento predictivo. El análisis detallado se lleva a cabo mediante las analíticas integradas.

Una vez finalizado el entrenamiento, seleccione un modelo. A continuación, abra la pestaña Analizar para ver más información sobre la precisión de las predicciones del modelo, lo que está influyendo en las tendencias de los datos y otra información. Los datos que se muestran en la pestaña Analizar se basan en las predicciones que el modelo genera a partir de los datos de retención.

Puede pasar fácilmente de un modelo a otro utilizando el menú desplegable de la barra de herramientas. El menú desplegable se adapta a los filtros que haya aplicado en la pestaña Modelos, lo que le permite centrarse en los principales modelos candidatos a ser implementados.

Algunas de las principales ventajas del análisis detallado de modelos son:

• Interfaz interactiva en la que puede depurar y personalizar los datos de visualización según sus necesidades.

• Un primer plano de las predicciones realizadas sobre los datos de los valores de retención, junto con las estadísticas de importancia de las características.

Flujo de trabajo del análisis

Para entender de un modo completo los resultados del entrenamiento del modelo, se recomienda que complete el análisis rápido y, a continuación, proceda con las opciones adicionales de las pestañas Comparar y Analizar. El análisis rápido ofrece un resumen del entrenamiento del modelo que muestra qué características se han descartado durante el proceso de optimización inteligente, y también proporciona una serie de visualizaciones generadas automáticamente que permiten un consumo rápido. Las pestañas Comparar y Analizar no muestran el resumen de entrenamiento del modelo, pero le permiten profundizar en las métricas del modelo para comprender mejor la calidad de sus modelos.

Para obtener más información sobre las demás opciones de análisis, consulte:

• Gráfico de dispersión para una característica numérica seleccionada, que permite analizar la distribución de los valores SHAP

• Comparación de modelos

Comprensión de los conceptos

Puede resultar útil contar con un entendimiento básico de los conceptos que subyacen al análisis de modelos antes de empezar a evaluar sus modelos. Para más información, vea Comprensión de los conceptos de revisión de modelos.

Impacto de la configuración de optimización en el análisis

Para los experimentos de clasificación y regresión, su experiencia de análisis puede ser ligeramente diferente en función de si ha utilizado la optimización inteligente de modelos o no. La optimización inteligente de modelos está activada de forma predeterminada para los nuevos experimentos de clasificación y regresión.

Análisis de modelos entrenados con optimización inteligente

De forma predeterminada, los nuevos experimentos de clasificación y regresión se ejecutan con la optimización inteligente de modelos.

La optimización inteligente de modelos proporciona un proceso de entrenamiento más sólido que, de forma ideal, crea un modelo listo para implementarse con poco o ningún perfeccionamiento adicional. El rendimiento de estos modelos cuando se implementan para casos de uso en producción sigue dependiendo de su entrenamiento con un conjunto de datos de alta calidad que incluya características y datos relevantes.

Si su versión se entrenó con optimización inteligente de modelos, tenga en cuenta lo siguiente:

• Cada modelo de la versión puede tener una selección de características diferente en función de cómo haya analizado los datos el algoritmo.

• En la pestaña Modelos, lea el resumen de entrenamiento del modelo antes de adentrarse en el análisis específico. El Resumen de entrenamiento del modelo muestra un resumen de cómo Qlik Predict optimizó automáticamente el modelo mediante la iteración en la selección de funciones y la aplicación de transformaciones avanzadas.

Para obtener más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.

Análisis de modelos entrenados sin optimización inteligente

Otra posibilidad es que haya desactivado la optimización inteligente de modelos para la versión del entrenamiento. La optimización manual de los modelos puede ser útil si necesita más control sobre el proceso de entrenamiento.

Si ha utilizado la optimización manual, todos los modelos de la versión tendrán la misma selección de características, por lo que no es necesario un resumen del entrenamiento del modelo.

Inspección de la configuración

Durante el preprocesamiento, es posible que se hayan excluido características para utilizarlas en el entrenamiento. Esto suele ocurrir porque se conoce más información sobre los datos a medida que avanza el entrenamiento que antes de ejecutar la versión.

Tras revisar el resumen de entrenamiento del modelo ( solo se muestra con la optimización inteligente), puede echar un vistazo más en profundidad a la configuración del experimento si necesita comprobar estos otros cambios.

Haga lo siguiente:

1. En el experimento, cambie a la pestaña Datos.

2. Asegúrese de que está en la vista de esquema.

3. Utilice el menú desplegable de la barra de herramientas para seleccionar un modelo de la versión.

4. Analice el esquema del modelo. Puede que desee centrarse en las columnas Información y Tipo de función para ver si ciertas características se han eliminado o se han transformado en un tipo de característica diferente.

   Por ejemplo, es posible que una característica marcada inicialmente como Posible texto libre se haya excluido después de ejecutar la versión.

   Para obtener más información sobre lo que significan los diferentes aspectos de la información, consulte Interpretación de la información sobre los conjuntos de datos.

Tenga en cuenta que si ejecuta la versión con la opción de optimización inteligente por defecto, cada modelo de la versión podría tener una selección de características diferente debido al perfeccionamiento automático. Si la versión se ha ejecutado sin optimización inteligente, la selección de características será la misma para todos los modelos de la versión. Para obtener más información sobre la optimización inteligente de modelos, consulte Optimización inteligente de modelos.

Según lo que encuentre en esta configuración, puede que necesite volver a la fase de preparación del conjunto de datos para mejorar los datos de las características.

Inicio de un análisis detallado

Existen varias formas de iniciar un análisis detallado de un modelo concreto:

• Seleccione un modelo en la pestaña Datos o Modelos, haga clic en junto al modelo y, a continuación, haga clic en Analizar.

• Haga clic en la pestaña Analizar cuando tenga un modelo seleccionado.

• Si ya está viendo un análisis de detalles de un modelo, utilice el menú desplegable de la barra de herramientas para seleccionar un modelo diferente. Los modelos se presentan para los filtros que haya aplicado en la pestaña Modelos. Las mejores recomendaciones de modelos se destacan con los iconos (la mejor en general), (la más precisa) y (la más rápida). Si lo desea, puede filtrar los modelos en la pestaña Modelos para afinar la lista detallada de modelos que aparece en este menú desplegable.

El contenido analítico depende del tipo de modelo, según lo definido por el objetivo del experimento. Habrá diferentes métricas disponibles para los distintos tipos de modelos.

Navegación por las analíticas integradas

Utilice la interfaz interactiva para analizar el modelo con la analítica integrada.

Desplazarse entre hojas

El panel Hojas le permite cambiar entre las hojas del análisis. Cada hoja tiene un objetivo específico. El panel puede expandirse y contraerse según sea necesario.

Hacer selecciones

Utilice las selecciones para perfeccionar los datos. Puede seleccionar características y profundizar en valores y rangos específicos. Esto le permite echar un vistazo más de cerca si es necesario. En algunos casos, puede que tenga que realizar una o varias selecciones para que se muestren las visualizaciones. Haga clic en los valores de los datos en las visualizaciones y los paneles de filtrado para realizar selecciones.

Puede trabajar con las selecciones de las siguientes maneras:

• Seleccione valores haciendo clic en el contenido, definiendo rangos y dibujando.

• Busque dentro de los gráficos para seleccionar valores.

• Haga clic en un campo seleccionado en la barra de herramientas situada en la parte superior del análisis incrustado. Esto le permite buscar en las selecciones actuales, bloquearlas o desbloquearlas y modificarlas posteriormente.

• En la barra de herramientas situada en la parte superior del análisis insertado, haga clic en para eliminar una selección. Borre todas las selecciones haciendo clic en el icono .

• Avance y retroceda en las selecciones haciendo clic en y .

Los análisis contienen paneles de filtrado para facilitar la depuración de los datos. En un panel de filtrado, haga clic en la casilla de verificación para seleccionar un valor. Si el panel de filtrado contiene varias casillas de lista, haga clic en una casilla de lista para expandirla y, a continuación, realice las selecciones que desee.

Exportar datos al catálogo

Puede exportar al catálogo los datos utilizados en el análisis detallado. Los datos se exportan a un espacio en Qlik Cloud Analytics. Puede utilizar los datos exportados para crear sus propias apps Qlik Sense para análisis personalizados.

Para más información, vea Exportar datos de entrenamiento de modelos.

Análisis de la exactitud de las predicciones

La forma de interpretar la exactitud de las predicciones dependerá de la estructura de su conjunto de datos de entrenamiento y de su caso de uso del aprendizaje automático. Además, la interpretación de estas visualizaciones depende del tipo de modelo. En las siguientes secciones podrá encontrar más información para cada tipo de modelo.

La sección Predicciones de la Vista general del modelo ofrece una vista general agregada de cuántas predicciones está haciendo el modelo correcta e incorrectamente.

Usando la hoja de Predicciones y distribución de características, céntrese en una característica específica para analizar la naturaleza de las imprecisiones en las predicciones. Seleccione una sola función en el panel de filtrado situado en el lateral izquierdo de la hoja. Para todos los tipos de modelos, esta hoja muestra las imprecisiones de las predicciones y la distribución de valor real en paralelo para contribuir a poner los datos en perspectiva

Análisis de la importancia de las características

Acceso a una vista general

El análisis de la importancia de las características le da una indicación de cómo influye cada una de ellas en las predicciones en relación con las demás.

La sección Impacto de las características de la hoja de Vista general del modelo ofrece una visión general agregada de los valores SHAP absolutos medios. Este gráfico tiene el mismo aspecto que el gráfico Importancia de SHAP de la pestaña Modelos . El gráfico se actualiza según las selecciones que realice. Cuando seleccione una sola característica, podrá profundizar en sus valores y rangos específicos para obtener más detalles.

Análisis de la distribución de SHAP

También puede abrir la hoja Impacto por característica para obtener una visión más completa de los valores SHAP de cada valor o rango de característica. Los valores SHAP se presentan como indicación más que como valores absolutos.

Este análisis puede ayudarle a identificar patrones en cohortes específicas, así como a encontrar valores atípicos en los datos. Realice selecciones de valores o rangos en el gráfico para filtrar los datos y obtener un análisis más granular.

El aspecto y el tipo del gráfico dependen del tipo de característica que seleccione.

Características categóricas

Las características categóricas se visualizan como un diagrama de cajas. El diagrama de cajas le ayuda a ver la distribución de los valores SHAP para cada valor categórico. El diagrama de cajas tiene la siguiente configuración:

• Muestra los valores SHAP medios.

• Se utiliza la configuración estándar (Tukey):

  • La casilla de un valor está definida por el primer cuartil (extremo inferior) y el tercer cuartil (extremo superior).

  • La mediana es la línea horizontal dentro de la casilla.

• Los extremos superior e inferior corresponden a los límites superior e inferior del rango intercuartílico de 1,5.

• No se muestran los valores atípicos.

Características numéricas

Para las características numéricas, los valores SHAP se visualizan como un gráfico de dispersión. El gráfico de dispersión tiene la siguiente configuración:

• Se muestran los valores SHAP de la muestra seleccionada.

• El aspecto del gráfico de dispersión depende del número de puntos de datos que se muestren. En los gráficos con un número inferior de puntos de datos, se muestran burbujas individuales. Para los gráficos con un gran número de puntos de datos, las burbujas se agrupan en bloques, con colores para indicar cuántos puntos de datos hay dentro de cada bloque.

En el diagrama de dispersión, haga selecciones de valores o rangos específicos para examinarlos más de cerca.