Analizar el linaje en Analítica

El linaje realiza un seguimiento de los datos y las transformaciones de datos hacia atrás, hasta la fuente original. Qlik Cloud proporciona una representación visual detallada de la historia de este flujo, donde puede examinar de forma interactiva el linaje ascendente del contenido analítico. El linaje está disponible para contenidos como apps, scripts, flujos de datos, experimentos de ML, implementaciones de ML y conjuntos de datos.

Al consumir una app de análisis, acceda a la vista de resumen del linaje, una representación de las medidas y dimensiones utilizadas en un objeto gráfico concreto. Con esta visión, puede identificar la fuente, lo que le da la seguridad de poder entender y confiar en lo que está viendo y lo que está trabajando. Para más información, vea La vista de resumen del linaje incluido en la app.

Los usuarios de negocio que examinen un campo determinado tienen una vista del linaje del campo que resume sus dependencias más importantes:

• Campos que se utilizan para derivarlo
• Asociaciones y dependencias directas, incluido el propietario y el espacio
• Fuente original (la primera fuente conocida)

Para ver las dependencias posteriores (descendente) o prospectivas (ascendentes), puede investigar qué elementos se verían afectados por un cambio efectuado en el objeto mediante la visualización del Análisis de impacto. Vea Analizar el análisis de impacto en Analítica.

Para una demostración visual de cómo usar el linaje, vea:

Usar el linaje

El gráfico de linaje

El gráfico Linaje muestra el flujo de datos a través del contenido analítico en un gráfico interactivo. Un recurso, tabla o campo se denomina nodo en un gráfico de linaje. Cuando un nodo es el nodo base que se investiga, se dice que está enfocado y se muestra como el último elemento del gráfico. En el nivel más granular, los gráficos de linaje a nivel de campo muestran las fuentes de datos y las transformaciones de las que proviene o depende un nodo.

Los gráficos de linaje son útiles para:

• Expertos en datos trabajando con los datos

• Especialistas de negocio que crean apps

• Usuarios avanzados de negocio que consumen apps

• Usuarios que trabajan con modelos de aprendizaje automático (machine learning)

Cada nodo representa un paso en el linaje del contenido seleccionado. Esta información de linaje se recopila cada vez que un activo de análisis actualiza sus datos. Si su app, script o flujo de datos no se ha actualizado recientemente, el linaje puede estar incompleto o ser inexacto.

El linaje está disponible para los tipos de contenido compatibles desde la imagen del mosaico o la fila tal y como aparecen en su Catálogo. Puede analizar el linaje de los siguientes contenidos analíticos:

• Conjunto de datos: los conjuntos de datos son fuentes de datos, por ejemplo datos cargados desde conectores o archivos de datos. Los conjuntos de datos pueden ser tablas de una base de datos, datos que se cargan en un almacenamiento de datos o datos que se generan desde una aplicación, como un archivo qvd. Los conjuntos de datos suelen tener una sola tabla cada uno, pero algunos, como los archivos de Excel, pueden tener varias tablas.

  Los conjuntos de datos que se publicaron desde Talend Studio se indican mediante . Puede ir a la tarea de Talend Management Console que se utilizó para generar el conjunto de datos haciendo clic en Open TMC Job en el menú del conjunto de datos ..... Para más información, vea Publicar conjuntos de datos y linaje en Qlik Cloud.

• App: los nodos de app representan apps analíticas de Qlik Sense que utilizan las fuentes de datos en el linaje. Los nodos de app muestran el nombre de la app y su ubicación en Qlik Sense.

• Script: los nodos de script representan los scripts creados en la interfaz de Script.

• Flujo de datos: los flujos de datos pueden inspeccionarse para comprender mejor las fuentes de datos que utilizan y transforman.

• Experimento de ML: puede entender el linaje de un experimento de aprendizaje automático, que consiste en las fuentes de datos que se han unido para producir los datos de entrenamiento para los modelos de aprendizaje automático.

• Implementación de ML: puede comprender el linaje de una implementación de ML y cómo se está utilizando en las predicciones. El linaje de las implementaciones de ML suele consistir en experimentos de ML, versiones de experimentos, modelos y conjuntos de datos.

Los nodos de entrada típicos incluyen fuentes de datos que son utilizadas por el nodo base, o apps que producen conjuntos de datos. El linaje a nivel de campo permite una investigación detallada sobre cómo se han calculado los campos y su origen específico en transformaciones y aplicaciones.

Los nodos disponibles en un gráfico de linaje son las entradas de su contenido seleccionado. Seleccione un elemento para designarlo como nodo base. Los nodos de entrada son nodos que se encuentran más arriba del nodo base.

Los nodos disponibles en un gráfico de linaje son las entradas a su nodo base seleccionado, en otras palabras, el nodo enfocado. El nodo base es el nodo singular del que desea recuperar el linaje; por ejemplo, puede ser una aplicación, un flujo de datos, un experimento de ML, un conjunto de datos, un archivo, una tabla o un campo.

Será el nodo situado más a la derecha en su pantalla y estará delineado en azul. Es el centro de su investigación y solo se presentarán las entradas a ese nodo base.

Mientras explora el linaje, puede cambiar de forma interactiva el nodo base a otra tabla, aplicación, campo u otro elemento de la pantalla para centrar su investigación.

Las líneas que conectan los nodos son los bordes. Los bordes representan la relación de un nodo con otro nodo. Representan relaciones que indican asociaciones, por ejemplo, que una aplicación está utilizando un determinado conjunto de datos. También pueden representar datos que se producen como subproducto de una aplicación. El conjunto de nodos y bordes forman el gráfico de linaje.

Los nodos se contraen o se expanden para revelar los niveles de jerarquía desde una granularidad gruesa a una más fina, comenzando con el grupo de conjuntos de datos o la aplicación de nivel superior hasta el nivel más granular, que es el nivel de campo.

Detalles de nodo

Los detalles están limitados por su acceso a ese objeto. Los detalles pueden proporcionar la siguiente información:

• Nombre

• Descripción

• Etiquetas

• Localización

• Espacio

• Propietario

• Creador

• Modificado por última vez

Navegar por el gráfico de linaje

Haga clic y arrastre el gráfico para navegar por el gráfico de linaje y centrarlo. También puede utilizar los botones de navegación. Seleccione Inicio para centrar el gráfico de linaje en el nodo base. Haga clic en el botón de avance y retroceso para desplazarse por sus selecciones.

El gráfico de Linaje muestra las dependencias ascendentes de su contenido analítico, que se presenta como el nodo por defecto cuando abre el gráfico para el mismo. Puede acceder al linaje (ascendente) o al análisis de impacto (descendente) de otros nodos que aparezcan en el gráfico seleccionando y Linaje (nuevo nodo base) o Análisis de impacto. Seleccione un nodo para designarlo como el nodo base.

Expanda o contraiga los nodos para expandir o contraer grupos de objetos en el mismo nivel.

Vista resumida del linaje en una app

La vista de resumen del linaje de una app ofrece a los usuarios una visión general de alto nivel de todas las dependencias ascendentes de la app. Si desea más información, consulte La vista de resumen del linaje incluido en la app.

Análisis de linaje para contenidos de aprendizaje automático (machine learning)

Puede utilizar el gráfico de Linaje para analizar los orígenes del contenido de aprendizaje automático, incluidos los experimentos de ML, las implementaciones de ML y los conjuntos de datos. Utilice el gráfico para obtener una visión holística de cómo se crearon los modelos de aprendizaje automático, los datos con los que se entrenaron y para qué se utilizan en escenarios de producción.

Los experimentos, las implementaciones y los conjuntos de datos también aparecen como nodos cuando se analizan otros contenidos del gráfico de linaje, como las apps descendentes.

Los activos de aprendizaje automático también se muestran en el Análisis de impacto para un análisis exhaustivo de los contenidos descendentes. Para más información, vea Analizar el análisis de impacto en Analítica.

Abrir el Linaje para contenidos de aprendizaje automático

Tome una de las opciones siguientes:

• En su centro de actividades, haga clic en junto a un experimento de ML, una implementación de ML o un conjunto de datos, y seleccione Linaje.

• En un experimento o implementación de ML, haga clic en en la barra de navegación y seleccione Linaje.

Navegar por el Linaje en busca de contenidos de aprendizaje automático (Machine Learning)

Los nodos de aprendizaje automático (machine learning) se exploran de la misma forma que otros contenidos. Para obtener vistas generales de la interfaz, consulte:

• El gráfico de linaje

• Navegar por el gráfico de linaje

Reconocer los elementos de aprendizaje automático en el gráfico de Linaje

La tabla siguiente resume los elementos habituales relacionados con el aprendizaje automático que aparecen en el gráfico de Linaje.

Elementos de linaje comunes para el aprendizaje automático (mahine learning)

Elemento	Icono(s)	Explicación
Almacenamiento de archivos		No es exclusivo de los contenidos de aprendizaje automático. Muestra la ubicación en la que se almacena un conjunto de datos (en la mayoría de los casos, en un espacio).Relevante para el conjunto de datos de entrenamiento, las exportaciones de los análisis integrados en un experimento, aplicar los conjuntos de datos utilizados para las predicciones y los conjuntos de datos resultado de salida de las predicciones.
Conjunto de datos	Muchos (por ejemplo, para QVD)	No es exclusivo de los contenidos de aprendizaje automático. Se utiliza para representar conjuntos de datos de entrenamiento, exportaciones de análisis integrados en un experimento, conjuntos de datos de aplicación y conjuntos de datos que son resultado de salida de predicciones.
Experimento de ML		Un experimento de ML en el que se entrenan modelos.
Versión del experimento de ML		La versión dentro del experimento de ML, en la que se han entrenado uno o más modelos.
Modelo de ML		Un modelo de aprendizaje automático (Machine Learning, ML) entrenado dentro de una versión de un experimento. Se utiliza para representar modelos entrenados en un experimento de ML y modelos implementados en una implementación de ML.
Implementación de ML		Una implementación de ML que contiene uno o varios modelos implementados.
Sin icono	-	Los nodos de salida de predicciones en una implementación de ML no tienen iconos. Los campos incluidos en un conjunto de datos que es resultado de salida de una predicción tampoco tienen iconos.

Experimentos de linaje y ML

Los experimentos de ML pueden aparecer de las siguientes maneras:

• Como nodo base de un gráfico de linaje.

• Como nodos ascendentes de otros procesos y productos, como predicciones o apps predictivas.

Los experimentos de ML se presentan agrupados. Se expanden de la siguiente manera:

• Un experimento de ML se expande en una o más versiones del experimento.

• Una versión de un experimento se expande en uno o varios modelos.

Cuando un modelo entrenado en un experimento se implementa en una implementación de ML, aparece en el gráfico de linaje cuando el contenido descendente (por ejemplo, predicciones o implementaciones de ML) se selecciona como nodo base.

Implementaciones de linaje y ML

Las implementaciones de ML pueden aparecer de las siguientes maneras:

• Como nodo base de un gráfico de linaje.

• Como nodos ascendentes de otros procesos, como las apps predictivas, los scripts o flujos de datos.

Las implementaciones de ML se presentan agrupadas. Se expanden de la siguiente manera:

• Una implementación de ML se expande en uno o más modelos implementados.

• Si un modelo de la implementación se ha utilizado en predicciones por lotes, el modelo se amplía para mostrar el resultado de salida de cada predicción por lotes.

El linaje a nivel de campo está disponible para los conjuntos de datos de aplicación y los conjuntos de datos que son resultado de salida de una predicción relacionados con una implementación de ML.

Los modelos implementados utilizados para las predicciones están conectados de nuevo al experimento en el que fueron entrenados.

Conjuntos de datos de linaje y ML

Los conjuntos de datos de ML son conjuntos de datos que se utilizan en experimentos de ML y en implementaciones de ML o que son creados por ellos. Entre ellos se incluyen:

• Conjuntos de datos de entrenamiento

• Conjuntos de datos exportados de análisis integrados en un experimento de ML (pestañas Comparar y Analizar)

• Aplicar conjuntos de datos

• Conjuntos de datos que son resultado de salida de una predicción, incluidos predicción, SHAP, SHAP de coordenadas, errores y conjuntos de datos de aplicación

Contenido eliminado

Si se elimina un experimento de ML, una implementación de ML o un conjunto de datos utilizado en procesos de aprendizaje automático, se sigue mostrando en el gráfico de Linaje al analizar otros nodos.

Permisos

Para obtener información sobre los permisos, consulte Permisos.

Ejemplo de escenario

Para ver un escenario a modo de ejemplo, consulte Ejemplo: investigar el linaje de un contenido de aprendizaje automático (machine learning).

Limitaciones

El gráfico de linaje tiene las siguientes limitaciones:

• Las apps que no se hayan recargado tras la publicación del linaje en Qlik Cloud puede que no tengan la información completa del linaje disponible hasta después de su recarga. Los detalles de algunos nodos pueden estar limitados si no se han cargados después de activar el linaje para su espacio empresarial inquilino.

• Los detalles de nodos de los conjuntos de datos fuera del espacio empresarial inquilino, como las conexiones de SQL Server o Google Drive, se limitan al tipo y nombre del conjunto de datos. Las conexiones REST solo muestran que se trata de datos REST.

Permisos

Permisos para apps, scripts, flujos de datos y conjuntos de datos

Debe poder ver una app o conjunto de datos para ver el linaje del elemento desde sus centros de actividades. Si puede ver el gráfico de linaje de un nodo base, podrá ver los detalles básicos y los metadatos de los objetos de linaje ascendentes.

Permisos para experimentos e implementaciones de ML

Permisos de acceso completo

Si tiene lo siguiente, puede abrir directamente Linaje desde el experimento de ML o la implementación de ML, o desde su centro de actividades:

• Derecho Profesional o Full User

• El rol de seguridad Automl Experiment Contributor o Automl Deployment Contributor

• Para experimentos de ML o implementaciones de ML en espacios compartidos, uno de los siguientes roles de espacio en el espacio compartido:

  • Propietario (del espacio)

  • Puede administrar

  • Puede editar

  • Puede ver

• Para experimentos de ML o implementaciones de ML en espacios administrados, uno de los siguientes roles de espacio en el espacio administrado:

  • Propietario (del espacio)

  • Puede administrar

  • Puede contribuir

  • Puede ver

  • Puede operar

Con este nivel de acceso, también tiene permisos para ver los detalles del experimento de ML o de la implementación de ML.

Permisos para analizar el linaje

Si tiene lo siguiente, podrá ver el experimento de ML o la implementación de ML en el gráfico de Linaje cuando se defina otro contenido como nodo base. También puede establecer el experimento o la implementación como nodo base para el análisis.

• Derecho Profesional o Full User

• Para experimentos de ML o implementaciones de ML en espacios compartidos, uno de los siguientes roles de espacio en el espacio compartido:

  • Propietario (del espacio)

  • Puede administrar

  • Puede editar

  • Puede ver

• Para experimentos de ML o implementaciones de ML en espacios administrados, uno de los siguientes roles de espacio en el espacio administrado:

  • Propietario (del espacio)

  • Puede administrar

  • Puede contribuir

  • Puede ver

  • Puede operar

Este nivel de acceso es más limitado que el nivel de acceso completo. Si también tiene el rol de seguridad Automl Experiment Contributor o Automl Deployment Contributor, tendrá acceso completo y podrá realizar otras acciones, como abrirlos en el gráfico de Linaje directamente y ver los detalles.

Seguridad

• Un usuario solo puede cambiar a un nodo base al que tenga acceso; de lo contrario, el menú contextual no está disponible.

• Si un usuario tiene acceso al nodo base, tendrá acceso para ver todo el linaje ascendente.

Ejemplos de casos de uso para analizar el linaje

Para un recorrido por el análisis de linaje, consulte Casos de uso del linaje a nivel de campo.

Ejemplo: explorar de dónde proviene la información con la vista de resumen del linaje

Como consumidor de análisis que observa un gráfico de barras en una app denominada cars-data4-app, le gustaría saber de dónde proviene la información. Asegúrese de que las opciones Mostrar detalles y Mostrar expresiones están activadas para el gráfico en la sección Aspecto > General de Propiedades y, a continuación, seleccione pasar al modo de análisis de hojas. Haga clic con el botón derecho del ratón en el gráfico, o utilice el menú , y seleccione Mostrar detalles para acceder a la vista del consumidor de linaje. Haga clic en Mostrar dependencias.

Verá que la dimensión Car_ID depende del campo Car_ID que se encuentra en tres fuentes CSV indicadas en la lista. Seleccione el menú en la entrada del campo y seleccione Linaje - Car_ID / Cars para abrir un gráfico de linaje para el campo Car_ID en la app.

El gráfico de linaje se ve de derecha a izquierda y muestra que el campo Car_ID está en la tabla Cars que se cargó en la app cars-data4-app. Expanda los nodos a medida que rastrea la trazabilidad del historial del campo hasta el archivo original que se cargó en Qlik Cloud. Verá que la primera transmisión de retorno muestra que se ha cargado en la app cars-data4-app un CSV cars-data.csv que contiene el campo Car_ID. El siguiente nodo hacia atrás es una app, cars-data3-app, a partir de la cual se generó el cars-data.csv. Retrocediendo una transmisión más y ampliando el nodo, verá que el archivo fuente original era un archivo CSV cars-data3.csv y contenía el campo ID.

Al expandir las tablas y ver los campos puede identificar el archivo, la tabla y el campo fuente original de la dimensión del gráfico de barras Car_id-ID.

Ejemplo: investigar los orígenes de un conjunto de datos y cómo se creó

Como desarrollador de una app, está pensando en utilizar un conjunto de datos current_customers_analytics.xlsx en su aplicación. Investigue los orígenes de este conjunto de datos para poder comprender de dónde provienen los datos. Desde el icono del conjunto de datos o la fila, seleccione Linaje en el menú para abrir el gráfico de linaje. Desde el gráfico de linaje puede ver los metadatos del conjunto de datos seleccionando el menú en el XLSX current_customers_analytics.xlsx y Abrir la vista general.

Haga clic en la flecha hacia atrás del navegador para volver al gráfico de linaje y explorar el gráfico de linaje para el conjunto de datos. Expanda , el nodo current_customers_analytics.xlsx, y haga clic en Seleccionar todo, para ver los campos disponibles. Haga lo mismo para todos los nodos. Tenga en cuenta que cada campo ofrece la opción de convertirlo en el nodo base de enfoque seleccionando Linaje (nuevo nodo base) o seleccionando Análisis de impacto para ver el linaje hacia adelante y los objetos dependientes que se verán afectados por los cambios en el conjunto de datos.

Siguiendo el linaje hacia atrás y expandiendo los nodos, puede ver que este conjunto de datos XLSX es el resultado de salida de la app Prep Current Customers Sales - Analytics. Retrocediendo otra retransmisión y expandiendo el nodo Almacenamiento de archivos, verá que la app de análisis de ventas tenía cargado un archivo CSV: rgb_customers.csv. El análisis a nivel de campo revela que el campo Tags en el archivo fuente original se renombró a rgb_customers.Tags en la app de análisis de ventas. El archivo CSV original se puede abrir en la vista general para revelar metadatos valiosos, como el propietario, el creador, las métricas de uso, las etiquetas, las clasificaciones, el perfil de los campos y el análisis de impacto.

Ejemplo: investigar el linaje de un contenido de aprendizaje automático (machine learning)

Un usuario de empresa ocasional o un experto en aprendizaje automático (machine learning) podrían utilizar el gráfico de Linaje para inspeccionar los orígenes de determinados valores predichos. Con el nodo base configurado en el conjunto de datos de predicción, este usuario puede ver:

• Los datos del entrenamiento, incluidas sus fuentes y transformaciones

• El experimento, la versión del experimento y el modelo

• Dónde se implementó el modelo y cómo se ha utilizado

La imagen superior muestra el siguiente proceso:

1. Un flujo de datos carga y transforma datos de un conjunto de datos CSV almacenados en un espacio personal . El resultado se almacena en un conjunto de datos Parquet en el mismo espacio.

2. El conjunto de datos Parquet se utiliza en la versión 1 de un experimento de ML . Esta versión del experimento entrena un modelo de ML .

3. El modelo de ML se implementa en una implementación de ML .

4. Utilizando un conjunto de datos CSV en un espacio personal como conjunto de datos de aplicación, la implementación de ML genera un conjunto de datos de predicción en formato Parquet .