Supervisar la tarea de almacenamiento de Qlik Open Lakehouse

La tarea de almacenamiento en los proyectos de Qlik Open Lakehouse difiere de otros proyectos en que se ejecuta de forma continua, en lugar de por lotes. Como resultado, las métricas de seguimiento son diferentes.

Vista general de la supervisión general

La vista de supervisión le permite realizar un seguimiento del estado y las métricas de las tareas:

• Pestañas

  Cambie entre Información, Carga completa y Procesamiento de cambios para ver las métricas relevantes para cada fase de la tarea.

• Filtro de estado del conjunto de datos

  Un gráfico de barras encima de la tabla de conjuntos de datos muestra cuántos conjuntos de datos están en cada estado: En cola, Cargando, Completado y Error. El gráfico se actualiza dinámicamente a medida que cambian los estados del conjunto de datos. Haga clic en un segmento de estado para filtrar la tabla de conjuntos de datos y mostrar solo los conjuntos de datos en ese estado.

• Ocultar widgets

  Haga clic en Ocultar widgets para contraer los widgets de métricas. Esto proporciona más espacio para ver la tabla de conjuntos de datos a continuación.

• Fecha de inicio

  La fecha y hora en que se inició la ejecución de la tarea actual.

• Fecha de finalización

  La fecha y hora en que finalizó la ejecución de la tarea. Esto solo se muestra para las ejecuciones de tareas finalizadas.

• Historial de ejecuciones

  Haga clic en Historial de ejecuciones para ver una lista de las ejecuciones de tareas anteriores y sus resultados.

Detalles de seguimiento de información

La sección Info proporciona un resumen del estado general de la tarea:

• Ejecutar

  Muestra el ID de ejecución de la ejecución actual.

• Datos

  Tarea de datos actualizada a muestra la hora a la que se actualiza la vista más antigua. Representa el último punto en el tiempo en el que todos los cambios de origen confirmados hasta ese momento ya están disponibles en las tablas de destino.

  Si no se detectan nuevos cambios en la fuente, este valor se fija en la hora actual.

• Tarea

  Muestra el nombre y el estado del clúster en el que se ejecuta esta tarea, así como la información y el estado generales de la tarea.

Detalles de la supervisión de carga completa

Puede ver las siguientes estadísticas para la tarea de datos en Carga completa:

• Conjuntos de datos en total

  El número de conjuntos de datos cargados.

• Conjuntos de datos con errores

  El número de conjuntos de datos con errores.

• Cambios entrantes

  El número de cambios entrantes.

• Latencia total

  Latencia actual de la tarea (hh:mm:ss). Esta duración representa el tiempo desde que el cambio está disponible en el origen hasta que el cambio se aplica y está disponible en el destino.

Puede ver los siguientes detalles de cada tabla en la tarea de datos:

• Nombre

  El nombre de la base de datos de destino.

• Estado

  El estado de la tabla será: En cola, Cargando, Finalizado o Error.

• Iniciado

  La hora a la que se inició el proceso de carga.

• Finalizado

  La hora en que finalizó la carga.

• Duración

  Duración de la carga en formato hh:mm:ss.

• Registros

  El número de registros que se replicaron durante la carga.

• Mensaje

  Muestra un mensaje de error si la carga no se procesó correctamente.

Detalles de supervición del procesamiento de cambios

Puede ver los siguientes detalles de la tarea de datos para supervisar el procesamiento de cambios en Procesamiento de cambios:

• Conjuntos de datos en total

  El número de conjuntos de datos cargados.

• Conjuntos de datos con errores

  El número de conjuntos de datos con errores.

• Cambios entrantes

  El número de cambios entrantes.

• Cambios procesados

  El número de cambios procesados.

• Latencia total

  Latencia actual de la tarea (hh:mm:ss). Esta duración representa el tiempo desde que el cambio está disponible en el origen hasta que el cambio se aplica y está disponible en el destino.

Puede ver los siguientes detalles de cada tabla en la tarea de datos:

• Nombre

  El nombre de la tabla de destino en el activo de destino.

• State

  El estado de la tabla será: Acumulando cambios o Error.

• Cambios entrantes

  El número de cambios procesados por la tarea de ubicación de destino (o aterrizaje) que están a la espera de ser aplicados por la tarea de almacenamiento.

• Cambios procesados

  El número total de cambios que se ha aplicado al objetivo desde la última vez que se cargó por completo el conjunto de datos (mediante la carga completa inicial o mediante una acción de recarga).

• Procesado por última vez

  La última hora de la fuente de datos que se insertó en el conjunto de datos de destino, traducida a la hora local.

• Cambios no optimizados

  Número de registros que se pueden consultar a través de la vista, pero que aún no se han fusionado en particiones Iceberg optimizadas. Los recuentos elevados pueden afectar al rendimiento hasta que finalicen las optimizaciones en segundo plano.

  Refleja el número de registros que se encuentran actualmente en la partición de cambios y que aún no se han aplicado a las particiones actual o histórica.

  Si este número es constantemente alto, considere la posibilidad de aumentar la capacidad de cálculo del clúster para acelerar la optimización.

• Mensaje

  Muestra un mensaje de error si los cambios en la tabla fallan y no se procesan.

Visualizar el historial de ejecuciones

Puede ver el historial de ejecuciones de una tarea para identificar las causas raíz y comprender los patrones a lo largo del tiempo.

• Haga clic en Historial de ejecuciones en la vista Monitor de una tarea.

• Haga clic en Historial de ejecuciones en el menú ... de una tarea en las Vistas de monitor.

Se muestran hasta 100 ejecuciones en el historial de ejecuciones según las selecciones de filtro. Ajuste los criterios de filtrado para ver otras ejecuciones. Puede filtrar por fecha de finalización de la ejecución y estado de la tarea. La información sobre las ejecuciones se conserva durante 13 meses. Los metadatos de los conjuntos de datos de las ejecuciones se conservan durante 30 días.