Supervisar la tarea de almacenamiento Qlik Open Lakehouse

La tarea de almacenamiento en los proyectos de Qlik Open Lakehouse difiere de otros proyectos en que se ejecuta de forma continua, en lugar de por lotes. Como resultado, las métricas de seguimiento son diferentes.

Detalles generales del seguimiento

Esta sección ofrece un resumen del estado general de la tarea:

• Tarea de datos actualizada a

  La fecha-hora hasta la que todas las tablas están totalmente sincronizadas. Representa el último punto en el tiempo en el que todos los cambios de origen confirmados hasta ese momento ya están disponibles en las tablas de destino.

  Si no se detectan nuevos cambios en la fuente, este valor se fija en la hora actual.

• Número de conjuntos de datos

  Número total de conjuntos de datos incluidos en esta tarea.

• Conjuntos de datos con errores

  Número total de conjuntos de datos en esta tarea que encontraron errores.

• Clúster de lakehouse

  El nombre y el estado del clúster en el que se está ejecutando esta tarea.

Detalles de supervisión de la carga completa

Puede ver los siguientes detalles de la tarea de datos en Estado de carga completa:

• En cola: el número de tablas actualmente en cola.

• Carga: el número de tablas que se están cargando actualmente.

• Completadas: el número de tablas completadas.

• Error: el número de tablas con errores.

Puede ver los siguientes detalles de cada tabla en la tarea de datos:

• Nombre

  El nombre de la base de datos de destino.

• Estado

  El estado de la tabla será: En cola, Cargando, Finalizado o Error.

• Iniciado

  La hora a la que se inició el proceso de carga.

• Finalizado

  La hora en que finalizó la carga.

• Duración

  Duración de la carga en formato hh:mm:ss.

• Registros

  El número de registros que se replicaron durante la carga.

• Mensaje

  Muestra un mensaje de error si la carga no se procesó correctamente.

Detalles de la supervisión de Captura de datos de cambios (CDC)

Puede ver los siguientes detalles de CDC de la tarea de datos para supervisar el procesamiento de cambios en Estado de CDC:

• Cambios entrantes: el número de cambios presentes en la fuente y a la espera de ser procesados. Puede ver cuántos se acumulan y cuántos se están aplicando.

• Cambios procesados: el número de cambios que se han procesado y aplicado (en las últimas 24 horas).

• Latencia: la diferencia de tiempo (hh:mm:ss) entre la marca de tiempo del evento de origen más antiguo en el destino de aterrizaje que no ha sido procesado para su almacenamiento y la hora actual. Esta duración representa el tiempo que transcurre desde que el cambio está disponible en el origen hasta que el cambio se aplica y está disponible en el activo de aterrizaje.

Puede ver los siguientes detalles de cada tabla en la tarea de datos:

• Nombre

  El nombre de la tabla de destino en el activo de destino.

• State

  El estado de la tabla será: Acumulando cambios o Error.

• Cambios entrantes

  El número de cambios procesados por la tarea de ubicación de destino (o aterrizaje) que están a la espera de ser aplicados por la tarea de almacenamiento.

• Cambios procesados

  El número total de cambios que se ha aplicado al objetivo desde la última vez que se cargó por completo el conjunto de datos (mediante la carga completa inicial o mediante una acción de recarga).

• Procesado por última vez

  La última hora de la fuente de datos que se insertó en el conjunto de datos de destino, traducida a la hora local.

• Cambios no optimizados

  Número de registros que se pueden consultar a través de la vista, pero que aún no se han fusionado en particiones Iceberg optimizadas. Los recuentos elevados pueden afectar al rendimiento hasta que finalicen las optimizaciones en segundo plano.

  Refleja el número de registros que se encuentran actualmente en la partición de cambios y que aún no se han aplicado a las particiones actual o histórica.

  Si este número es constantemente alto, considere la posibilidad de aumentar la capacidad de cálculo del clúster para acelerar la optimización.

• Mensaje

  Muestra un mensaje de error si los cambios en la tabla fallan y no se procesan.