Supervisar una tarea individual de datos
Puede supervisar el estado y el progreso de sus tareas de datos seleccionando Supervisar en el menú desplegable en la parte superior izquierda de la ventana de tareas de datos.
También puede crear vistas de monitor para supervisar varias tareas de datos. Para más información, vea Supervisar y administrar sus tareas de datos.
Vista general de la supervisión
La vista de supervisión está disponible para todos los tipos de tareas y le permite realizar un seguimiento del estado y las métricas de las tareas:
-
Pestañas
Cambie entre las pestañas disponibles — como Información, Carga completa y Procesamiento de cambios, Lotes o Transmisión — según el tipo de tarea. Para obtener detalles sobre cada pestaña, consulte la sección de tareas correspondiente a continuación.
-
Filtro de estado del conjunto de datos
Un gráfico de barras encima de la tabla de conjuntos de datos muestra cuántos conjuntos de datos hay en cada estado: En cola, Cargando, Completado y Error. El gráfico se actualiza dinámicamente a medida que cambian los estados de los conjuntos de datos. Haga clic en un segmento de estado para filtrar la tabla de conjuntos de datos y mostrar solo los conjuntos de datos en ese estado.
-
Ocultar widgets
Haga clic en Ocultar widgets para contraer los widgets de métricas. Esto proporciona más espacio para ver la tabla de conjuntos de datos a continuación.
-
Fecha de inicio
La fecha y hora en que se inició la ejecución de la tarea actual.
-
Fecha de finalización
La fecha y hora en que finalizó la ejecución de la tarea. Esto solo se muestra para las ejecuciones de tareas finalizadas.
-
Historial de ejecuciones
Haga clic en Historial de ejecuciones para ver una lista de las ejecuciones de tareas anteriores y sus resultados.
Supervisar las tareas de movimiento de datos
Las opciones de supervisión disponibles vienen determinadas tanto por el tipo de tarea como por el tipo de conector. Como algunos conectores no admiten CDC (por ejemplo, Epicor), las opciones de supervisión que son relevantes para CDC no se mostrarán para dichos conectores. Del mismo modo, como algunos conectores no admiten la carga completa (por ejemplo, los Conectores Preview), las opciones de supervisión que son relevantes para la carga completa no se mostrarán para esos conectores.
Caso de uso de una canalización de datos: tareas de ubicación de destino (también llamadas de aterrizaje de datos)
Todas las tareas de ubicación de destino o aterrizaje deben comenzar con una carga completa de los datos de origen en el destino. Una vez que se completa la carga completa inicial, los datos de destino se actualizan con cambios en los datos de origen. Esto se puede hacer usando Volver a cargar y comparar o Cambiar captura de datos (CDC) según la definición de la tarea.
Para más información, sobre las tareas de ubicación de destino o aterrizaje de datos, vea Transferir datos desde fuentes de datos.
Caso de uso de replicación: tareas de "replicación de datos"
Las tareas de "replicar datos" normalmente comienzan con una carga completa de los datos de origen en el destino. La siguiente tabla resume los casos de uso de la carga completa.
| Caso de uso | Carga completa |
|---|---|
| Replicación desde aplicaciones SaaS a las que se accede a través de conectores Lite | Obligatorio |
| Replicación desde aplicaciones SaaS a las que se accede a través de conectores Preview. | No es relevante ya que los conectores Preview no admiten la carga completa. |
| Replicación desde bases de datos | Opcional |
Al replicar desde bases de datos, si los datos de origen ya existen en el destino y solo desea aplicar los cambios de origen al destino (o almacenarlos para aplicarlos más tarde), el modo de replicación puede ser Aplicar cambios, Almacenar cambios o ambos. Ambos modos de replicación se muestran en la supervisión de los CDC.
Para obtener más información sobre las tareas de «Replicar datos», consulte los siguientes temas:
Replicar datos con una suscripción Estándar, Premium o Enterprise
Replicación de datos con una suscripción a Qlik Talend Cloud Starter
Caso de uso de replicación: "tareas de aterrizaje de datos en un lago de datos"
Las tareas de "Aterrizar datos en un lago de datos" son similares a las tareas de ubicación de destino en el sentido de que deben comenzar con una carga completa. Una vez que se completa la carga completa inicial, los datos de destino se actualizan con cambios en los datos de origen. Esto se puede hacer usando Volver a cargar o Captura de datos de cambios (CDC). A pesar de su similitud con las tareas de ubicación de destino, las tareas de "aterrizaje de datos en un lago de datos" se consideran tareas de replicación, ya que consisten únicamente en replicación de datos de origen a destino. No ofrecen la posibilidad de manipular los datos más adelante (por ejemplo, mediante transformaciones y data marts), que están disponibles en una canalización de datos.
Para más información sobre tareas de "Aterrizar datos en un lago de datos", vea Aterrizaje de datos en un data lake con una suscripción Estándar, Premium o Enterprise.
Detalles de seguimiento
Los siguientes detalles de supervisión están disponibles:
-
Información
-
Carga completa
-
Procesamiento de cambios
-
Transmitiendo
Disponible solo para tareas de aterrizaje de transmisión continua o streaming.
Detalles de seguimiento de información
Puede ver información general sobre la tarea, el ID de ejecución y cuándo se actualizaron los datos. Para las tareas de CDC, la información de programación también está disponible en esta pestaña.
Detalles de la supervisión de carga completa
, tanto en el diálogo Crear conexión como en la ayuda online.Puede ver las siguientes estadísticas para la tarea de datos en Carga completa:
-
Conjuntos de datos en total
El número de conjuntos de datos cargados.
-
Conjuntos de datos con errores
El número de conjuntos de datos con errores.
-
Latencia total
Latencia actual de la tarea (hh:mm:ss). Esta duración representa el tiempo desde que el cambio está disponible en el origen hasta que el cambio se aplica y está disponible en el destino o en la ubicación de destino.
-
Rendimiento total
Rendimiento del destino en kilobytes/segundo. Esto indica con qué rapidez se cargan los registros de cambios en el punto de conexión del destino.
Puede ver los siguientes detalles de cada conjunto de datos en la tarea de datos:
-
Nombre
El nombre del conjunto de datos de destino.
-
Estado
El estado de la tabla será: En cola, Cargando, Finalizado o Error.
-
Iniciado
La hora a la que se inició el proceso de carga.
-
Finalizado
La hora en que finalizó la carga.
-
Duración
Duración de la carga en formato hh:mm:ss.
-
Registros
El número de registros que se escribieron en el destino durante la carga.
Nota informativaCuando los conjuntos de datos de origen se filtran, Registros se reemplazará con las siguientes secciones:
-
Registros leídos: el número de registros leídos de los conjuntos de datos de origen antes del filtrado.
-
Registros escritos (después del filtrado): el número de registros realmente escritos en el destino después del filtrado.
Para obtener información sobre el filtrado de conjuntos de datos, consulte Filtrar un conjunto de datos.
-
-
Mensaje
Muestra un mensaje de error si la carga no se procesó correctamente.
Detalles de supervición del procesamiento de cambios
Procesamiento de cambios muestra el número de cambios aplicados a todas las tablas durante la última ejecución de CDC, o durante la ejecución actual si aún no ha finalizado. Para ver el número de cambios aplicados a conjuntos de datos individuales desde que se inició la tarea, consulte la tabla Conjuntos de datos.
Puede ver las siguientes estadísticas de procesamiento de cambios:
-
Conjuntos de datos en total
El número de conjuntos de datos cargados.
-
Conjuntos de datos con errores
El número de conjuntos de datos con errores.
-
Latencia total
Latencia actual de la tarea (hh:mm:ss). Esta duración representa el tiempo desde que el cambio está disponible en el origen hasta que el cambio se aplica y está disponible en el destino o aterrizaje.
-
Rendimiento total
Rendimiento del destino en kilobytes/segundo. Esto indica con qué rapidez se cargan los registros de cambios en el punto de conexión del destino.
-
Total de modificaciones recibidas
El número de cambios presentes en la fuente y a la espera de ser procesados. Puede ver cuántos se acumulan en el origen y cuántos se están aplicando.
-
Total de cambios aplicados
El número de cambios aplicados al destino o aterrizaje. Puede ver el número de adiciones, eliminaciones y actualizaciones.
Puede ver los siguientes detalles de cada tabla en la tarea de datos:
, tanto en el diálogo Crear conexión como en la ayuda online.-
Nombre
El nombre de la tabla de destino en el activo de destino.
-
Estado
El estado de la tabla será uno de los siguientes: Acumulando cambios, Error o Completado (para tareas de CDC programadas).
-
Procesado por última vez
La fecha y la hora en que se realizaron los últimos cambios en la tabla.
-
Inserciones, Actualizaciones y Eliminaciones
Nota informativaCuando los conjuntos de datos de origen se filtran, las columnas de Inserciones, Actualizaciones y Eliminaciones se agruparán de la siguiente manera:
-
Leídos: el número de cambios (Inserciones, Actualizaciones y Eliminaciones) leídos de los conjuntos de datos de origen antes del filtrado.
-
Escritos (después del filtrado): el número de cambios (inserciones, actualizaciones y eliminaciones) realmente escritos en el destino después del filtrado.
Para obtener información sobre el filtrado de conjuntos de datos, consulte Filtrar un conjunto de datos.
-
Inserciones
El número de operaciones de inserción.
-
Actualizaciones
El número de operaciones de actualización.
Nota informativaLas actualizaciones se manejan como inserciones para fuentes de aplicaciones SaaS. -
Eliminaciones
El número de operaciones de eliminación.
-
-
DML (inserciones/actualizaciones)
Nota informativaEsta columna solo se muestra para las tareas definidas mediante un conector Preview de aplicaciones SaaS. Los conectores de vista previa se indican mediante un botón, tanto en el diálogo Crear conexión como en la ayuda online.Nota informativaCuando se filtran los conjuntos de datos de origen, las columnas de Inserciones, Actualizaciones y Eliminaciones se agruparán de la siguiente manera:
-
DML leídos (inserciones/actualizaciones): el número de DML (inserciones y actualizaciones) leídos de los conjuntos de datos de origen antes del filtrado.
-
DML escritos (inserciones/actualizaciones): el número de DML (inserciones y actualizaciones) escritos realmente en el destino después del filtrado.
Para obtener información sobre el filtrado de conjuntos de datos, consulte Filtrar un conjunto de datos.
-
-
Operaciones de DDL
El número de operaciones DDL.
Nota informativaDisponible únicamente para tareas de "Replicar datos". -
Mensaje
Muestra un mensaje de error si los cambios en la tabla fallan y no se procesan.
Si está transfiriendo datos desde una fuente local y eligió el modo de Carga completa, las tablas se volverán a cargar automáticamente cuando el activo de destino esté En ejecución.
Si está transfiriendo datos desde una fuente local y eligió el modo de Carga completa y CDC, las tablas se actualizarán continuamente con nuevos datos tras la carga completa inicial.
Recarga de tablas seleccionadas
Puede recargar manualmente las tablas seleccionadas desde la fuente. Esto es útil cuando desea recuperar tablas individuales con error. La recarga de tablas no afectará a la línea de tiempo de los CDC, que se restablece si utiliza Volver a crear las tablas. Los cambios en los metadatos no se propagan al recargar las tablas.
-
Para recargar las tablas seleccionadas, seleccione las tablas en la mitad inferior de Supervisar y haga clic en Cargar tablas.
Necesita los mismos permisos que se requieren para ejecutar la tarea de datos, es decir, el rol de Propietario o Puede operar.
Cargar tablas estará disponible tras la primera ejecución de la tarea de datos. Si el método de actualización es Volver a cargar y comparar, Cargar tablas no estará disponible cuando se ejecute la tarea de datos.
Las tareas de datos de almacenamiento descendente se sincronizarán la próxima vez que se ejecuten. Si la tarea de almacenamiento tiene el historial habilitado, se mantendrá.
Si no es posible recuperar recargando las tablas, el siguiente paso es reparar la tarea de datos.
Recargar todas las tablas en el destino
Puede recargar todas las tablas en el destino si experimenta problemas de CDC que no se pueden resolver recargando tablas específicas. Algunos ejemplos de problemas son eventos que faltan, problemas ocasionados por la reorganización de la base de datos de origen o fallos al leer eventos de la base de datos de origen.
- Detenga la tarea de datos y todas las tareas que los consuman.
-
Abra la tarea de datos y seleccione la pestaña Supervisar.
-
Haga clic en ... y luego en Recargar destino.
Esto recargará todas las tablas en el destino usando Drop-Create y reiniciará toda la captura de datos modificados a partir de ahora.
-
Las tareas de almacenamiento que consumen la tarea de aterrizaje de datos se recargarán mediante comparar y aplicar en su próxima ejecución para sincronizarse. Se mantendrá el historial existente. El historial de tipo 2 se actualizará para reflejar los cambios después de que se ejecute el proceso de recarga y comparación.
La marca de tiempo de la fecha desde en el historial de tipo 2 reflejará la fecha de recarga y no necesariamente la fecha en que ocurrió el cambio en la fuente.
-
Las vistas en vivo del almacenamiento no serán fiables durante la operación de recarga del objetivo y hasta que el almacenamiento esté sincronizado. El almacenamiento se sincronizará completamente cuando:
-
Todas las tablas se recarguen usando comparar y aplicar.
-
Se realice un ciclo de cambios para cada tabla.
-
Supervisar tareas de almacenamiento, transformación, data mart, reflejo y almacenes de conocimiento
Puede supervisar el estado y el progreso de una tarea de almacenamiento, transformación, data mart, reflejo o almacén de conocimiento.
Los siguientes detalles de supervisión están disponibles:
-
Información
-
Carga completa
-
Lote
Detalles de supervisión de información
Puede ver información general sobre la tarea, el ID de ejecución y cuándo se actualizaron los datos.
Detalles de la supervisión de carga completa
, tanto en el diálogo Crear conexión como en la ayuda online.Puede ver las siguientes estadísticas para la tarea de datos en carga completa:
-
Conjuntos de datos en total
El número de conjuntos de datos cargados.
-
Conjuntos de datos con errores
El número de conjuntos de datos con errores.
-
Rendimiento total
Rendimiento del destino en kilobytes/segundo. Esto indica con qué rapidez se cargan los registros de cambios en el punto de conexión del destino.
Detalles de seguimiento de lotes
Puede ver estadísticas de lotes de cambios:
-
Conjuntos de datos en total
El número de conjuntos de datos cargados.
-
Conjuntos de datos con errores
El número de conjuntos de datos con errores.
-
Latencia total
Latencia actual de la tarea (hh:mm:ss). Esta duración representa el tiempo desde que el cambio está disponible en el origen hasta que el cambio se aplica y está disponible en el destino o aterrizaje.
-
Rendimiento total
Rendimiento del destino en Kilobytes/segundo. Esto indica con qué rapidez se cargan los registros de cambios en el punto de conexión del destino.
-
Origen
Latencia y rendimiento en el origen.
-
Objetivo:
Latencia y rendimiento en el destino.
-
Total de modificaciones recibidas
El número de cambios presentes en la fuente y a la espera de ser procesados. Puede ver cuántos se acumulan en el origen y cuántos se están aplicando.
-
Total de cambios aplicados
El número de cambios aplicados al destino o aterrizaje. Puede ver el número de adiciones, eliminaciones y actualizaciones.
Ver el estado y el progreso
Puede ver los siguientes detalles para cada conjunto de datos o cambio en Conjuntos de datos:
-
Nombre
El nombre del conjunto de datos de destino.
-
Estado
El estado de la tabla será: En cola, Cargando, Finalizado o Error.
-
Iniciado
La hora a la que se inició el proceso de carga.
-
Finalizado
La hora en que finalizó la carga.
-
Duración
Duración de la carga en formato hh:mm:ss.
-
Registros
El número de registros que se escribieron en el destino durante la carga.
Nota informativaCuando los conjuntos de datos de origen se filtran, Registros se reemplazará con las siguientes secciones:
-
Registros leídos: el número de registros leídos de los conjuntos de datos de origen antes del filtrado.
-
Registros escritos (después del filtrado): el número de registros realmente escritos en el destino después del filtrado.
Para obtener información sobre el filtrado de conjuntos de datos, consulte Filtrar un conjunto de datos.
-
-
Mensaje
Muestra un mensaje de error si la carga no se procesó correctamente.
Los datos de todas las transacciones de origen hasta el momento en que se muestran en El activo de datos se actualiza a está disponible para el consumo desde este activo de datos. Esta información está disponible para una tarea de datos una vez que se cargaron todas las tablas y se aplicó el primer conjunto de cambios. Si seleccionó generar vistas en vivo, también puede ver cuándo se actualizan las vistas en vivo.
Si hay un lote de cambios antes de que se complete la carga inicial, la opción Tarea de datos actualizada a no se actualizará hasta que se complete la carga inicial y se aplique el primer lote de cambios. Por ejemplo, supongamos que está cargando un conjunto de datos que contiene una tabla de pedidos con un millón de pedidos y un conjunto de detalles de pedidos que contiene 10 millones de detalles de pedidos. Los conjuntos de datos tardan 10 y 20 minutos en realizar una carga completa, respectivamente. El conjunto de datos de pedidos se carga primero, seguido del conjunto de datos de detalles de pedidos. Mientras se cargaba el conjunto de datos de pedidos, se insertó un nuevo pedido. Por lo tanto, cuando se cargan los detalles de pedidos, es posible que contenga detalles del nuevo pedido, que aún no existe en el conjunto de datos de los pedidos. Los conjuntos de datos de pedidos y detalles de pedidos solo estarán sincronizados y completamente actualizados al mismo tiempo después de que se aplique el primer lote de cambios.
Ver información detallada
Puede ver información detallada a nivel de sentencia SQL.
Seleccione los conjuntos de datos que desee supervisar en detalle.
Haga clic en Supervisar detalles.
Supervisar detalles se muestra, y puede ver los comandos que se ejecutan para cada paso del proceso de carga o cambio. Puede hacer clic en un comando para ver las instrucciones SQL completas que se ejecutaron.
Haga clic en Exportar a CSV para exportar un archivo de texto con instrucciones SQL completas para todos los comandos enumerados.
Tarea de datos actualizada a
El campo Tarea de datos actualizada a muestra la hora a la que se actualiza la vista más antigua.
Vistas estándar
Tarea de datos actualizada a muestra la hora a la que se actualiza la vista estándar más antigua.
Por ejemplo, supongamos que una tarea tiene dos tablas, Pedidos y Detalles de pedido. Los pedidos se actualizan a las 10:01 con registros de las 10:00 y las 10:01, y los detalles del pedido tienen registros desde las 10:00 únicamente. En este caso la tarea de datos se actualizó a las 10:00. Esto no debe confundirse con las horas de inicio y finalización de la carga de la tarea de datos, que podrían ser de 10:02 a 10:03.
Vistas en vivo (tareas de almacenamiento de datos)
Tarea de datos actualizada a muestra la hora a la que se actualiza la vista más antigua.
Por ejemplo, supongamos que una tarea tiene una tabla de Pedidos. Los pedidos en destino se actualizan a las 10:01 con registros de las 10:00 y las 10:01, pero los pedidos en almacenamiento se actualizan con los registros a partir de las 10:00 únicamente. En este caso, las vistas en vivo de Pedidos se actualizan a las 10:01 y las vistas estándar se actualizan a las 10:00.
Visualizar el historial de ejecuciones
Puede ver el historial de ejecuciones de una tarea para identificar las causas raíz y comprender los patrones a lo largo del tiempo.
Haga clic en Historial de ejecuciones en la vista Monitor de una tarea.
Haga clic en Historial de ejecuciones en el menú ... de una tarea en las Vistas de monitor.
Se muestran hasta 100 ejecuciones en el historial de ejecuciones según las selecciones de filtro. Ajuste los criterios de filtrado para ver otras ejecuciones. Puede filtrar por fecha de finalización de la ejecución y estado de la tarea. La información sobre las ejecuciones se conserva durante 13 meses. Los metadatos de los conjuntos de datos de las ejecuciones se conservan durante 30 días.