Supervisión de una tarea de datos individual
Puede supervisar el estado y el progreso de sus tareas de datos seleccionando Supervisar en el menú desplegable en la parte superior izquierda de la ventana de tareas de datos.
También puede crear vistas de monitor para supervisar varias tareas de datos. Para obtener más información, consulte Supervisar y administrar sus tareas de datos.
Supervisar tareas de ubicación de destino y replicación
Supervisar las tareas de aterrizaje y replicación es similar en el sentido de que se pueden supervisar tanto la carga inicial como el CDC, pero existen algunas diferencias notables debido a sus casos de uso en claro contraste.
-
Caso de uso de una canalización de datos: transferencia continua (aterrizaje) de datos
Todas las tareas de ubicación de destino deben comenzar con una carga completa de los datos de origen en el destino. Una vez que se completa la carga completa inicial, los datos de destino se actualizan con cambios en los datos de origen. Esto se puede hacer usando Volver a cargar y comparar o Cambiar captura de datos (CDC) según la definición de la tarea.
Para obtener más información, sobre tareas de ubicación de destino, vea Transferir datos desde fuentes de datos.
-
Caso de uso de la replicación: "tareas de "replicación de datos
Las tareas de "replicar datos" normalmente comienzan con una carga completa de los datos de origen en el destino. Esto es necesario al replicar desde aplicaciones SaaS, pero es opcional al replicar desde bases de datos. Al replicar desde bases de datos, si los datos de origen ya existen en el destino y solo desea aplicar los cambios de origen al destino (o almacenarlos para aplicarlos más adelante), entonces el modo de replicación puede ser Aplicar cambios, Almacenar cambios o ambos. Ambos modos de replicación se muestran en la supervisión de los CDC.
Para obtener más información sobre las tareas de «Replicar datos», consulte los siguientes temas:
Replicar datos con una suscripción Estándar, Premium o Enterprise
Replicar datos con una suscripción Qlik Talend Cloud Starter
-
Caso de uso de la replicación: "tareas de "aterrizaje de datos en un lago de datos
Las tareas de "Aterrizar datos en un lago de datos" son similares a las tareas de ubicación de destino en el sentido de que deben comenzar con una carga completa. Una vez que se completa la carga completa inicial, los datos de destino se actualizan con cambios en los datos de origen. Esto se puede hacer usando Volver a cargar o Captura de datos de cambios (CDC). A pesar de su similitud con las tareas de ubicación de destino, las tareas de "aterrizaje de datos en un lago de datos" se consideran tareas de replicación, ya que consisten únicamente en replicación de datos de origen a destino. No ofrecen la posibilidad de manipular los datos más adelante (por ejemplo, mediante transformaciones y data marts), que están disponibles en una canalización de datos.
Nota informativa Los pasos para crear una tarea independiente del tipo «Aterrizar en data lake» no son relevantes con una suscripción Qlik Talend Cloud Starter. Con una suscripción Qlik Talend Cloud Starter, la replicación en destinos de almacenamiento en la nube se hace mediante una tarea estándar «Replicar datos».Para obtener más información sobre tareas de "Aterrizar datos en un lago de datos", vea Aterrizaje de datos en un data lake con una suscripción Estándar, Premium o Enterprise.
Detalles de seguimiento
Puede ver los siguientes detalles para la tarea de datos en Estado de carga completa:
-
En cola: el número de tablas actualmente en cola.
-
Cargando: el número de tablas que se están cargando actualmente.
-
Finalizado: el número de tablas completadas.
-
Error: el número de tablas que dan error.
Puede ver los siguientes detalles de cada tabla en la tarea de datos:
-
Nombre
El nombre de la base de datos de destino.
-
State
El estado de la tabla será: En cola, Cargando, Finalizado o Error.
-
Iniciado
La hora a la que se inició el proceso de carga.
-
Finalizado
La hora en que finalizó la carga.
-
Duración
Duración de la carga en formato hh:mm:ss.
-
Registros
El número de registros que se replicaron durante la carga.
-
Cambios en caché
El número de cambios almacenados en caché.
-
Mensaje
Muestra un mensaje de error si la carga no se procesó correctamente.
Detalles de la supervisión de Captura de datos de cambios (CDC)
Puede ver los siguientes detalles de CDC de la tarea de datos para supervisar el procesamiento de cambios en Estado de CDC:
-
Cambios entrantes: el número de cambios presentes en la fuente y en espera de ser procesados. Puede ver cuántos se acumulan y cuántos se están aplicando.
-
Cambios procesados: el número de cambios que se han procesado y aplicado (en las últimas 24 horas).
-
Rendimiento: rendimiento promedio del destino en kilobytes/segundo. Esto indica con qué rapidez se cargan los registros de cambios en el punto de conexión del destino.
-
Latencia: latencia actual del activo de datos (hh:mm:ss). Esta duración representa el tiempo desde que el cambio está disponible en el origen hasta que el cambio se aplica y está disponible en el activo de destino o destino.
Puede ver los siguientes detalles de cada tabla en la tarea de datos:
-
Nombre
El nombre de la tabla de destino en el activo de destino.
-
State
El estado de la tabla será: Acumulando cambios o Error.
-
Procesado por última vez
La fecha y la hora en que se realizaron los últimos cambios en la tabla.
-
Inserciones
El número de operaciones de inserción.
-
Actualizaciones
El número de operaciones de actualización.
Nota informativaLas actualizaciones se manejan como inserciones para fuentes de aplicaciones SaaS. -
Eliminaciones
El número de operaciones de eliminación.
-
Operaciones de DDL
El número de operaciones DDL.
Nota informativaDisponible únicamente para tareas de "Replicar datos". -
Mensaje
Muestra un mensaje de error si los cambios en la tabla fallan y no se procesan.
Si está transfiriendo datos desde una fuente local y eligió el modo de Carga completa, las tablas se volverán a cargar automáticamente cuando el activo de destino esté En ejecución.
Si está transfiriendo datos desde una fuente local y eligió el modo de Carga completa y CDC, las tablas se actualizarán continuamente con nuevos datos tras la carga completa inicial.
Recarga de tablas seleccionadas
Puede recargar manualmente las tablas seleccionadas desde la fuente. Esto es útil cuando desea recuperar tablas individuales con error. La recarga de tablas no afectará a la línea de tiempo de los CDC, que se restablece si utiliza Volver a crear las tablas. Los cambios en los metadatos no se propagan al recargar las tablas.
-
Para recargar las tablas seleccionadas, seleccione las tablas en la mitad inferior de Supervisar y haga clic en Cargar tablas.
Necesita los mismos permisos que se requieren para ejecutar la tarea de datos, es decir, el rol de Propietario o Puede operar.
Cargar tablas estará disponible tras la primera ejecución de la tarea de datos. Si el método de actualización es Volver a cargar y comparar, Cargar tablas no estará disponible cuando se ejecute la tarea de datos.
Las tareas de datos de almacenamiento descendente se sincronizarán la próxima vez que se ejecuten. Si la tarea de almacenamiento tiene el historial habilitado, se mantendrá.
Si no es posible recuperar recargando las tablas, el siguiente paso es reparar la tarea de datos.
Recargar todas las tablas en el destino
Puede recargar todas las tablas en el destino si experimenta problemas de CDC que no se pueden resolver recargando tablas específicas. Algunos ejemplos de problemas son eventos que faltan, problemas ocasionados por la reorganización de la base de datos de origen o fallos al leer eventos de la base de datos de origen.
- Detenga la tarea de datos y todas las tareas que los consuman.
-
Abra la tarea de datos y seleccione la pestaña Supervisar.
-
Haga clic en ... y luego en Recargar destino.
Esto recargará todas las tablas en el destino usando Drop-Create y reiniciará toda la captura de datos modificados a partir de ahora.
-
Las tareas de almacenamiento que consumen la tarea de aterrizaje de datos se recargarán mediante comparar y aplicar en su próxima ejecución para sincronizarse. Se mantendrá el historial existente. El historial de tipo 2 se actualizará para reflejar los cambios después de que se ejecute el proceso de recarga y comparación.
La marca de tiempo de la fecha desde en el historial de tipo 2 reflejará la fecha de recarga y no necesariamente la fecha en que ocurrió el cambio en la fuente.
-
Las vistas en vivo del almacenamiento no serán fiables durante la operación de recarga del objetivo y hasta que el almacenamiento esté sincronizado. El almacenamiento se sincronizará completamente cuando:
-
Todas las tablas se recarguen usando comparar y aplicar.
-
Se realice un ciclo de cambios para cada tabla.
-
Supervisión de tareas de almacenamiento, transformación y data mart
Puede supervisar el estado y el progreso de una tarea de almacenamiento, transformación o centro de datos.
-
Cuando se ejecuta la primera carga, puede ver el progreso en Estado de carga completa.
-
Mientras se procesan los cambios, puede ver el estado y el progreso en Lote actual de cambios.
-
Cuando se han procesado los cambios, puede ver el estado y el progreso en Último lote de cambios.
En la mitad inferior del Supervisar, puede ver el estado y el progreso de cada conjunto de datos.
También puede ver información detallada a nivel de sentencia SQL.
Ver el estado y el progreso
Puede ver los siguientes detalles para cada conjunto de datos o cambio:
-
Estado
Muestra el estado actual de este conjunto de datos o cambio.
-
Finalizado: la carga o el cambio se ha completado con éxito.
-
Cargando: la tabla o el cambio se está procesando.
-
En cola: la tabla o el cambio está esperando a ser procesado.
-
Error: hubo un error al procesar la tabla o cambio.
-
-
Iniciado
La hora a la que se inició el proceso de carga o cambio.
-
Finalizado
La hora en que finalizó la carga o el procesamiento de cambios.
-
Duración
Duración de la carga o el procesamiento de cambios en el formato hh:mm:ss.
-
Registros procesados
El número de registros procesados en la carga o cambio.
-
Rendimiento (registros/segundo)
El rendimiento no se actualiza hasta que finaliza la carga.
-
Mensaje
Muestra un mensaje de error si la carga o el cambio no se procesaron correctamente.
Los conjuntos de datos se actualizarán continuamente con nuevos datos a medida que la tarea de replicación actualice el área de aterrizaje. Cada lote se relaciona con registros de un período de tiempo determinado. Puede ver el intervalo de tiempo del lote más reciente en Último lote de cambios.
Los datos de todas las transacciones de origen hasta el momento en que se muestran en El activo de datos se actualiza a está disponible para el consumo desde este activo de datos. Esta información está disponible para una tarea de datos una vez que se cargaron todas las tablas y se aplicó el primer conjunto de cambios. Si seleccionó generar vistas en vivo, también puede ver cuándo se actualizan las vistas en vivo.
Si hay un lote de cambios antes de que se complete la carga inicial, la opción Tarea de datos actualizada a no se actualizará hasta que se complete la carga inicial y se aplique el primer lote de cambios. Por ejemplo, supongamos que está cargando un conjunto de datos que contiene una tabla de pedidos con un millón de pedidos y un conjunto de detalles de pedidos que contiene 10 millones de detalles de pedidos. Los conjuntos de datos tardan 10 y 20 minutos en realizar una carga completa, respectivamente. El conjunto de datos de pedidos se carga primero, seguido del conjunto de datos de detalles de pedidos. Mientras se cargaba el conjunto de datos de pedidos, se insertó un nuevo pedido. Por lo tanto, cuando se cargan los detalles de pedidos, es posible que contenga detalles del nuevo pedido, que aún no existe en el conjunto de datos de los pedidos. Los conjuntos de datos de pedidos y detalles de pedidos solo estarán sincronizados y completamente actualizados al mismo tiempo después de que se aplique el primer lote de cambios.
Ver información detallada
Puede ver información detallada a nivel de sentencia SQL.
-
Seleccione carga completa, Lote actual de cambios o Último lote de cambios en el menú desplegable de la parte inferior de Supervisar.
-
Seleccione los conjuntos de datos que desee supervisar en detalle.
-
Haga clic en Supervisar detalles.
Supervisar detalles se muestra, y puede ver los comandos que se ejecutan para cada paso del proceso de carga o cambio. Puede hacer clic en un comando para ver las instrucciones SQL completas que se ejecutaron.
-
Haga clic en Exportar a CSV para exportar un archivo de texto con instrucciones SQL completas para todos los comandos enumerados.
Tarea de datos actualizada a
El campo Tarea de datos actualizada a muestra la hora a la que se actualiza la vista más antigua.
-
Vistas estándar
Tarea de datos actualizada a muestra la hora a la que se actualiza la vista estándar más antigua.
Por ejemplo, supongamos que una tarea tiene dos tablas, Pedidos y Detalles de pedido. Los pedidos se actualizan a las 10:01 con registros de las 10:00 y las 10:01, y los detalles del pedido tienen registros desde las 10:00 únicamente. En este caso la tarea de datos se actualizó a las 10:00. Esto no debe confundirse con las horas de inicio y finalización de la carga de la tarea de datos, que podrían ser de 10:02 a 10:03.
-
Vistas en vivo (tareas de almacenamiento de datos)
Tarea de datos actualizada a muestra la hora a la que se actualiza la vista más antigua.
Por ejemplo, supongamos que una tarea tiene una tabla de Pedidos. Los pedidos en destino se actualizan a las 10:01 con registros de las 10:00 y las 10:01, pero los pedidos en almacenamiento se actualizan con los registros a partir de las 10:00 únicamente. En este caso, las vistas en vivo de Pedidos se actualizan a las 10:01 y las vistas estándar se actualizan a las 10:00.