Una vista general de los métodos de actualización del destino
Puede establecer qué método de actualización utilizar, ya sea durante la configuración inicial de la tarea o más tarde en la Configuración de la tarea de datos. No es posible cambiar el método de actualización una vez que se ha preparado la tarea de datos. Los métodos de actualización que están disponibles dependen del tipo de tarea: aterrizaje, replicación o aterrizaje de datos en un data lake.
Métodos de actualización al aterrizar datos
-
Captura de datos de cambios (CDC)
La tarea de datos comienza con una carga completa. Los datos aterrizados se mantienen actualizados mediante cargas incrementales basadas en los campos de fecha. CDC puede que no sea compatible con todas las fuentes de datos.
Nota informativaLas operaciones DELETE no son compatibles. Esto significa que, si una fila se elimina en la fuente, no se eliminará en los datos transferidos. Si el manejo de las eliminaciones es importante, utilice Volver a cargar y comparar en su lugar.Cuando trabaje Pasarela Data Movement y aterrice datos de aplicaciones SaaS, fije el intervalo entre la lectura de los cambios de la fuente, en Configuración > Tiempo de ejecución. Cuando trabaje sin Pasarela Data Movement, fije el intervalo mediante el Programador. Para obtener más información, consulte Programación de tareas CDC al trabajar sin Pasarela Data Movement..
-
Volver a cargar y comparar
La tarea de datos realiza cargas completas solo desde la fuente. Esto es útil si su fuente no admite CDC, por ejemplo, o si desea que las operaciones DELETE (que no son admitidas por CDC) se propaguen al destino. La recarga y la comparación se pueden utilizar con cualquier fuente de datos compatible, y se pueden programar para que se realicen periódicamente.
Métodos de actualización al replicar en bases de datos o almacenes de datos de destino
- Carga completa: Carga los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente si surge la necesidad.
-
Aplicar cambios: Mantiene las tablas de destino actualizadas con cualquier cambio realizado en las tablas de origen.
-
Guardar cambios: Almacena los cambios en las tablas de origen en las Tablas de cambios (una por cada tabla de origen) .
Para obtener más información, consulte Guardar cambios.
Cuando se trabaja con Pasarela Data Movement, los cambios se capturan desde la fuente casi en tiempo real. Cuando se trabaja sin Pasarela Data Movement (por ejemplo, con una suscripción Qlik Talend Cloud Starter o al seleccionar Ninguna), los cambios se capturan según la configuración del programador. Para obtener más información, consulte Programación de tareas al trabajar sin Pasarela Data Movement.
Métodos de actualización al replicar en almacenamiento de nube (data lakes)
-
Captura de Datos de Cambios (CDC): Las tareas de aterrizaje en el lago de datos comienzan con una carga completa (durante la cual se transfieren todas las tablas seleccionadas). Los datos desembarcados se mantienen actualizados mediante la tecnología CDC (Change Data Capture: Captura de datos de cambios, también conocido como Captura de datos modificados).
Nota informativaNo se admite CDC (Captura de Datos de Cambios) en operaciones DDL.Cuando se trabaja con Pasarela Data Movement, los cambios se capturan desde la fuente casi en tiempo real. Cuando se trabaja sin Pasarela Data Movement, los cambios se capturan según la configuración del programador. Para obtener más información, consulte Programación de tareas al trabajar sin Pasarela Data Movement.
- Recargar: Realiza una carga completa de los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino, si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente o programarse para que se realice de forma periódica según sea necesario.
El procedimiento para configurar la replicación al almacenamiento en la nube difiere según el nivel de suscripción.
- Si tiene una suscripción a la edición Estándar, Premium o Enterprise, consulte Aterrizaje de datos en un data lake con una suscripción Estándar, Premium o Enterprise.
- Si tiene una suscripción Starter, consulte Replicar datos con una suscripción Qlik Talend Cloud Starter.
Comprensión de la captura de datos de cambios programados (CDC)
Cuando se trabaja sin Pasarela Data Movement, los cambios se capturan según un intervalo programado. Es importante conocer el funcionamiento de la programación, que se demuestra mejor con un ejemplo. En el siguiente ejemplo, se ha programado una tarea para que se ejecute cada 30 minutos, a partir de las 9:00.
- La tarea comienza a las 9:00 con una carga completa.
- La carga completa termina a las 9:40, lo que significa que se saltará la ejecución de las 9:30.
- La siguiente ejecución comienza a las 10:00, y captura cualquier cambio realizado hasta las 10:00.
- La ejecución de las 10:00 termina a las 10:15.
- La siguiente ejecución comienza a las 10:30 y captura cualquier cambio que se haya producido entre las 10:00 y las 10:30.
Limitaciones
Algunas tablas que devuelve la aplicación SaaS no se admiten para Captura de datos de cambios (CDC). En ese caso, verá aparecer un mensaje de advertencia en Errores de validación. Puede, o bien:
-
Eliminar la tabla de la tarea de datos.
-
Cambiar el método de actualización de la tarea de datos a Volver a cargar y comparar.