Métodos de actualización de destinos

Puede establecer qué método de actualización utilizar, ya sea durante la configuración inicial de la tarea o más tarde en la Configuración de la tarea de datos. No es posible cambiar el método de actualización una vez preparada la tarea de datos.

Los métodos de actualización disponibles vienen determinados por el tipo de tarea y las capacidades del conector. Los tipos de tareas de movimiento de datos disponibles son las de ubicación de destino/aterrizaje, replicación de datos o de aterrizaje en un lago de datos.

Métodos de actualización al aterrizar datos en proyectos de canalización de datos

• Captura de datos de cambios (CDC) mediante tablas de cambios

  La tarea de datos comienza con una carga completa. Los datos aterrizados se mantienen actualizados mediante cargas incrementales basadas en los campos de fecha. CDC puede que no sea compatible con todas las fuentes de datos.

  Nota informativaLas operaciones DELETE no son compatibles. Esto significa que, si una fila se elimina en la fuente, no se eliminará en los datos transferidos. Si el manejo de las eliminaciones es importante, utilice Volver a cargar y comparar en su lugar.

  Cuando se trabaja sin Data Movement gateway o cuando se utilizan conectores normales de aplicaciones SaaS, el intervalo se establece mediante el Programador. Para más información, vea Scheduling tasks. Cuando trabaje con Data Movement gateway y cuando utilice conectores Lite de aplicaciones SaaS, fije el intervalo entre la lectura de los cambios de la fuente, en Configuración > Ajustes en el procesamiento de cambios.

• Volver a cargar y comparar

  La tarea de datos realiza cargas completas solo desde la fuente. Esto es útil si su fuente no admite CDC, por ejemplo, o si desea que las operaciones DELETE (que no son admitidas por CDC) se propaguen al destino. La recarga y la comparación se pueden utilizar con cualquier fuente de datos compatible, y se pueden programar para que se realicen periódicamente.

Métodos de actualización al replicar en bases de datos o almacenes de datos de destino

• Carga completa: Carga los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente si surge la necesidad. La carga completa manual sería necesaria, por ejemplo, si necesita replicar actualizaciones de Vistas (que no se capturan durante CDC) o si está replicando desde una fuente de datos que no soporta CDC.

  Nota informativaCuando se utiliza un conector de aplicación SaaS, esta opción siempre estará habilitada, ya que se requiere una carga completa.

• Aplicar cambios: Mantiene las tablas de destino actualizadas con cualquier cambio realizado en las tablas de origen.

• Guardar cambios: Almacena los cambios en las tablas de origen en las Tablas de cambios (una por cada tabla de origen) .

  Para más información, vea Guardar cambios.

Cuando se trabaja con Data Movement gateway, excepto cuando se utilizan fuentes de aplicaciones SaaS, los cambios se capturan desde la fuente casi en tiempo real. Cuando se trabaja sin Data Movement gateway (por ejemplo, con una suscripción Qlik Talend Cloud Starter o al seleccionar Ninguno) o cuando se utilizan fuentes de aplicaciones SaaS, los cambios se capturan según la configuración del programador. Para más información, vea Scheduling tasks.

Métodos de actualización al replicar en almacenamiento de nube (data lakes)

• Captura de datos de cambios (CDC) mediante tablas de cambios: Las tareas de aterrizaje en un lago de datos comienzan con una Carga completa (durante la cual todas las tablas seleccionadas se cargan en el destino). A continuación, los datos de destino se mantienen actualizados usando la tecnología CDC (Captura de Datos de Cambios).

  Nota informativaNo se admite CDC (Captura de Datos de Cambios) en operaciones DDL.

  Cuando se trabaja con Data Movement gateway, excepto cuando se utiliza una fuente de aplicación SaaS, los cambios se capturan desde la fuente casi en tiempo real. Cuando se trabaja sin Data Movement gateway o con fuentes de aplicaciones SaaS, los cambios se capturan según la configuración del programador. Para más información, vea Scheduling tasks.

• Recargar: Realiza una carga completa de los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino, si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente o programarse para que se realice de forma periódica según sea necesario.

  Nota informativaEste ajuste no está disponible cuando se utiliza un conector de aplicaciones SaaS.

   

Entender la captura de datos de cambios programados (CDC)

Cuando se trabaja sin Data Movement gateway o cuando se utilizan conectores de aplicaciones SaaS que no son conectores Lite, los cambios se capturan según un intervalo programado. Es importante conocer el funcionamiento de la programación, que se demuestra mejor con un ejemplo. En el siguiente ejemplo, se ha programado una tarea para que se ejecute cada 30 minutos, a partir de las 9:00.

• La tarea comienza a las 9:00 con una carga completa.
• La carga completa termina a las 9:40, lo que significa que se saltará la ejecución de las 9:30.
• La siguiente ejecución comienza a las 10:00, y captura cualquier cambio realizado hasta las 10:00.
• La ejecución de las 10:00 termina a las 10:15.
• La siguiente ejecución comienza a las 10:30 y captura cualquier cambio que se haya producido entre las 10:00 y las 10:30.