Métodos de actualización de destinos

Puede establecer qué método de actualización utilizar, ya sea durante la configuración inicial de la tarea o más tarde en la Configuración de la tarea de datos. No es posible cambiar el método de actualización una vez preparada la tarea de datos.

Los métodos de actualización disponibles vienen determinados por el tipo de tarea, las capacidades del conector y la clasificación del conector. Los tipos de tareas de movimiento de datos disponibles son las de ubicación de destino, replicación de datos o de aterrizaje en un lago de datos.

Para obtener información sobre la clasificación y las capacidades de su conector, consulte la ayuda de su conector. La clasificación de los conectores se indica mediante un distintivo en la parte superior de la página de ayuda correspondiente. Los conectores sin distintivo se clasifican como "Standard" (Estándar).

Para una explicación detallada de las clasificaciones de los conectores, consulte Clasificaciones del conector .

Métodos de actualización cuando se trabaja con conectores Preview

Los conectores Preview solo son compatibles con proyectos de replicación. Cuando se trabaja con conectores Preview, todos los datos se propagan al destino en forma de cambios (inserciones/actualizaciones), incluida la carga completa inicial. En consecuencia, el único método de actualización admitido para los conectores Preview es el siguiente:

• Para las tareas de "Replicar datos": Solo los modos de replicación Aplicar cambios y Almacenar cambios. Todos los datos se propagarán a las tablas de destino/cambios como cambios (Inserciones/Actualizaciones), incluida la carga completa inicial. Tenga en cuenta que con determinados tipos de tablas no es posible identificar los cambios. En estos casos, todos los datos de la tabla se procesarán desde el principio.
• Para las tareas de "Aterrizar datos en un lago de datos": Solo el método de actualización Captura de datos de cambio (CDC ). Todos los datos se propagarán al destino en forma de cambios (inserciones/actualizaciones), incluida la carga completa inicial. Tenga en cuenta que con determinados tipos de tablas no es posible identificar los cambios. En estos casos, todos los datos de la tabla se procesarán desde el principio.

Cuando trabaje con conectores Preview, deberá programar la frecuencia con la que se capturarán los cambios en la fuente. Para obtener más información, vea los siguientes temas:

• Para las tareas de "Replicar datos": Programación de CDC para tareas de replicación
• Para las tareas de "Aterrizar datos en un lago de datos": Programación de CDC para tareas de destino/aterrizaje en un lago de datos

Métodos de actualización al aterrizar datos

• Captura de datos de cambios (CDC) mediante tablas de cambios

  La tarea de datos comienza con una carga completa. Los datos aterrizados se mantienen actualizados mediante cargas incrementales basadas en los campos de fecha. CDC puede que no sea compatible con todas las fuentes de datos.

  Nota informativaLas operaciones DELETE no son compatibles. Esto significa que, si una fila se elimina en la fuente, no se eliminará en los datos transferidos. Si el manejo de las eliminaciones es importante, utilice Volver a cargar y comparar en su lugar.

  Cuando trabaje con Data Movement gateway y los datos de destino/aterrizaje de las aplicaciones SaaS, fije el intervalo entre la lectura de los cambios de la fuente, en Configuración > Ajustes en el procesamiento de cambios. Cuando trabaje sin Data Movement gateway, fije el intervalo mediante el Programador. Para más información, vea Programación de tareas CDC al trabajar sin Data Movement gateway..

• Volver a cargar y comparar

  La tarea de datos realiza cargas completas solo desde la fuente. Esto es útil si su fuente no admite CDC, por ejemplo, o si desea que las operaciones DELETE (que no son admitidas por CDC) se propaguen al destino. La recarga y la comparación se pueden utilizar con cualquier fuente de datos compatible, y se pueden programar para que se realicen periódicamente.

Métodos de actualización al replicar en bases de datos o almacenes de datos de destino

• Carga completa: Carga los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente si surge la necesidad. La carga completa manual sería necesaria, por ejemplo, si necesita replicar actualizaciones de Vistas (que no se capturan durante CDC) o si está replicando desde una fuente de datos que no soporta CDC.

• Aplicar cambios: Mantiene las tablas de destino actualizadas con cualquier cambio realizado en las tablas de origen.

• Guardar cambios: Almacena los cambios en las tablas de origen en las Tablas de cambios (una por cada tabla de origen) .

  Para obtener más información, consulte Guardar cambios.

Cuando se trabaja con Data Movement gateway, los cambios se capturan desde la fuente casi en tiempo real. Cuando se trabaja sin Data Movement gateway (por ejemplo, con una suscripción Qlik Talend Cloud Starter o al seleccionar Ninguna), los cambios se capturan según la configuración del programador. Para obtener más información, consulte Configuración de la tarea de replicación de datos.

Métodos de actualización al replicar en almacenamiento de nube (data lakes)

• Captura de datos de cambios (CDC) mediante tablas de cambios: Las tareas de aterrizaje en un lago de datos comienzan con una Carga completa (durante la cual todas las tablas seleccionadas se cargan en el destino). A continuación, los datos de destino se mantienen actualizados usando la tecnología CDC (Captura de Datos de Cambios).

  Nota informativaNo se admite CDC (Captura de Datos de Cambios) en operaciones DDL.

  Cuando se trabaja con Data Movement gateway, los cambios se capturan desde la fuente casi en tiempo real. Cuando se trabaja sin Data Movement gateway, los cambios se capturan según la configuración del programador. Para obtener más información, consulte Configuración de los objetivos de almacenamiento en la nube.

• Recargar: Realiza una carga completa de los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino, si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente o programarse para que se realice de forma periódica según sea necesario.

Comprensión de la captura de datos de cambios programados (CDC)

Cuando se trabaja sin Data Movement gateway o cuando se utilizan conectores Preview, los cambios se capturan conforme a un intervalo programado. Es importante conocer el funcionamiento de la programación, que se demuestra mejor con un ejemplo. En el siguiente ejemplo, se ha programado una tarea para que se ejecute cada 30 minutos, a partir de las 9:00.

• La tarea comienza a las 9:00 con una carga completa.
• La carga completa termina a las 9:40, lo que significa que se saltará la ejecución de las 9:30.
• La siguiente ejecución comienza a las 10:00, y captura cualquier cambio realizado hasta las 10:00.
• La ejecución de las 10:00 termina a las 10:15.
• La siguiente ejecución comienza a las 10:30 y captura cualquier cambio que se haya producido entre las 10:00 y las 10:30.

Limitaciones

Algunas tablas que devuelve la aplicación SaaS no se admiten para Captura de datos de cambios (CDC). En ese caso, verá aparecer un mensaje de advertencia en Errores de validación. Puede, o bien:

• Eliminar la tabla de la tarea de datos.

• Cambiar el método de actualización de la tarea de datos a Volver a cargar y comparar.