Configuración de la tarea de replicación de datos
Puede configurar ajustes para la tarea de replicación de datos.
-
Abra la tarea de replicación y haga clic en Configuración en la barra de herramientas.
Se abre el cuadro de diálogo Configuración: <Nombre de tarea>. Las opciones disponibles se describen a continuación.
General
En esta pestaña, puede cambiar el modo de replicación, la configuración de la preconfiguración (cuando esté disponible) y el modo de aplicar los cambios en el destino.
Modo de replicación
Están disponibles los siguientes modos de replicación:
- Carga completa: Carga los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente si surge la necesidad.
-
Aplicar cambios: Mantiene las tablas de destino actualizadas con cualquier cambio realizado en las tablas de origen.
-
Guardar cambios: Almacena los cambios en las tablas de origen en las Tablas de cambios (una por cada tabla de origen) .
Para obtener más información, consulte Guardar cambios.
Cuando se trabaja con Pasarela Data Movement, los cambios se capturan desde la fuente casi en tiempo real. Cuando se trabaja sin Pasarela Data Movement (por ejemplo, con una suscripción Qlik Talend Cloud Starter o al seleccionar Ninguna), los cambios se capturan según la configuración del programador. Para obtener más información, consulte Programación de tareas al trabajar sin Pasarela Data Movement.
Si selecciona Almacenar cambios o Aplicar cambios y sus datos fuente también contienen tablas que no admiten CDC o vistas, se crearán dos canalizaciones de datos. Una canalización para tablas que admiten CDC y otra canalización para todas las demás tablas y vistas que admiten solo Carga completa.
Conexión con el área de preparación
Al replicar en los almacenes de datos que se indican a continuación, debe configurar un área de preparación. Los datos se procesan y preparan en el área de preparación antes de ser transferidos al almacén de datos.
Seleccione un área de preparación o haga clic en Crear nueva para definir una nueva área de preparación y siga las instrucciones en Conectar con el almacenamiento en la nube.
Para editar la configuración de conexión, haga clic en Editar. Para probar la conexión (recomendado), haga clic en Probar conexión.
Para obtener información sobre qué áreas de preparación son compatibles con qué almacenes de datos, consulte la columna Compatible como área de preparación en Casos de uso de la plataforma de destino y versiones compatibles.
Modo de aplicar cambios
Los cambios se aplican a las tablas de destino utilizando uno de los siguientes métodos:
- Optimizado por lotes: esta es la opción predeterminada. Cuando se selecciona esta opción, los cambios se aplican por lotes. Se produce una acción de preprocesamiento para agrupar las transacciones en lotes de la forma más eficiente.
- Por transacción: Seleccione esta opción para aplicar cada transacción individualmente, en el orden en que se haya confirmado. En este caso, se asegura la integridad referencial estricta de todas las tablas.
Carga de datos
Tamaño máximo de archivo
El tamaño máximo que puede alcanzar un archivo antes de cerrarse. Los archivos más pequeños pueden cargarse más rápido (dependiendo de la red) y mejorar el rendimiento cuando se usan junto con la opción de ejecución paralela. Sin embargo, generalmente se considera una mala práctica saturar la base de datos con archivos pequeños.
Metadatos
Básico
-
Esquema de la tabla de destino: El esquema en el destino al que se replicarán las tablas de origen si no desea utilizar el esquema de tablas de origen (o si no hay ningún esquema en la base de datos de origen).
Nota informativaAl replicar en un destino de Oracle, el esquema de tabla de destino predeterminado es "sistema". Tenga en cuenta también que si deja este campo vacío (en cuyo caso se utilizará el esquema de origen), debe asegurarse de que el esquema de origen ya exista en el destino. De lo contrario, la tarea fallará.Nota informativaLa longitud máxima permitida para el nombre del esquema es de 128 caracteres.
Configuración de LOB
La configuración de LOB disponible difiere según el destino de replicación seleccionado. Como los destinos de almacén de datos no admiten tamaños de columnas LOB ilimitados, esta opción no estará disponible al replicar en un almacén de datos.
Configuración de LOB para destinos que no son almacenes de datos
- No incluir columnas LOB: Seleccione esta opción si no desea que se repliquen las columnas LOB de origen.
-
Limitar el tamaño de la columna LOB a (KB): este es el valor predeterminado. Seleccione esta opción si solo necesita replicar LOB pequeños o si la plataforma de destino no admite un tamaño ilimitado de LOB. El valor máximo permitido para este campo es 102400 KB (100 MB).
Al replicar LOB pequeños, esta opción es más eficiente que la opción No limitar el tamaño de la columna LOB ya que los LOB se replican "en línea" en lugar de mediante "búsqueda" desde el origen. Durante el procesamiento de cambios, los LOB pequeños suelen replicarse mediante "búsqueda" desde el origen.
El límite se aplica al número de bytes LOB que se leen desde el punto de conexión de origen. Para columnas BLOB, el tamaño del BLOB de destino será exactamente según el límite especificado. Para las columnas CLOB y NCLOB, el tamaño del LOB de destino podría diferir del límite especificado si el LOB de origen y el de destino no tienen el mismo juego de caracteres. En ese caso, la tarea de datos realizará la conversión del juego de caracteres, lo que podría dar lugar a una discrepancia entre los tamaños del LOB de origen y de destino.
Como el valor del límite de tamaño de LOB está en bytes, el tamaño debe calcularse según las siguientes fórmulas:
- BLOB: la longitud del mayor LOB.
- NCLOB: La longitud del TEXTO más largo en caracteres multiplicada por dos (ya que cada carácter se trata como un byte doble). Si los datos incluyen caracteres de 4 bytes, multiplíquelos por cuatro.
- CLOB: La longitud del TEXTO más largo en caracteres (ya que cada carácter se trata como un carácter UTF8). Si los datos incluyen caracteres de 4 bytes, multiplíquelos por dos.
Nota informativa- Cualquier LOB mayor que el tamaño especificado será truncado.
- Durante el procesamiento de cambios desde el origen de Oracle, los BLOB en serie se replican en serie.
- Los cambios en esta configuración solo afectarán a las tablas existentes después de recargarlas.
-
No limitar el tamaño de las columnas LOB Si se selecciona esta opción, se replicarán las columnas LOB independientemente de su tamaño.
Nota informativaLa replicación de columnas LOB puede afectar al rendimiento. Esto es especialmente cierto en el caso de columnas LOB grandes que requieren la tarea de replicación para realizar una búsqueda en la tabla de origen para recuperar el valor LOB de origen.-
Optimizar cuando el tamaño de LOB sea menor que: Seleccione esta opción cuando necesite replicar LOB pequeños y grandes, y la mayoría de los LOB sean pequeños.
Nota informativaEsta opción solo es compatible con los siguientes orígenes y destinos:
-
Fuentes Oracle, Microsoft SQL server, MySQL, PostgreSQL e IBM DB2 para LUW
-
Destinos: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.
Cuando se selecciona esta opción, durante la Carga Completa, los LOB pequeños se replicarán "en serie" (lo cual es más eficiente), y los LOB grandes se replicarán realizando una búsqueda desde la tabla de origen. Sin embargo, durante el procesamiento de cambios, tanto los LOB pequeños como los grandes se replicarán realizando una búsqueda en la tabla de origen.
Nota informativaCuando se selecciona esta opción, la tarea de replicación comprobará todos los tamaños de LOB para determinar cuáles transferir de forma "inline". Los LOB mayores que el tamaño especificado se replicarán utilizando el modo LOB completo.
Por lo tanto, si sabe que la mayoría de los LOB son mayores que el valor especificado, es preferible utilizar la opción Replicar columnas LOB ilimitadas en su lugar.
-
-
Tamaño de fragmento (KB): Opcionalmente, cambie el tamaño de los trozos LOB que se utilizarán al replicar los datos en el destino. El tamaño de trozo por defecto debería ser suficiente en la mayoría de los casos, pero si encuentra problemas de rendimiento, ajustar el tamaño puede mejorar el rendimiento.
Nota informativaEn algunas bases de datos, la validación del tipo de datos se produce al insertar o actualizar los datos. En dichos casos, la replicación de tipos de datos estructurados (por ejemplo, XML, JSON, GEOGRAFÍA, etc.) puede fallar si los datos son mayores que el tamaño de trozo especificado.
-
Configuración de LOB para destinos de almacenamiento de datos admitidos
-
Incluir columnas LOB y limitar el tamaño de las columnas a (KB):
Puede optar por incluir columnas LOB en la tarea y establecer el tamaño máximo del objeto LOB. Los LOB que superen el tamaño máximo se truncarán.
Avanzado
Configuración de la tabla de control
-
Esquema de las tablas de control: Especifique el esquema de destino para las Tablas de control si no desea que se creen en el esquema de origen (el valor predeterminado) o en el esquema de destino.
Nota informativaLa longitud máxima permitida para el nombre del esquema es de 128 caracteres. - Crear tablas de control de destino en tablespace: Cuando el destino de replicación sea Oracle, especifique el espacio de tabla donde desea que se creen las tablas de control de destino. Si no indica ninguna información en este campo, las tablas se crearán en el espacio de tabla predeterminado en la base de datos de destino.
- Crear índices para tablas de control de destino en tablespace:Cuando el destino de replicación sea Oracle, especifique el espacio de tabla donde desea que se creen los índices de la tabla de control. Si no indica ninguna información en este campo, los índices se crearán en el mismo espacio de tabla que las tablas de control.
- Intervalo de tiempo del historial de replicación (minutos): La longitud de cada intervalo de tiempo en la tabla de control de Historial de replicación. El valor predeterminado es 5 minutos.
Selección del cuadro de mando
Seleccione las tablas de control que desea que se creen en la plataforma de destino:
Nombre lógico | Nombre en destino |
---|---|
Aplicar excepciones | attrep_apply_exceptions |
Estado de replicación | attrep_status |
Tablas suspendidas | attrep_suspended_tables |
Historial de replicación | attrep_history |
Historial de DDL |
attrep_ddl_history Nota informativa
La tabla de Historial de DDL solo es compatible con las siguientes plataformas de destino:
|
Para obtener más información sobre las tablas de control, consulte Tablas de control.
Carga completa
Básico
Si la tabla de destino ya existe: Seleccione una de las siguientes opciones de la lista para determinar cómo desea gestionar la carga del objetivo en el arranque con carga completa:
La opción de eliminar o truncar las tablas de destino solo es relevante si el punto de conexión de fuente admite estas operaciones.
-
Soltar y crear tabla: La tabla se elimina y se crea una nueva en su lugar.
Nota informativaLa tarea de replicación Tablas de control no se eliminará. Sin embargo, cualquier tabla suspendida que se elimine también se borrará de la tabla de control attrep_suspended_tables si se vuelve a cargar la tarea asociada.
-
TRUNCAR antes de cargar: los datos se truncan sin afectar a los metadatos de la tabla. Tenga en cuenta que cuando se selecciona esta opción, habilitar la opción Crear clave principal o índice único después de completar la carga completa no tendrá ningún efecto.
Nota informativaNo se admite cuando Microsoft Fabric es la plataforma de destino. - Ignorar Los datos y metadatos existentes de la tabla de destino no se verán afectados. Se añadirán nuevos datos a la tabla.
Avanzado
Optimización del rendimiento
Si la replicación de datos es excesivamente lenta, ajustar los siguientes parámetros podría mejorar el rendimiento.
- Número máximo de tablas: indique el número máximo de tablas que se podrán cargar en el destino a la vez. El valor predeterminado es 5.
-
Tiempo de espera de coherencia de la transacción (segundos): indique el número de segundos que la tarea de replicación deberá esperar para que se cierren las transacciones abiertas, antes de iniciar la operación de Carga completa. El valor predeterminado es 600 (10 minutos). La tarea de replicación comenzará con la carga completa después de que se alcance el valor del tiempo de espera, incluso si hay transacciones abiertas.
Nota informativaPara replicar transacciones que estaban abiertas cuando se inició la Carga completa, pero que solo se consignaron después de que se alcanzara el valor de tiempo de espera, deberá volver a cargar las tablas de destino. - Confirmar cifra durante la carga completa: El número máximo de eventos que pueden transferirse juntos. El valor predeterminado es 10000.
Tras finalizar la carga completa
Puede configurar la tarea para que se detenga automáticamente una vez finalizada la Carga completa. Esto es útil si necesita realizar operaciones de DBA en las tablas de destino antes de que comience la fase de Aplicar cambios (es decir, CDC) de la tarea.
Durante la carga completa, cualquier operación DML ejecutada en las tablas de origen se almacena en caché. Cuando finaliza la Carga completa, los cambios almacenados en caché se aplican automáticamente a las tablas de destino (siempre que estén desactivadas las opciones Antes/Después de aplicar los cambios en caché que se describen a continuación).
- Crear clave principal o índice único: Seleccione esta opción si desea retrasar la creación de claves principales o índices únicos en el destino hasta que finalice la carga completa.
- Detener la tarea: Nota informativa
Estos ajustes no están disponibles cuando:
- se replica desde fuentes de aplicaciones SaaS (ya que no hay eventos almacenados en caché).
- se replica desde destinos de almacén de datos
Antes de aplicar los cambios en la caché: Seleccione esta opción para detener la tarea una vez finalizada la carga completa.
Después de aplicar los cambios en la caché: Seleccione esta opción para detener la tarea en cuanto los datos sean coherentes en todas las tablas de la tarea.
Nota informativaAl configurar la tarea para que se detenga una vez finalizada la carga completa, tenga en cuenta lo siguiente:
- La tarea no se detiene en el momento en que finaliza la carga completa. Se detendrá solo después de que se haya capturado el primer lote de cambios (ya que esto es lo que desencadena la detención de la tarea). Esto podría llevar un tiempo, dependiendo de la frecuencia con la que se actualice la base de datos de origen. Una vez detenida la tarea, los cambios no se aplicarán al objetivo hasta que se reanude la tarea.
- Elegir Antes de que se apliquen los cambios en caché puede afectar al rendimiento, ya que los cambios en caché solo se aplicarán a las tablas (incluso a las que ya hayan completado la carga completa) después de que la última tabla complete la Carga completa.
- Cuando se selecciona esta opción y se ejecuta un DDL en una de las tablas de origen durante el proceso de carga completa (en una tarea de Carga completa y Aplicar cambios), la tarea de replicación recargará la tabla. Esto significa que cualquier operación DML ejecutada en las tablas de origen se replicará en el destino antes de que se detenga la tarea.
Para carga inicial
Al mover datos desde una fuente de aplicación SaaS, puede configurar cómo realizar la carga completa inicial:
Usar datos almacenados en caché |
Esta opción le permite usar datos almacenados en caché que se leyeron al generar metadatos con el Examen completo de datos seleccionado. Esto genera menos consumo en general con respecto al uso de la API y las cuotas, ya que los datos se leen desde la fuente. Cualquier cambio desde el examen de datos inicial puede ser recogido por Change data capture (CDC). |
Cargar datos de fuente |
Esta opción realiza una nueva carga desde la fuente de datos. Esta opción es útil si:
|
Aplicar cambios
Estos ajustes solo están disponibles cuando está activado el modo de replicación Aplicar cambios.
Básico
Aplicar cambios de DDL a la tabla de destino
Las siguientes opciones determinan si las operaciones DDL realizadas en la tabla de origen correspondiente también se realizarán en la tabla de destino.
- Eliminar tabla: Selecciónelo para eliminar la tabla de destino cuando se elimine la tabla de origen.
-
Truncar tabla Seleccione truncar la tabla de destino cuando la tabla de origen esté truncada.
Nota informativaNo se admite cuando Microsoft Fabric es la plataforma de destino. - Alterar tabla: Selecciónelo para modificar la tabla de destino cuando se modifique la tabla de origen.
Ajustes en el procesamiento de cambios
-
Aplicar cambios por lotes a varias tablas al mismo tiempo: Seleccionar esta opción puede mejorar el rendimiento al aplicar cambios desde varias tablas de origen.
Nota informativaEsta opción solo se admite cuando:
- El modo Aplicar cambios está configurado en Optimizado por lotes. Para obtener más información, consulte General.
- Los objetivos de replicación no son MySQL, PostgreSQL, Oracle ni Google BigQuery.
-
Número máximo de tablas: El número máximo de tablas a las que aplicar cambios por lotes simultáneamente. El valor predeterminado es cinco, el máximo es 50 y el mínimo es dos.
Cuando la opción Aplicar cambios por lotes a varias tablas simultáneamente está habilitada, se aplican las siguientes limitaciones:
-
Los valores predeterminados de la política de manejo de errores de tareas no se modificarán para los errores de Entorno y de Tabla, pero los valores predeterminados para los errores de Datos y los errores de Conflictos de aplicación serán los siguientes:
- Errores de datos:
- Errores de truncamiento de datos: Registrar mediante archivos de registro en la tabla de excepciones
- Otros errores de datos: Suspender tabla
- Errores de conflictos de aplicación:
- Eliminaciones: Ignorar registro
Inserciones: ACTUALIZAR el registro de destino existente
Nota informativaEsto no es relevante para un destino de Snowflake (ya que Snowflake no admite claves primarias).- Actualizaciones: Ignorar registro
- Acción de escalada:
- No se admite la Acción de escalamiento para errores de Datos y Conflictos de aplicación.
- La tabla de control attrep_apply_exception no es compatible.
- Para errores de datos:
- La opción Registrar mediante archivos de registro en la tabla de excepciones solo está disponible para errores de truncamiento de datos.
- No existe la opción Ignorar.
- Para conflictos de aplicación:
- La opción Registrar mediante archivos de registro en la tabla de excepciones no está disponible.
- La opción Ignorar solo está disponible para el conflicto de aplicación No se encontró ningún registro para aplicar UPDATE.
- Errores de datos:
Vea también: Manejo de errores.
-
Limitar el número de cambios aplicados por sentencia de procesamiento de cambios a: Para limitar la cantidad de cambios aplicados en una sola sentencia de procesamiento de cambios seleccione esta opción y luego, si lo desea, cambie el valor predeterminado. El valor predeterminado es 10 000.
Nota informativaEsta opción solo se admite con los siguientes destinos: MySQL, PostgreSQL, Oracle y Google BigQuery.
Avanzado
Vea Ajustes en el procesamiento de cambios.
Guardar cambios
Estos ajustes solo están disponibles cuando está activado el modo de replicación Guardar cambios.
Básico
Opciones de DDL
Seleccione una de las siguientes opciones para determinar cómo manejar las operaciones DDL en las tablas de origen:
- Aplicar a la tabla de cambios: las operaciones DDL en las tablas de origen (como la adición de una columna) se aplicarán únicamente a las tablas de cambios correspondientes.
- Ignorar: se ignorarán todas las operaciones de DDL a las tablas de origen.
Avanzado
Al actualizar
Seleccione Guardar imagen de antes y después para almacenar tanto los datos previos a la ACTUALIZACIÓN como los datos posteriores a la ACTUALIZACIÓN. Cuando no se selecciona, solo se almacenarán los datos posteriores a la ACTUALIZACIÓN.
Creación de tablas de cambios
La siguiente sección describe las opciones disponibles al almacenar cambios en las Tablas de cambios.
- Sufijo: Especifique una cadena que se utilizará como sufijo para todas las Tablas de cambios. El valor predeterminado es __ct. Los nombres de las tablas de cambios son el nombre de la tabla de destino con el sufijo añadido. Así, por ejemplo, utilizando el valor predeterminado, el nombre de la Tabla de cambios será HR__ct.
- Prefijo de la columna de cabecera: Especifique una cadena que se utilizará como prefijo para todas las columnas de cabecera de las tablas de cambios. El valor predeterminado es header__. Por ejemplo, si se utiliza el valor predeterminado, la columna de cabecera stream_position se llamará header__stream_position.
Para obtener más información sobre las tablas de cambios, consulte Usar las tablas de cambios.
Si existe una tabla de cambios cuando comienza la carga completa: Seleccione una de las siguientes opciones para determinar cómo cargar las tablas de cambios cuando comienza la replicación de carga completa:
- Eliminar y crear tabla de cambios: la tabla se elimina y se crea una nueva en su lugar.
-
Eliminar los cambios antiguos y almacenar los cambios en la tabla de cambios: los datos se truncan y se añaden sin afectar a los metadatos de la tabla.
Nota informativaNo se admite cuando Microsoft Fabric es la plataforma de destino. - Mantener los cambios antiguos y almacenar los nuevos en la tabla de cambios: los datos y metadatos de la tabla de cambios existente no se verán afectados.
Columnas de encabezado de tabla
Las columnas del encabezado de la tabla de cambios proporcionan información sobre la operación de procesamiento de cambios, como el tipo de operación (por ejemplo, INSERT), el tiempo de confirmación, etc. Si no necesita esta información, puede configurar la tarea de ubicación de destino (mover) para que cree las tablas de cambios con columnas de encabezado seleccionadas (o ninguna), reduciendo así su huella en la base de datos de destino.
Para obtener una descripción de las columnas del encabezado, consulte Tablas de cambios.
Manejo de errores
Básico
Conflictos de aplicación
Duplicar la clave al aplicar INSERT: Seleccione qué acción tomar cuando haya un conflicto con una operación INSERT.
-
Ignorar: la tarea continúa y el error se ignora.
-
ACTUALIZAR el registro de destino existente: se actualiza el registro de destino con la misma clave primaria que el registro de origen INSERTADO.
- Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.
-
Suspender tabla: la tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
- Detener tarea: la tarea se detiene y se requiere intervención manual.
No se encontró ningún registro para aplicar una ACTUALIZACIÓN: Seleccione qué acción tomar cuando haya un conflicto con una operación ACTUALIZAR.
- Ignorar: la tarea continúa y el error se ignora.
-
INSERTAR el registro de destino que falta: el registro de destino que falta se insertará en la tabla de destino. Cuando el punto de conexión de fuente es Oracle, seleccionar esta opción requiere que el registro suplementario esté habilitado para todas las columnas de la tabla de origen.
- Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.
-
Suspender tabla: la tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
- Detener tarea: la tarea se detiene y se requiere intervención manual.
Avanzado
El manejo de errores de datos solo se admite en el modo de replicación Aplicar cambios (no en Carga completa).
Errores de datos
Para errores de truncamiento de datos: Seleccione lo que desea que suceda cuando se produzca un truncamiento en uno o más registros específicos. Puede seleccionar uno de los siguientes de la lista:
- Ignorar: La tarea continúa y el error se ignora.
- Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.
- Suspender tabla: La tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
- Detener tarea: La tarea se detiene y se requiere intervención manual.
Para otros errores de datos: Seleccione lo que desea que suceda cuando ocurra un error en uno o más registros específicos. Puede seleccionar uno de los siguientes de la lista:
- Ignorar: La tarea continúa y el error se ignora.
- Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.
- Suspender tabla: La tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
- Detener tarea: La tarea se detiene y se requiere intervención manual.
Escalar el manejo de errores cuando los errores de datos lleguen a (por tabla): Seleccione esta casilla de verificación para escalar el manejo de errores cuando el número de errores de datos no truncados (por tabla) alcance la cantidad especificada. Los valores válidos son 1-10.000.
Acción de escalada: Elija qué debe suceder cuando se intensifica el manejo de errores. Tenga en cuenta que las acciones disponibles dependen de la acción seleccionada en la lista desplegable Para otros errores de datos descrita anteriormente.
-
Suspender tabla (opción predeterminada): La tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se desplazado.
Nota informativaEl comportamiento difiere según el modo de procesamiento de cambios:
-
En el modo Aplicar por transacción, los últimos cambios no se transferirán (desplazado).
-
En el modo Aplicar optimizado por lotes, es posible una situación en la que los datos no se transfieran desplazado en absoluto o solo parcialmente desplazado.
-
- Detener tarea: La tarea se detiene y se requiere intervención manual.
- Registrar mediante archivos de registro en la tabla de excepciones: La tarea continúa y el registro se escribe en la tabla de excepciones.
Errores de tabla
Al encontrar un error en la tabla: Seleccione una de las siguientes opciones en la lista desplegable:
- Suspender tabla (opción predeterminada): La tarea continúa pero los datos de la tabla con el registro de error se mueven a un estado de error y sus datos no se replican.
- Detener tarea: La tarea se detiene y se requiere intervención manual.
Escalar cuando los errores de tabla lleguen a (por tabla): Seleccione esta casilla de verificación para escalar el manejo de errores cuando el número de errores de tabla (por tabla) alcance la cantidad especificada. Los valores válidos son 1-10.000.
Acción de escalada: La política de escalamiento para errores de tabla está configurada en Detener tarea y no se puede cambiar.
Conflictos de aplicación
No se ha encontrado ningún registro para aplicar DELETE:: seleccione qué acción tomar cuando haya un conflicto con una operación DELETE.
- Ignorar: la tarea continúa y el error se ignora.
- Registrar mediante archivos de registro en la tabla de excepciones: la tarea continúa y el registro se escribe en la tabla de excepciones.
- Suspender tabla: la tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
- Detener tarea: la tarea se detiene y se requiere intervención manual.
Escalar el manejo de errores cuando los conflictos de aplicación de cambios alcancen (por tabla): seleccione esta casilla de verificación para escalar el manejo de errores cuando el número de conflictos de aplicación (por tabla) alcance la cantidad especificada. Los valores válidos son 1-10 000.
Acción de escalada: Elija qué debe suceder cuando se escale el manejo de errores:
- Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.
-
Suspender tabla: la tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
Nota informativaEl comportamiento difiere según el modo de procesamiento de cambios:
-
En el modo Aplicar por transacción, los últimos cambios no se replicarán.
-
En el modo Aplicar optimizado por lotes, es posible una situación en la que no habrá replicación de datos o la replicación de datos será parcial.
-
-
Detener tarea: la tarea se detiene y se requiere intervención manual.
Errores de entorno
-
Recuento máximo de reintentos: Seleccione esta opción y luego especifique el número máximo de intentos de ejecutar una tarea cuando se produzca un error de entorno recuperable. Después de que la tarea se haya reintentado la cantidad de veces especificada, la tarea se detiene y se requiere intervención manual.
Para no volver a intentar nunca una tarea, desactive la casilla de verificación o especifique "0".
Para volver a intentar ejecutar una tarea un número infinito de veces, especifique "-1"
-
Intervalo entre reintentos (segundos): Utilice el contador para seleccionar o escribir la cantidad de segundos que el sistema debe esperar entre intentos para volver a ejecutar una tarea.
Los valores válidos son 0-2.000.
-
- Aumentar el intervalo de reintentos en caso de interrupciones prolongadas: Seleccione esta casilla de verificación para aumentar el intervalo de reintentos en caso de interrupciones prolongadas. Cuando esta opción está habilitada, se duplica el intervalo entre cada reintento y el siguiente, hasta alcanzar el Intervalo máximo de reintentos (y continúa intentándolo conforme al intervalo máximo especificado).
- Intervalo máximo de reintentos (segundos): Utilice el contador para seleccionar o escribir el número de segundos que se debe esperar entre los intentos de activar una tarea cuando la opción Aumentar el intervalo de reintentos en caso de interrupciones prolongadas está habilitada. Los valores válidos son 0-2.000.
Ajustes en el procesamiento de cambios
Optimización de la descarga de transacciones
-
Descargar transacciones en curso al disco si:
La tarea de replicación suele mantener los datos de la transacción en memoria hasta que se consignan por completo en el origen y/o el destino. Sin embargo, las transacciones que superen la memoria asignada o que no se consignen en el plazo especificado se descargarán al disco.
- El tamaño total de la memoria de transacciones excede (MB): el tamaño máximo que pueden ocupar todas las transacciones en memoria antes de ser descargadas a disco. El valor predeterminado es 1024.
- La duración de las transacciones supera (segundos): el tiempo máximo que cada transacción puede permanecer en memoria antes de ser descargada a disco. La duración se calcula a partir de la hora en que la tarea de replicación comenzó a capturar la transacción. El valor predeterminado es 60.
Ajuste por lotes
Los siguientes ajustes solo están disponibles cuando el Modo de aplicación está configurado como Optimizado por lotes.
- Aplicar cambios por lotes a intervalos:
-
Por encima de: el tiempo mínimo de espera entre cada aplicación de cambios por lotes. El valor predeterminado es 1.
Aumentar el valor Más de disminuye la frecuencia con la que se aplican los cambios al objetivo, al tiempo que aumenta el tamaño de los lotes. Esto puede mejorar el rendimiento cuando se aplican cambios a bases de datos de destino que están optimizadas para procesar grandes lotes.
- Menos de: la cantidad máxima de tiempo que se ha de esperar entre cada aplicación de cambios por lotes (antes de declarar un tiempo de espera). En otras palabras, la latencia máxima aceptable. El valor predeterminado es 30. Este valor determina el tiempo máximo de espera antes de aplicar los cambios, una vez alcanzado el valor Más de.
-
Forzar la aplicación de un lote cuando la memoria de procesamiento exceda (MB): la cantidad máxima de memoria que se utilizará para el preprocesamiento en el Modo de aplicación optimizado por lotes. El valor predeterminado es 500.
Para el tamaño máximo de lote, ajuste este valor a la mayor cantidad de memoria que pueda asignar a la tarea de replicación. Esto puede mejorar el rendimiento cuando se aplican cambios a bases de datos de destino que están optimizadas para procesar grandes lotes.
Intervalo
-
Leer los cambios cada (Minutos)
Establezca el intervalo entre los cambios de lectura de la fuente en minutos. El rango válido es de 1 a 1440.
Nota informativaEsta opción solo está disponible cuando:
- Uso de Pasarela Data Movement
- Se transfieren datos desde fuentes de aplicaciones SaaS
- La tarea se define con el método de actualización de Captura de Datos de Cambios (CDC)
Optimización variada
Tamaño de caché para sentencias (número de sentencias)
El número máximo de sentencias preparadas que se puede almacenar en el servidor para su posterior ejecución (al aplicar cambios al destino). El valor predeterminado es 50. El máximo es 200.
Almacenar datos de recuperación de tareas en la base de datos de destino
Seleccione esta opción para almacenar información de recuperación específica de la tarea en la base de datos de destino. Cuando se selecciona esta opción, la tarea de replicación crea una tabla denominada attrep_txn_state en la base de datos de destino. Esta tabla contiene datos de transacciones que se pueden utilizar para recuperar una tarea en caso de que los archivos de la carpeta Datos de Pasarela Data Movement estén dañados o si el dispositivo de almacenamiento que contiene la carpeta Datos ha fallado.
Aplicar cambios mediante SQL MERGE
Cuando no se selecciona esta opción, la tarea de replicación ejecutará instrucciones INSERT, UPDATE y DELETE en masa aparte para cada uno de los diferentes tipos de cambios en la tabla Net Changes.
Si bien este método es muy eficiente, habilitar la opción Aplicar cambios usando SQL MERGE es aún más eficiente cuando se trabaja con puntos finales que admiten esta opción.
Esto se debe a las siguientes razones:
- Reduce la cantidad de sentencias SQL ejecutadas por tabla de tres a una. La mayoría de las operaciones de UPDATE en bases de datos en la nube grandes, inmutables y basadas en archivos (como Google Cloud BigQuery) implican la reescritura de los archivos afectados. Con este tipo de operaciones, la reducción de sentencias SQL por tabla de tres a una resulta muy significativa.
- La base de datos de destino solo necesita examinar la tabla de cambios una vez, lo que reduce significativamente la E/S.
Optimizar inserciones
Cuando se selecciona Aplicar cambios usando SQL MERGE junto con la opción Optimizar inserciones y los cambios consisten solo en INSERTS, la tarea de replicación realizará INSERTS en lugar de usar SQL MERGE. Aunque esto suele mejorar el rendimiento y, por tanto, reducir costes, también puede dar lugar a registros duplicados en la base de datos de destino.
- Las opciones Aplicar cambios usando SQL MERGE y Optimizar inserciones están disponibles para tareas configuradas con los siguientes puntos finales de destino únicamente:
- Google Cloud BigQuery
- Databricks
- Snowflake
- Las opciones Aplicar cambios usando SQL MERGE y Optimizar inserciones no son compatibles con los siguientes puntos de conexión de fuente:
- Salesforce
- Oracle
-
Cuando la opción Aplicar cambios usando SQL MERGE está habilitada:
- Los errores de datos no fatales o los errores de datos que no se puedan recuperar se tratarán como errores de tabla.
- La política de manejo de errores Aplicar conflictos no será editable con la siguiente configuración.
- No se encontró ningún registro para aplicar DELETE: Ignorar registro
Duplicar la clave al aplicar INSERT: ACTUALIZAR el registro de destino existente
Nota informativaSi la opción Optimizar inserciones también está seleccionada, la clave Duplicate al aplicar la opción INSERT se establecerá en Permitir duplicados en destinos.- No se encontró ningún registro para aplicar una ACTUALIZACIÓN: INSERTAR el registro de destino que falta
- Acción de escalada: Registrar mediante archivos de registro en la tabla de excepciones
- Las siguientes opciones de política de manejo de errores de datos Para otros errores de datos no estarán disponibles:
- Ignorar registro
- Registrar mediante archivos de registro en la tabla de excepciones
- La operación SQL MERGE real solo se realizará en las tablas de destino finales. Las operaciones INSERT se realizarán en las tablas de cambios intermedias (cuando los modos de replicación Aplicar cambios o Almacenar cambios estén habilitados).
Aplicar por transacción
Los siguientes ajustes solo están disponibles cuando el Modo de aplicación está configurado Por transacción.
-
Número mínimo de cambios por transacción: el número mínimo de cambios que se ha de incluir en cada transacción. El valor predeterminado es 1000.
Nota informativaLa tarea de replicación aplica los cambios al destino cuando el número de cambios es igual o superior al valor del Número mínimo de cambios por transacción o cuando se alcanza el tiempo de espera del lote (véase a continuación), lo que ocurra primero. Dado que la frecuencia de los cambios aplicados al destino está controlada por estos dos parámetros, es posible que los cambios en los registros de origen no se reflejen inmediatamente en los registros de destino. - Tiempo máximo para procesar transacciones por lotes antes de aplicarlas (segundos): el tiempo máximo para recopilar transacciones por lotes antes de declarar un tiempo de espera. El valor predeterminado es 1.
Sustitución de caracteres
Puede sustituir o eliminar caracteres de origen en la base de datos de destino y/o puede sustituir o eliminar caracteres de origen que no sean compatibles con un conjunto de caracteres seleccionado.
Todos los caracteres deben especificarse como puntos de código Unicode.
- La sustitución de caracteres también se realizará en las tablas de control.
Los valores no válidos se indicarán mediante un triángulo rojo en la parte superior derecha de la celda de la tabla. Al pasar el cursor del ratón sobre el triángulo se mostrará el mensaje de error.
Cualquier transformación global o a nivel de tabla definida para la tarea se realizará después de que se haya completado la sustitución del carácter.
Las acciones de sustitución definidas en la tabla Sustituir o eliminar caracteres de origen se realizan antes de la acción de sustitución definida en la tabla Sustituir o eliminar caracteres de origen no admitidos por el conjunto de caracteres seleccionado.
- La sustitución de caracteres no admite tipos de datos LOB.
Sustituir o eliminar caracteres de origen
Utilice la tabla Sustituir o eliminar caracteres de origen para definir reemplazos para caracteres de origen específicos. Esto puede ser útil, por ejemplo, cuando la representación Unicode de un carácter es diferente en las plataformas de origen y destino. Por ejemplo, en Linux, el carácter menos en el juego de caracteres Shift_JIS se representa como U+2212, pero en Windows se representa como U+FF0D.
Para | Haga esto |
---|---|
Definir acciones de sustitución. |
|
Editar el carácter de origen o del destino especificado | Haga clic en al final de la fila y seleccione Editar. |
Eliminar entradas de la tabla | Haga clic en al final de la fila y seleccione Eliminar. |
Sustituir o eliminar caracteres de origen no admitidos por el juego de caracteres seleccionado
Utilice la tabla Caracteres de origen no admitidos por juego de caracteres para definir un único carácter de sustitución para todos los caracteres no admitidos por el juego de caracteres seleccionado.
Para | Haga esto |
---|---|
Defina o edite una acción de sustitución. |
|
Desactivar la acción de sustitución. | Seleccione la entrada en blanco de la lista desplegable Juego de caracteres. |
Más opciones
Estas opciones no están expuestas en la interfaz de usuario ya que solo son relevantes para versiones o entornos específicos. En consecuencia, no configure estas opciones a menos que se lo indique explícitamente el Soporte de Qlik o la documentación del producto.
Para configurar una opción, simplemente copie la opción en el campo Añadir nombre de característica y haga clic en Añadir. Luego configure el valor o habilite la opción de acuerdo con las instrucciones que recibió.
Programación de tareas al trabajar sin Pasarela Data Movement
Pasarela Data Movement no se admite con una suscripción Qlik Talend Cloud Starter y es opcional con otros niveles de suscripción. Cuando se trabaja sin Pasarela Data Movement, no se admite la CDC (Captura de datos de cambio) en tiempo casi real. Mantiene los datos de destino actualizados al configurar un intervalo de programación. La programación determina la frecuencia con la que se actualizarán los conjuntos de datos de destino con los cambios realizados en los conjuntos de datos de la fuente. Mientras que la programación determina la frecuencia de actualización, el tipo de conjunto de datos determina el método de actualización. Si los conjuntos de datos de la fuente admiten CDC, solo se replicarán los cambios de los datos de la fuente y se aplicarán a las tablas de destino correspondientes. Si los conjuntos de datos de la fuente no admiten CDC (por ejemplo, Vistas), los cambios se aplicarán recargando todos los datos de la fuente en las tablas de destino correspondientes. Si algunos de los conjuntos de datos de origen admiten CDC y otros no, se crearán dos subtareas separadas (suponiendo que las opciones de replicación Aplicar cambios o Almacenar cambios se hayan seleccionado): una para recargar los conjuntos de datos que no admiten CDC y la otra para capturar los cambios en los conjuntos de datos que sí admiten CDC. En este caso, para garantizar la coherencia de los datos, se recomienda encarecidamente establecer la misma programación para ambas subtareas.
Para obtener información sobre los intervalos mínimos de programación según el tipo de fuente de datos y el nivel de suscripción, consulte Intervalos de programación mínimos permitidos.
Para cambiar la programación:
Abra su proyecto y realice una de las siguientes acciones:
- En la vista de tareas, haga clic en en una tarea de replicación y seleccione Programación.
- En la vista de canalización, haga clic en en una tarea de replicación y seleccione Programación.
- Abra la tarea de replicación y haga clic en el botón de la barra de herramientas Programación.
- Cambie la configuración de programación según sea necesario y, a continuación, haga clic en Aceptar.