Configuración de la replicación de datos

Puede configurar opciones para la tarea de replicación de datos.

• Abra la tarea de replicación y haga clic en Configuración en la barra de herramientas.

Se abre el cuadro de diálogo Configuración: <Nombre de tarea>. Las opciones disponibles se describen a continuación.

Modos de tareas

En esta pestaña, puede configurar el modo de replicación y determinar cómo se aplicarán los cambios al destino.

Modo de replicación

Están disponibles los siguientes modos de replicación:

• Carga completa: Carga los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente si surge la necesidad.
• Aplicar cambios: Mantiene las tablas de destino continuamente actualizadas con cualquier cambio realizado en las tablas de origen.

• Guardar cambios: Almacena los cambios en las tablas de origen en las Tablas de cambios (una por cada tabla de origen) .

  Para más información, vea Guardar cambios.

Si selecciona Almacenar cambios o Aplicar cambios y sus datos fuente también contienen tablas que no admiten CDC o vistas, se crearán dos canalizaciones de datos. Una canalización para tablas que admiten CDC y otra canalización para todas las demás tablas y vistas que admiten solo Carga completa.

Modo de aplicar cambios

Los cambios se aplican a las tablas de destino utilizando uno de los siguientes métodos:

• Optimizado por lotes: esta es la opción predeterminada. Cuando se selecciona esta opción, los cambios se aplican por lotes. Se produce una acción de preprocesamiento para agrupar las transacciones en lotes de la forma más eficiente.
• Por transacción: Seleccione esta opción para aplicar cada transacción individualmente, en el orden en que se haya confirmado. En este caso, se asegura la integridad referencial estricta de todas las tablas.

Metadatos

Básico

• Esquema de la tabla de destino: El esquema en el destino al que se replicarán las tablas de origen si no desea utilizar el esquema de tablas de origen (o si no hay ningún esquema en la base de datos de origen).

  Nota informativaAl replicar en un destino de Oracle, el esquema de tabla de destino predeterminado es "sistema". Tenga en cuenta también que si deja este campo vacío (en cuyo caso se utilizará el esquema de origen), debe asegurarse de que el esquema de origen ya exista en el destino. De lo contrario, la tarea fallará.
  Nota informativaLa longitud máxima permitida para el nombre del esquema es de 128 caracteres.

• No incluir columnas LOB: Seleccione esta opción si no desea que se repliquen las columnas LOB de origen.

• Limitar el tamaño de la columna LOB a (KB): este es el valor predeterminado. Seleccione esta opción si solo necesita replicar LOB pequeños o si la plataforma de destino no admite un tamaño ilimitado de LOB. El valor máximo permitido para este campo es 102400 KB (100 MB).

  Al replicar LOB pequeños, esta opción es más eficiente que la opción No limitar el tamaño de la columna LOB ya que los LOB se replican "en línea" en lugar de mediante "búsqueda" desde el origen. Durante el procesamiento de cambios, los LOB pequeños suelen replicarse mediante "búsqueda" desde el origen.

  Como el valor de Limit LOB size (Limitar tamaño de LOB) está en bytes, el tamaño debe calcularse según las siguientes fórmulas:

  • BLOB: la longitud del mayor LOB.
  • NCLOB: La longitud del TEXTO más largo en caracteres multiplicada por dos (ya que cada carácter se trata como un byte doble). Si los datos incluyen caracteres de 4 bytes, multiplíquelos por cuatro.
  • CLOB: La longitud del TEXTO más largo en caracteres (ya que cada carácter se trata como un carácter UTF8). Si los datos incluyen caracteres de 4 bytes, multiplíquelos por dos.
  Nota informativa

  • Cualquier LOB mayor que el tamaño especificado será truncado.
  • Durante el procesamiento de cambios desde el origen de Oracle, los BLOB en serie se replican en serie.
  • Los cambios en esta configuración solo afectarán a las tablas existentes después de recargarlas.

• No limitar el tamaño de las columnas LOB Si se selecciona esta opción, se replicarán las columnas LOB independientemente de su tamaño.

  Nota informativaLa replicación de columnas LOB puede afectar al rendimiento. Esto es especialmente cierto en el caso de las columnas LOB grandes que requieren Data Movement gateway para realizar una búsqueda en la tabla de origen para recuperar el valor LOB de origen.

  • Optimizar cuando el tamaño de LOB sea menor que: Seleccione esta opción cuando necesite replicar LOB pequeños y grandes, y la mayoría de los LOB sean pequeños.

    Nota informativa

    Esta opción solo es compatible con los siguientes orígenes y destinos:

    • Fuentes Oracle, Microsoft SQL server, MySQL, PostgreSQL e IBM DB2 para LUW

    • Destinos: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.

    Cuando se selecciona esta opción, durante la Carga Completa, los LOB pequeños se replicarán "en serie" (lo cual es más eficiente), y los LOB grandes se replicarán realizando una búsqueda desde la tabla de origen. Sin embargo, durante el procesamiento de cambios, tanto los LOB pequeños como los grandes se replicarán realizando una búsqueda en la tabla de origen.

    Nota informativa

    Cuando esta opción esté seleccionada, Data Movement gateway comprobará todos los tamaños de LOB para determinar cuáles transferir "en serie". Los LOB mayores que el tamaño especificado se replicarán utilizando el modo LOB completo.

    Por lo tanto, si sabe que la mayoría de los LOB son mayores que el valor especificado, es preferible utilizar la opción Replicar columnas LOB ilimitadas en su lugar.

  • Tamaño de fragmento (KB): Opcionalmente, cambie el tamaño de los trozos LOB que se utilizarán al replicar los datos en el destino. El tamaño de trozo por defecto debería ser suficiente en la mayoría de los casos, pero si encuentra problemas de rendimiento, ajustar el tamaño puede mejorar el rendimiento.

    Nota informativa

    En algunas bases de datos, la validación del tipo de datos se produce al insertar o actualizar los datos. En dichos casos, la replicación de tipos de datos estructurados (por ejemplo, XML, JSON, GEOGRAFÍA, etc.) puede fallar si los datos son mayores que el tamaño de trozo especificado.

Avanzado

Configuración de la tabla de control

• Esquema de las tablas de control: Especifique el esquema de destino para las Tablas de control si no desea que se creen en el esquema de origen (el valor predeterminado) o en el esquema de destino.

  Nota informativaLa longitud máxima permitida para el nombre del esquema es de 128 caracteres.
• Crear tablas de control de destino en tablespace: Cuando el connector de destino sea Oracle, especifique el espacio de tabla donde desea que se creen las tablas de control de destino. Si no indica ninguna información en este campo, las tablas se crearán en el espacio de tabla predeterminado en la base de datos de destino.
• Crear índices para tablas de control de destino en tablespace:Cuando el connector de destino sea Oracle, especifique el espacio de tabla donde desea que se creen los índices de la tabla de control. Si no indica ninguna información en este campo, los índices se crearán en el mismo espacio de tabla que las tablas de control.
• Intervalo de tiempo del historial de replicación (minutos): La longitud de cada intervalo de tiempo en la tabla de control de Historial de replicación. El valor predeterminado es 5 minutos.

Selección del cuadro de mando

Aplicar cambios

Estos ajustes sólo están disponibles cuando está activado el modo de replicación Aplicar cambios.

Básico

Aplicar cambios de DDL a la tabla de destino

Las siguientes opciones determinan si las operaciones DDL realizadas en la tabla de origen correspondiente también se realizarán en la tabla de destino.

Avanzado

Vea Ajustes en el procesamiento de cambios.

Guardar cambios

Estos ajustes sólo están disponibles cuando está activado el modo de replicación Guardar cambios.

Básico

Opciones de DDL

Seleccione una de las siguientes opciones para determinar cómo manejar las operaciones DDL en las tablas de origen:

• Aplicar a la tabla de cambios: las operaciones DDL en las tablas de origen (como la adición de una columna) se aplicarán únicamente a las tablas de cambios correspondientes.
• Ignorar: se ignorarán todas las operaciones de DDL a las tablas de origen.

Avanzado

Al actualizar

Seleccione Guardar imagen de antes y después para almacenar tanto los datos previos a la ACTUALIZACIÓN como los datos posteriores a la ACTUALIZACIÓN. Cuando no se selecciona, solo se almacenarán los datos posteriores a la ACTUALIZACIÓN.

Creación de tablas de cambios

La siguiente sección describe las opciones disponibles al almacenar cambios en las Tablas de cambios.

• Sufijo: Especifique una cadena que se utilizará como sufijo para todas las Tablas de cambios. El valor predeterminado es __ct. Los nombres de las tablas de cambios son el nombre de la tabla de destino con el sufijo añadido. Así, por ejemplo, utilizando el valor predeterminado, el nombre de la Tabla de cambios será HR__ct.
• Prefijo de la columna de cabecera: Especifique una cadena que se utilizará como prefijo para todas las columnas de cabecera de las tablas de cambios. El valor predeterminado es header__. Por ejemplo, si se utiliza el valor predeterminado, la columna de cabecera stream_position se llamará header__stream_position.

Para más información sobre las tablas de cambios, vea Usar las tablas de cambios.

Si existe una tabla de cambios cuando comienza la carga completa: Seleccione una de las siguientes opciones para determinar cómo cargar las tablas de cambios cuando comienza la replicación de carga completa:

• Eliminar y crear tabla de cambios: la tabla se elimina y se crea una nueva en su lugar.
• Eliminar los cambios antiguos y almacenar los cambios en la tabla de cambios: los datos se truncan y se añaden sin afectar a los metadatos de la tabla.
• Mantener los cambios antiguos y almacenar los nuevos en la tabla de cambios: los datos y metadatos de la tabla de cambios existente no se verán afectados.

Columnas de encabezado de tabla

Las columnas del encabezado de la tabla de cambios proporcionan información sobre la operación de procesamiento de cambios, como el tipo de operación (por ejemplo, INSERT), el tiempo de confirmación, etc. Si no necesita esta información, puede configurar la tarea de ubicación de destino (aterrizaje) para que cree las tablas de cambios con columnas de encabezado seleccionadas (o ninguna), reduciendo así su huella en la base de datos de destino.

Para una descripción de las columnas del encabezado, vea Tablas de cambios.

Manejo de errores

Básico

Conflictos al aplicar cambios

Duplicar la clave al aplicar INSERT: Seleccione qué acción tomar cuando haya un conflicto con una operación INSERT.

• Ignorar: la tarea continúa y el error se ignora.

   

• ACTUALIZAR el registro de destino existente: se actualiza el registro de destino con la misma clave primaria que el registro de origen INSERTADO.

• Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.

• Suspender tabla: la tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.

• Detener tarea: la tarea se detiene y se requiere intervención manual.

No se encontró ningún registro para aplicar una ACTUALIZACIÓN: Seleccione qué acción tomar cuando haya un conflicto con una operación ACTUALIZAR.

• Ignorar: la tarea continúa y el error se ignora.

• INSERTAR el registro de destino que falta: el registro de destino que falta se insertará en la tabla de destino. Cuando el punto de conexión de origen es Oracle, seleccionar esta opción requiere que el registro suplementario esté habilitado para todas las columnas de la tabla de origen.

• Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.

• Suspender tabla: la tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.

• Detener tarea: la tarea se detiene y se requiere intervención manual.

Avanzado

Errores de datos

Para errores de truncamiento de datos: Seleccione lo que desea que suceda cuando se produzca un truncamiento en uno o más registros específicos. Puede seleccionar uno de los siguientes de la lista:

• Ignorar: La tarea continúa y el error se ignora.
• Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.
• Suspender tabla: La tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
• Detener tarea: La tarea se detiene y se requiere intervención manual.

Para otros errores de datos: Seleccione lo que desea que suceda cuando ocurra un error en uno o más registros específicos. Puede seleccionar uno de los siguientes de la lista:

• Ignorar: La tarea continúa y el error se ignora.
• Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.
• Suspender tabla: La tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
• Detener tarea: La tarea se detiene y se requiere intervención manual.

Escalar el manejo de errores cuando los errores de datos lleguen a (por tabla): Seleccione esta casilla de verificación para escalar el manejo de errores cuando el número de errores de datos no truncados (por tabla) alcance la cantidad especificada. Los valores válidos son 1-10.000.

Acción de escalada: Elija qué debe suceder cuando se intensifica el manejo de errores. Tenga en cuenta que las acciones disponibles dependen de la acción seleccionada en la lista desplegable Para otros errores de datos descrita anteriormente.

• Suspender tabla (opción predeterminada): La tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se aterrizado.

  Nota informativa

  El comportamiento difiere según el modo de procesamiento de cambios:

  • En el modo Aplicar por transacción, los últimos cambios no se transferirán (aterrizado).

  • En el modo Aplicar optimizado por lotes, es posible una situación en la que los datos no se transfieran aterrizado en absoluto o solo parcialmente aterrizado.

• Detener tarea: La tarea se detiene y se requiere intervención manual.
• Registrar mediante archivos de registro en la tabla de excepciones: La tarea continúa y el registro se escribe en la tabla de excepciones.

Errores de tabla

Al encontrar un error en la tabla: Seleccione una de las siguientes opciones en la lista desplegable:

• Suspender tabla (opción predeterminada): La tarea continúa pero los datos de la tabla con el registro de error se mueven a un estado de error y sus datos no se replican.
• Detener tarea: La tarea se detiene y se requiere intervención manual.

Escalar cuando los errores de tabla lleguen a (por tabla): Seleccione esta casilla de verificación para escalar el manejo de errores cuando el número de errores de tabla (por tabla) alcance la cantidad especificada. Los valores válidos son 1-10.000.

Acción de escalada: La política de escalamiento para errores de tabla está configurada en Detener tarea y no se puede cambiar.

Conflictos de aplicación

No se ha encontrado ningún registro para aplicar DELETE:: seleccione qué acción tomar cuando haya un conflicto con una operación DELETE.

• Ignorar: la tarea continúa y el error se ignora.
• Registrar mediante archivos de registro en la tabla de excepciones: la tarea continúa y el registro se escribe en la tabla de excepciones.
• Suspender tabla: la tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.
• Detener tarea: la tarea se detiene y se requiere intervención manual.

Escalar el manejo de errores cuando los conflictos de aplicación de cambios alcancen (por tabla): seleccione esta casilla de verificación para escalar el manejo de errores cuando el número de conflictos de aplicación (por tabla) alcance la cantidad especificada. Los valores válidos son 1-10.000.

Acción de escalada: Elija qué debe suceder cuando se escale el manejo de errores:

• Registrar mediante archivos de registro en la tabla de excepciones (opción predeterminada): la tarea continúa y el error se escribe en la tabla de excepciones.

• Suspender tabla: la tarea continúa, pero los datos de la tabla con el registro de error pasan a un estado de error y sus datos no se replican.

  Nota informativa

  El comportamiento difiere según el modo de procesamiento de cambios:

  • En el modo Aplicar por transacción, los últimos cambios no se replicarán.

  • En el modo Aplicar optimizado por lotes, es posible una situación en la que no habrá replicación de datos o la replicación de datos será parcial.

• Detener tarea: la tarea se detiene y se requiere intervención manual.

Errores de entorno

• Recuento máximo de reintentos: Seleccione esta opción y luego especifique el número máximo de intentos de ejecutar una tarea cuando se produzca un error de entorno recuperable. Después de que la tarea se haya reintentado la cantidad de veces especificada, la tarea se detiene y se requiere intervención manual.

  Para no volver a intentar nunca una tarea, desactive la casilla de verificación o especifique "0".

  Para volver a intentar ejecutar una tarea un número infinito de veces, especifique "-1"

  • Intervalo entre reintentos (segundos): Utilice el contador para seleccionar o escribir la cantidad de segundos que el sistema debe esperar entre intentos para volver a ejecutar una tarea.

    Los valores válidos son 0-2.000.

• Aumentar el intervalo de reintentos en caso de interrupciones prolongadas: Seleccione esta casilla de verificación para aumentar el intervalo de reintentos en caso de interrupciones prolongadas. Cuando esta opción está habilitada, se duplica el intervalo entre cada reintento y el siguiente, hasta alcanzar el Intervalo máximo de reintentos (y continúa intentándolo conforme al intervalo máximo especificado).
  • Intervalo máximo de reintentos (segundos): Utilice el contador para seleccionar o escribir el número de segundos que se debe esperar entre los intentos de activar una tarea cuando la opción Aumentar el intervalo de reintentos en caso de interrupciones prolongadas está habilitada. Los valores válidos son 0-2.000.

Ajustes en el procesamiento de cambios

Optimización de la descarga de transacciones

Las siguientes opciones de sintonización están disponibles, independientemente del modo de procesamiento de cambios seleccionado:

• Descargar transacciones en curso al disco si:

  Qlik Cloud Integración de datos suele mantener los datos de la transacción en memoria hasta que se consignan por completo en el origen y/o el destino. Sin embargo, las transacciones que superen la memoria asignada o que no se consignen en el plazo especificado se descargarán al disco.

  • El tamaño total de la memoria de transacciones excede (MB): el tamaño máximo que pueden ocupar todas las transacciones en memoria antes de ser descargadas a disco. El valor predeterminado es 1024.
  • La duración de las transacciones supera (segundos): el tiempo máximo que cada transacción puede permanecer en memoria antes de ser descargada a disco. La duración se calcula a partir de la hora en que Qlik Cloud Integración de datos comenzó a capturar la transacción. El valor predeterminado es 60.

Optimización variada

• Tamaño de la caché de sentencias (número de sentencias): El número máximo de sentencias preparadas a almacenar en el servidor para su posterior ejecución (al aplicar cambios al destino). El valor predeterminado es 50. El máximo es 200.

• Almacenar datos de recuperación de la tarea en la base de datos de destino: Seleccione esta opción para almacenar información de recuperación específica de la tarea en la base de datos de destino. Cuando se selecciona esta opción, Data Movement gateway crea una tabla denominada attrep_txn_state en la base de datos de destino. Esta tabla contiene datos de transacciones que pueden utilizarse para recuperar una tarea en caso de que los archivos de la carpeta Datos de Pasarela de datos de movimiento de datos estén dañados o si el dispositivo de almacenamiento que contiene la carpeta Datos ha fallado.

Aplicar optimizado por lotes

Los siguientes ajustes solo están disponibles cuando el Modo de aplicación está configurado como optimizado por lotes únicamente.

• Aplicar cambios por lotes a intervalos:

• Por encima de: el tiempo mínimo de espera entre cada aplicación de cambios por lotes. El valor predeterminado es 1.

  Aumentar el valor Más de disminuye la frecuencia con la que se aplican los cambios al objetivo, al tiempo que aumenta el tamaño de los lotes. Esto puede mejorar el rendimiento cuando se aplican cambios a bases de datos de destino que están optimizadas para procesar grandes lotes.

• Menos de: la cantidad máxima de tiempo que se ha de esperar entre cada aplicación de cambios por lotes (antes de declarar un tiempo de espera). En otras palabras, la latencia máxima aceptable. El valor predeterminado es 30. Este valor determina el tiempo máximo de espera antes de aplicar los cambios, una vez alcanzado el valor Más de.

• Forzar la aplicación de un lote cuando la memoria de procesamiento exceda (MB): la cantidad máxima de memoria que se utilizará para el preprocesamiento en el Modo de aplicación optimizado por lotes. El valor predeterminado es 500.

  Para el tamaño máximo de lote, ajuste este valor a la mayor cantidad de memoria que pueda asignar a Data Movement gateway. Esto puede mejorar el rendimiento cuando se aplican cambios a bases de datos de destino que están optimizadas para procesar grandes lotes.

Aplicar por transacción

Los siguientes ajustes solo están disponibles cuando el Modo de aplicación está configurado Por transacción.

• Número mínimo de cambios por transacción: el número mínimo de cambios que se ha de incluir en cada transacción. El valor predeterminado es 1000.

  Nota informativaData Movement gateway aplica los cambios al destino cuando el número de cambios es igual o superior al valor del Número mínimo de cambios por transacción o cuando se alcanza el tiempo de espera del lote (véase un poco más adelante), lo que ocurra primero. Dado que la frecuencia de los cambios aplicados al destino está controlada por estos dos parámetros, es posible que los cambios en los registros de origen no se reflejen inmediatamente en los registros de destino.
• Tiempo máximo para procesar transacciones por lotes antes de aplicarlas (segundos): el tiempo máximo para recopilar transacciones por lotes antes de declarar un tiempo de espera. El valor predeterminado es 1.

Sustitución de caracteres

Puede sustituir o eliminar caracteres de origen en la base de datos de destino y/o puede sustituir o eliminar caracteres de origen que no sean compatibles con un conjunto de caracteres seleccionado.

Sustituir o eliminar caracteres de origen

Utilice la tabla Sustituir o eliminar caracteres de origen para definir reemplazos para caracteres de origen específicos. Esto puede ser útil, por ejemplo, cuando la representación Unicode de un carácter es diferente en las plataformas de origen y destino. Por ejemplo, en Linux, el carácter menos en el juego de caracteres Shift_JIS se representa como U+2212, pero en Windows se representa como U+FF0D.

Sustituir o eliminar caracteres de origen no admitidos por el juego de caracteres seleccionado

Utilice la tabla Caracteres de origen no admitidos por juego de caracteres para definir un único carácter de sustitución para todos los caracteres no admitidos por el juego de caracteres seleccionado.

Aplicación SaaS

Para carga inicial

Al mover datos desde una fuente de aplicación SaaS, puede configurar cómo realizar la carga completa inicial:

Leer los cambios cada (Minutos)

Establezca el intervalo entre los cambios de lectura de la fuente en minutos. El rango válido es de 1 a 1440.