Replicación de datos con una suscripción Estándar, Premium o Enterprise

Para configurar una tarea de replicación:

1. En Integración de datos > Proyectos, haga clic en Crear proyecto.

2. En el cuadro de diálogo Nuevo proyecto, haga lo siguiente:

   1. Dé un Nombre a su proyecto.
   2. Seleccione el Espacio en el que desea que se cree el proyecto.
   3. Si lo desea, proporcione una Descripción.
   4. Seleccione Replication como el Caso de uso.
   5. Opcionalmente, desmarque la casilla de verificación Abrir si desea crear un proyecto vacío sin configurar ninguna opción.

   6. Haga clic en Crear.

      Ocurrirá una de las siguientes situaciones:

      • Si seleccionó la casilla de verificación Abrir en el cuadro de diálogo Nuevo proyecto (opción predeterminada), se abrirá el proyecto.
      • Si desmarcó la casilla de verificación Abrir en el cuadro de diálogo Nuevo proyecto, el proyecto se agregará a su lista de proyectos. Puede abrir el proyecto más tarde seleccionando Abrir en el menú del proyecto .

3. Una vez abierto el proyecto, haga clic en Replicar datos.

   Se abre el asistente Replicar datos.

4. En la pestaña General, especifique un nombre y una descripción para la tarea de replicación. Haga clic en Siguiente.

5. En la pestaña Seleccionar conexión de origen, seleccione una conexión con los datos de origen. Opcionalmente, puede editar la configuración de conexión seleccionando Editar en el menú en la columna Acciones.

   Si aún no ha creado una conexión con su fuente de datos, primero debe crear una haciendo clic en Crear conexión en la parte superior derecha de la pestaña.

   Puede filtrar la lista de conexiones usando los filtros a la izquierda. Las conexiones se pueden filtrar según el tipo de fuente, puerta de enlace, espacio y propietario. El botón Todos los filtros encima de la lista de conexiones muestra el número de filtros actuales. Puede utilizar este botón para cerrar o abrir el panel Filtros a la izquierda. Los filtros actualmente activos también se muestran encima de la lista de conexiones disponibles.

   También puede ordenar la lista seleccionando Modificado por última vez, Creado por última vez o Alfabéticamente en la lista desplegable de la derecha. Haga clic en la flecha a la derecha de la lista para cambiar el criterio de ordenación.

   Una vez que haya seleccionado una conexión de origen de datos, haga clic si lo desea en Probar conexión, en la parte superior derecha de la pestaña (recomendado) y, a continuación, haga clic en Siguiente.

6. En la pestaña Seleccionar conjuntos de datos, seleccione las tablas y/o vistas que desee incluir en la tarea de replicación. También puede utilizar comodines y crear reglas de selección, como se describe en Seleccionar datos de una base de datos.

7. En la pestaña Seleccionar conexión de destino, seleccione el destino de la lista de conexiones disponibles y luego haga clic en Siguiente. En términos de funcionalidad, la pestaña es la misma que la pestaña Seleccionar conexión de origen descrita anteriormente.

8. En la pestaña Configuración, cambie si lo desea los siguientes parámetros y luego haga clic en Siguiente.

   Modo de replicación

   Nota informativaCuando se replica desde fuentes de aplicaciones SaaS, el modo de replicación de Carga completa está activado por defecto y no se puede desactivar.
   • Carga completa: Carga los datos de las tablas de origen seleccionadas en la plataforma de destino y crea las tablas de destino si es necesario. La carga completa se produce automáticamente cuando se inicia la tarea, pero también se puede realizar manualmente si surge la necesidad.

   • Aplicar cambios: Mantiene las tablas de destino actualizadas con cualquier cambio realizado en las tablas de origen.

   • Guardar cambios: Almacena los cambios en las tablas de origen en las Tablas de cambios (una por cada tabla de origen) .

     Para obtener más información, consulte Guardar cambios.

   Cuando se trabaja con Pasarela Data Movement, los cambios se capturan desde la fuente casi en tiempo real. Cuando se trabaja sin Pasarela Data Movement (por ejemplo, con una suscripción Qlik Talend Cloud Starter), los cambios se capturan según la configuración del programador. El intervalo de captura de cambios predeterminado es cada seis horas. Para obtener más información, consulte Programación de tareas al trabajar sin Pasarela Data Movement.

   Modo de aplicar cambios

   Nota informativaAl replicar en destinos de almacén de datos, no puede seleccionar qué modo de Aplicar cambios se usará. Los cambios siempre se aplicarán en el modo Optimizado por lotes para lograr la máxima eficiencia.

   Los cambios se aplican a las tablas de destino utilizando uno de los siguientes métodos:

   • Optimizado por lotes: esta es la opción predeterminada. Cuando se selecciona esta opción, los cambios se aplican por lotes. Se produce una acción de preprocesamiento para agrupar las transacciones en lotes de la forma más eficiente.
   • Por transacción: Seleccione esta opción para aplicar cada transacción individualmente, en el orden en que se haya confirmado. En este caso, se asegura la integridad referencial estricta de todas las tablas.

   Conexión con el área de preparación

   Al replicar en los almacenes de datos que se indican a continuación, debe configurar un área de preparación. Los datos se procesan y preparan en el área de preparación antes de ser transferidos al almacén de datos.

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   Seleccione un área de preparación o haga clic en Crear nueva para definir una nueva área de preparación y siga las instrucciones en Conectar con el almacenamiento en la nube.

   Para editar la configuración de conexión, haga clic en Editar. Para probar la conexión (recomendado), haga clic en Probar conexión.

   Para obtener información sobre qué áreas de preparación son compatibles con qué almacenes de datos, consulte la columna Compatible como área de preparación en Casos de uso de la plataforma de destino y versiones compatibles.

   Programador de replicación

   Nota informativaEsta configuración solo es relevante cuando se accede a fuentes de datos sin Pasarela Data Movement. Para obtener información sobre las ventajas de Pasarela Data Movement y los casos de uso que lo requieren, consulte Pasarela de datos de Qlik - Data Movement.

   • Replicar datos cada: Puede programar con qué frecuencia capturar los cambios de la fuente de datos y establecer una Hora de inicio y una Fecha de inicio. Si los conjuntos de datos de origen admiten CDC (Captura de datos de cambios), solo se replicarán los cambios de los datos de origen y se aplicarán a las tablas de destino correspondientes. Si los conjuntos de datos de origen no admiten CDC (por ejemplo, Vistas), los cambios se aplicarán recargando todos los datos de origen en las tablas de destino correspondientes. Si algunos de los conjuntos de datos de origen admiten CDC y otros no, se crearán dos subtareas separadas (suponiendo que el sea Aplicar cambios o se hayan seleccionado las opciones de replicación Almacenar cambios): una para recargar los conjuntos de datos que no admiten CDC y la otra para capturar los cambios en los conjuntos de datos que sí admiten CDC.

     El asistente de configuración de la incorporación le permite programar un intervalo de horas. Una vez que haya completado el asistente de incorporación, puede explorar diferentes opciones de programación, tal como se describe en Programación de tareas al trabajar sin Pasarela Data Movement.

   Para obtener información sobre los intervalos mínimos de programación según el tipo de fuente de datos y el nivel de suscripción, consulte Intervalos de programación mínimos permitidos.

9. En la pestaña Resumen se muestra una vista de la canalización de datos. Si algunos de los conjuntos de datos seleccionados no admiten CDC, se mostrarán dos canalizaciones: una para la tarea de CDC y otra para la tarea Recargar. Elija si desea Abrir la tarea de datos <nombre> o No hacer nada y después haga clic en Crear.

   Dependiendo de su elección, se abrirá la tarea o se mostrará una lista de proyectos.

10. Si decide abrir la tarea, la pestaña Conjuntos de datos mostrará la estructura y los metadatos de las tablas de fuentes seleccionadas. Esto incluye todas las tablas enumeradas explícitamente, así como las tablas que coinciden con las reglas de selección.

    Si desea agregar más tablas del origen de datos, haga clic en Seleccionar datos de origen.

11. Opcionalmente, cambie la configuración de la tarea como se describe en Configuración de la tarea de replicación de datos.

12. Puede realizar transformaciones en los conjuntos de datos, filtrar datos o agregar columnas.

    Para obtener más información, consulte Administrar conjuntos de datos.

13. Cuando haya agregado las transformaciones que desea, puede validar los conjuntos de datos haciendo clic en Validar conjuntos de datos. Si la validación falla, resuelva los errores antes de continuar.

    Para obtener más información, consulte Validar y ajustar los conjuntos de datos.

14. Cuando esté listo, haga clic en Preparar para catalogar la tarea de datos y prepararlo para su ejecución.

15. Una vez preparada la tarea de datos, haga clic en Ejecutar.

    Para obtener información sobre la recuperación de tareas y otros métodos de ejecución de tareas, vea Opciones de ejecución avanzadas.

16. La replicación ahora debería comenzar y puede ver el progreso en Supervisar. Para obtener más información, consulte Supervisión de una tarea de datos individual.

Establecer prioridad de carga para conjuntos de datos

Puede controlar el orden de carga de los conjuntos de datos en su tarea de datos asignando una prioridad de carga a cada conjunto de datos. Esto puede resultar útil, por ejemplo, si desea cargar conjuntos de datos más pequeños antes que conjuntos de datos grandes.

1. Haga clic en Prioridad de carga.

2. Seleccione una prioridad de carga para cada conjunto de datos.

   La prioridad de carga predeterminada es Normal. Los conjuntos de datos se cargarán en el siguiente orden de prioridad:

   • La más alta

   • Más alta

   • Alta

   • Normal

   • Baja

   • Más baja

   • La más baja

   Los conjuntos de datos con la misma prioridad se cargan sin ningún orden en particular.

3. Haga clic en Aceptar.

Actualizar los metadatos

Puede actualizar los metadatos de la tarea para alinearlos con los cambios en los metadatos de la fuente en la vista Diseño de una tarea. Para aplicaciones SaaS que utilizan el administrador de metadatos, este debe actualizarse antes de poder actualizar los metadatos en la tarea de datos.

1. Tiene una de dos opciones:

   • Haga clic en ... y luego en Actualizar metadatos para actualizar los metadatos de todos los conjuntos de datos de la tarea.

   • Haga clic en ... en un conjunto de datos de Conjuntos de datos y luego en Actualizar metadatos, para actualizar los metadatos de un único conjunto de datos.

   Puede ver el estado de la actualización de metadatos en Actualizar metadatos en la parte inferior de la pantalla. Puede ver cuándo se actualizaron los metadatos por última vez en .

2. Prepare la tarea de datos para aplicar los cambios.

   Una vez preparada la tarea de datos y aplicados los cambios, estos se eliminan de Actualizar metadatos.

Debe preparar tareas de almacenamiento que consuman esta tarea para propagar los cambios.

Si se elimina una columna, se añade una transformación con valores Null para garantizar que el almacenamiento no perderá datos históricos.

Limitaciones

• Un cambio de nombre con una columna eliminada antes de eso, en el mismo intervalo de tiempo, se traducirá en el cambio de nombre de la columna eliminada si tienen el mismo tipo y longitud de datos.

  Ejemplo:  

  Antes: a b c d

  Después: a c1 d

  En este ejemplo, se eliminó b y se cambió el nombre de c a c1, y b y c tienen el mismo tipo y longitud de datos.

  Esto se identificará como un cambio de nombre de b a c1 y una eliminación de c.

• El cambio de nombre de la última columna no se reconoce, incluso si se eliminó la última columna y se cambió el nombre de la anterior.

  Ejemplo:  

  Antes: a b c d

  Después: a b c1

  En este ejemplo, se eliminó d y se cambió el nombre de c a c1.

  Esto se identificará como una eliminación de c y d y una adición de c1.

• Se supone que se agregarán nuevas columnas al final. Si se agregan columnas en el medio con el mismo tipo de datos que la siguiente columna, pueden interpretarse como retirar y cambiar el nombre.