Incorporación de datos desde Qlik Replicate
Puede aprovechar toda la funcionalidad de Qlik Open Lakehouse sin abandonar su infraestructura de Replicate existente. Utilice el asistente de incorporación de datos para crear una canalización que procese datos de la salida de Amazon S3 de Qlik Replicate y los almacene como tablas Iceberg utilizando Qlik Open Lakehouse.
Requisitos previos
Antes de iniciar el asistente de incorporación de datos, asegúrese de haber cumplido con los siguientes requisitos previos.
Requisitos previos para Qlik Replicate
Configure una tarea de Qlik Replicate para mover datos a un depósito de Amazon S3 (a través del punto de conexión de destino de Amazon S3).
Requisitos previos de la tarea de Qlik Replicate
-
Habilite únicamente las opciones de replicación Carga completa y/o Guardar cambios (necesarias para mantener los datos actualizados).
-
En la pestaña Store Changes Settings de la configuración de la tarea:
-
Configure las Change Table Settings de la siguiente manera:
-
Sufijo: __ct
-
Prefijo de la columna de cabecera: header__
-
Opciones de DDL: Aplicar a la tabla de cambios
-
Al hacer UPDATE: Almacenar solo la imagen posterior
-
-
Deje Particionamiento de datos de cambios desactivado (predeterminado).
-
-
En la pestaña Metadatos > Tablas de control de la configuración de la tarea, asegúrese de que las tablas de control Aplicar excepciones y Historial de DDL estén seleccionadas.
Para obtener más información sobre estos ajustes, consulte la ayuda de la configuración de tareas de Qlik Replicate (solo en inglés).
Requisitos previos del punto de conexión de destino de Amazon S3 de Qlik Replicate
En la pestaña General :
- En la sección Archivos de metadatos, habilite la opción Crear archivos de metadatos en la carpeta de destino (Replicate de noviembre de 2025 o anterior) o Crear un archivo de metadatos para cada archivo de datos (Replicate de mayo de 2026 o posterior). Esto creará archivos con una extensión .dfm en el depósito S3.
- En la sección Atributos de archivo, asegúrese de que:
- CSV sea el Formato seleccionado (el predeterminado)
- Comprimir archivos usando esté configurado en Ninguno (el predeterminado)
- Ambas opciones de Agregar encabezado de metadatos estén habilitadas (Con nombres de columna y Con tipos de datos)
- Al configurar los ajustes de almacenamiento de Amazon S3, si su depósito contiene archivos que no son de Replicate, se recomienda especificar una Carpeta de destino. De este modo, será más fácil localizar la salida requerida al incorporar los datos con Qlik Open Lakehouse.
Para obtener más información sobre estos ajustes, consulte la ayuda del punto de conexión de destino de Amazon S3 (solo en inglés).
Requisitos previos de Qlik Open Lakehouse
Un conector AWS S3 Data Stream configurado para acceder a la salida de Amazon S3 de Replicate.
Si desea ver instrucciones, consulte Flujo de datos de AWS S3.
Cómo Replicate organiza los datos en S3
Familiarizarse con la estructura que utiliza Qlik Replicate para organizar los datos en S3 facilitará la localización de esos archivos en el Explorador de directorios, que se describe en Crear una tarea de incorporación a continuación.
-
s3://bucket-name/target-path/schema.table/
Contiene archivos de carga completa y archivos de metadatos DFM en formato secuencial, como en el siguiente ejemplo:
-
LOAD00000001.csv
-
LOAD00000001.dfm
-
LOAD00000002.csv
-
LOAD00000002.dfm
-
-
s3://bucket-name/target-path/schema.table__ct/
Contiene archivos de CDC y archivos de metadatos DFM en formato de marca de tiempo, como en el siguiente ejemplo:
-
20250121-083015000.csv
-
20250121-083015000.dfm
-
20250121-091522000.csv
-
20250121-091522000.dfm
-
Crear una tarea de incorporación
Siga estos pasos para configurar una tarea de incorporación para los datos de Replicate:
-
Inicie el asistente de incorporación de la siguiente manera:
-
Nuevo proyecto:Haga clic en Incorporar datos en el centro de la ventana del proyecto.
-
Proyecto existente: En la parte superior derecha de su proyecto de Qlik Open Lakehouse, haga clic en Crear nuevo > Incorporar datos para iniciar el asistente de incorporación.
-
- Indique un nombre y una descripción para la tarea.
- Seleccione Qlik Replicate en las opciones de Origen de datos. Después haga clic en Siguiente.
- Seleccione el conector AWS S3 Data Stream que configuró anteriormente. Después haga clic en Siguiente.
-
En el panel Explorar directorios de la izquierda, seleccione el directorio raíz que contiene la salida de Replicate.
Nota de sugerenciaSi no especificó una carpeta de destino en la configuración del punto de conexión de destino de Replicate Amazon S3 (como se recomienda en los requisitos previos anteriores), es posible que su depósito contenga muchos archivos no relacionados. En este caso, si conoce la ruta exacta, puede pegarla directamente en el campo Ruta del directorio raíz de Replicate. - Haga clic en Cargar para detectar las tablas disponibles. Cualquier tabla disponible se mostrará en la lista Tablas seleccionadas para registrar.
- En la región Seleccionar fuente de datos para detectar tablas de la derecha, están disponibles las siguientes configuraciones:
- Incluir todas las tablas actuales: actívelo para cargar todas las tablas existentes. Cuando esta opción está desactivada, debe seleccionar tablas individuales.
Eliminar los archivos de origen tras la ingesta: Actívelo para eliminar de forma permanente los archivos del depósito S3 de Replicate después de que se procesen correctamente.
Una vez eliminados los archivos de S3, todas las canalizaciones conectadas que utilicen los mismos archivos de S3 como origen quedarán inactivas y no podrán funcionar. Por lo tanto, solo debe habilitar esta opción si está seguro de que los archivos no son necesarios para ningún otro proceso de canalización.
- Haga clic en Siguiente.
- En el paso Tipo de contenido, el formato de archivo (CSV) se detecta automáticamente a partir de sus datos de Replicate. También están disponibles las siguientes opciones:
- Almacén de datos históricos (tipo 2): actívelo si necesita mantener versiones históricas de los registros y conservar un archivo de los cambios.
- Verifique que los eventos se hayan cargado correctamente: puede seleccionar un conjunto de datos para verificar que contiene los datos correctos.
- Haga clic en Siguiente.
- Revise la configuración de la tarea y haga clic en Crear para crear la tarea de incorporación.
-
Haga clic en Preparar para catalogar la tarea de datos y prepararla para su ejecución.
Puede realizar el seguimiento del progreso de preparación en el mosaico de la tarea. Al finalizar, se debería mostrar Preparar: Correcto.
-
Cuando esté listo para comenzar a incorporar datos, haga clic en Ejecutar.
Qué ocurre a continuación
Una vez activada, la tarea de incorporación:
- Comienza a supervisar su depósito de S3 de Replicate en busca de cambios en los datos
- Detecta archivos de carga completa y CDC (Change Data Capture) de Replicate
- Procesa los archivos y crea tablas Iceberg en Qlik Open Lakehouse
- Continúa supervisando en busca de nuevos datos
- Si está habilitado, elimina automáticamente los archivos de origen después de una ingesta correcta
Configuración de tareas
Para cambiar la configuración de la tarea, abra la tarea Onboarding_Qlik_Replicate (nombre predeterminado) y haga clic en el botón de la barra de herramientas Configuración.
Se abre el cuadro de diálogo Configuración: <nombre de tarea>.
La pestaña General
Estas opciones se describen en el paso 7 de Crear una tarea de aterrizaje más arriba.
-
Incluir automáticamente todas las tablas actuales y futuras
-
Eliminar los archivos de origen tras la ingesta
La pestaña Tiempo de ejecución
Cambiar el clúster de lakehouse
Consideraciones y limitaciones
Consideraciones y limitaciones generales
- Las operaciones de carga completa y recarga pueden experimentar un retraso en el procesamiento antes de que los datos aparezcan en las tablas Iceberg. El sistema espera hasta 15 minutos después de que se complete la carga completa para asegurarse de que los archivos estén completos. Como resultado, no se admite la ejecución de cargas completas en Replicate (programadas o manuales) con menos de 15 minutos de diferencia.
- Las tablas de Replicate vacías (tablas sin archivos de datos) no son detectadas ni registradas por el sistema.
- Si habilita Eliminar los archivos de origen después de la ingesta, la tarea de aterrizaje no se puede volver a cargar. Para volver a cargar los datos, debe volver a generarlos en Replicate.
- Las tablas de de Qlik Replicate ya están cargadas. La opción de ejecución avanzada Comenzar a procesar cambios desde: (solo en inglés) no es compatible. Cuando el Tipo 2 (datos históricos) está habilitado, el uso de esta opción corromperá la tabla de historial.
- No se admite la evolución del esquema
CDC frente a canalización de Replicate
En una canalización normal que realiza la ingesta desde fuentes CDC, la métrica Datos actualizados hasta siempre indica la actualidad de los datos (por ejemplo, hace 1 minuto). Esto se debe a que la canalización tiene acceso directo al registro de transacciones de la base de datos, lo que proporciona información en tiempo real de cada evento INSERT/UPDATE/DELETE. Sin embargo, en una canalización que ingiere datos de Replicate, la métrica Los datos se actualizaron el no indica la actualidad de los datos y, de hecho, puede dar la falsa impresión de que los datos están desactualizados (por ejemplo, hace 8 horas). Esto se debe a que la canalización de Replicate no tiene acceso directo al registro de transacciones. En su lugar, Replicate escribe archivos en un depósito S3 y la canalización comprueba la marca de tiempo de creación del archivo para determinar la actualidad de los datos. Por lo tanto, si no hay nuevos cambios en la base de datos de origen durante un tiempo, Replicate no creará un nuevo archivo y la marca de tiempo de Los datos se actualizaron el se quedará obsoleta (lo que dará la impresión errónea de que los datos están desactualizados).