Arquitectura del conjunto de datos en un Qlik Open Lakehouse

Cuando genera conjuntos de datos en un Qlik Open Lakehouse, las tablas de almacenamiento, las tablas de modificación y las vistas son generadas automáticamente por Qlik Talend Data Integration. Puede consultar estas vistas para acceder a los datos actuales e históricos almacenados en formato de tabla abierta Iceberg.

Una interfaz de usuario intuitiva y guiada le ayuda a construir, modelar y ejecutar canalizaciones de datos. Puede generar automáticamente esquemas para almacenes de datos operativos (ODS) y almacenes de datos históricos (HDS) sin codificación manual.

Esquemas

Los artefactos se generan en un esquema interno y un esquema de tarea de datos.

• El esquema interno contiene una tabla física con múltiples particiones.

• El esquema de tarea de datos contiene las vistas que puede usar para consumir los datos.

  Cuando un esquema de base de datos está asociada a más de una tarea de datos, cada tarea de datos ha de utilizar un prefijo único para tablas y vistas. Puede fijar el prefijo en la configuración de la tarea de datos.

Solo los esquemas internos se comprueban en busca de conflictos de nombres. Para otros esquemas, debe asegurarse de que no existan conflictos de denominación en los nombres de las tablas. La práctica recomendada es asignar al esquema interno el mismo nombre que al esquema de la tarea de datos y añadir _interno. Esto garantiza que cada combinación de esquema y prefijo sea única.

Tablas

Para cada tabla fuente, se crea una tabla en el esquema interno con el sufijo _internal, utilizando el formato:

<INTERNAL_SCHEMA>.<TABLE_NAME>_internal

Esta tabla contiene cinco particiones, cada una de las cuales cumple una función distinta en la forma en que se procesan y almacenan los datos. Cada partición aprovecha un subconjunto de columnas de la tabla en función de su papel en el ciclo de vida de los datos.

El conjunto de datos interno está estructurado para gestionar eficazmente los datos entrantes de su sistema fuente, admitiendo la ingesta en tiempo real y el seguimiento histórico. El flujo de datos se gestiona a través de varias particiones especializadas, cada una de las cuales se describe a continuación:

• La partición Changes – Ingesta en tiempo real

  Todos los cambios del sistema fuente —inserciones, actualizaciones y eliminaciones— se añaden primero a la partición Changes.

  • Actuando como un registro de cambios en bruto, la partición proporciona una alimentación completa de la actividad de la fuente antes de que se produzca cualquier transformación.

  • Cada cambio se etiqueta con un tipo (I, U o D), que indica cómo se procesa.

  • Los eventos se capturan desde la fuente a medida que se producen. La partición se actualiza prácticamente en tiempo real.

  • La partición Changes está disponible cuando se aplican los siguientes ajustes en la tarea de aterrizaje de datos en el lago.

    • En la pestaña General, el método de actualización debe ser CDC.

    • La Carga completa debe estar activada.

• La partición Asset_state - Seguimiento del progreso

  A medida que se ingieren los cambios, la partición Asset_state registra dos marcas de tiempo clave:

  • Cuándo se añadieron por última vez los cambios a la partición Changes.

  • Cuándo se aplicaron por última vez los cambios a la partición Current.

  Esto ofrece una visibilidad completa de toda la canalización o proceso de sincronización y ayuda a supervisar o solucionar los retrasos.

• La partición Current (ODS) – Última réplica de la fuente

  Los cambios de la partición Changes se aplican periódicamente a la partición Current a fin de mantener una copia actualizada y optimizada para consultas de los datos fuente.

  • Una tarea en segundo plano se ejecuta automáticamente para aplicar esas actualizaciones. Esto se basa en el volumen de cambios acumulados, más que en un calendario fijo definido.

  • La carga completa inicial se escribe directamente en la partición Current.

  • Esta partición refleja el estado actual de los datos y se ha diseñado para una consulta eficaz.

• La partición Prior (HDS) – Datos históricos

  Cuando se actualiza o elimina un registro en la partición Current, se escribe una copia de la versión anterior en la partición Prior. 

  • Los registros contienen metadatos, incluido el historial de cambios y el intervalo de fechas en que los datos son válidos.

  • Esto es compatible con el tipo 2 de dimensión que cambia lentamente (SCD2).

  • La partición Prior está disponible cuando Conservar registros históricos y archivo de registros de cambios está activo en la pestaña General de la configuración de la tarea de almacenamiento de datos.

  • Cuando una versión actualizada de un registro entra en la partición Current, el registro anterior se traslada a la partición Prior para realizar un seguimiento histórico.

• La partición Reload

  La partición Reload actúa como un área de espera temporal durante las recargas completas manuales o programadas:

  • Los nuevos datos se escriben primero en la partición Reload.

  • Las tareas de mantenimiento regulares borran cualquier cambio pendiente antes de que se pongan en pausa.

  • Los datos se comparan con la partición Current y solo las diferencias se trasladan a la partición Current.

  • La partición Reload se borra cuando finaliza la operación.

  Este proceso garantiza una interrupción mínima del conjunto de datos principal durante las operaciones de recarga completa.

La partición Current

La partición Prior

La partición Changes

La partición Asset_state

La partición Reload

Las columnas utilizadas por la partición Reload son idénticas a las de la partición Current.

Vistas

Todas las vistas creadas se actualizan casi en tiempo real. Las siguientes vistas están disponibles para simplificar la consulta y la elaboración de informes:

Actual

La vista Actual refleja el estado más reciente de los datos. Esta vista representa una réplica de la tabla de origen, actualizada prácticamente en tiempo real. Fusiona los datos de las particiones Current y Changes.

Nombre: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>

No se añaden columnas de cabecera a la estructura de la tabla.

Historial

Se genera una vista del Historial en el esquema del activo de datos para cada tabla de origen seleccionada cuando se activa el Historial en los ajustes de la tarea de datos. La vista de Historial fusiona los datos de las particiones Prior y Changes. Ofrece una cronología completa de los cambios, ideal para auditorías o análisis históricos.

Nombre: <EXTERNAL_SCHEMA>.[<PREFIX>]<TABLE_NAME>_<Suffix for history views>

Los siguientes campos de cabecera se añaden a la vista del Historial: