Procesos de optimización de Iceberg

Optimizador adaptativo para Apache Iceberg es un agente inteligente que audita continuamente sus archivos de datos y optimiza su organización y almacenamiento para agilizar las consultas y reducir los costes de almacenamiento.

Qlik utiliza procesos de optimización para mejorar el rendimiento y la manejabilidad de las tablas Iceberg en su Qlik Open Lakehouse. Estos procesos se han diseñado para mantener un almacenamiento eficaz y garantizar un rendimiento superior en las consultas.Al optimizar automáticamente su lakehouse en segundo plano, se reduce la sobrecarga operativa que suponen las tareas manuales de supervisión, solución de problemas y mantenimiento.

Optimizador adaptativo

Optimizador adaptativo ejecuta análisis algorítmicos para determinar cómo optimizar sus tablas Iceberg que ofrezcan el mayor impacto. El agente decide cuándo y cómo optimizar sus datos Iceberg, y calcula cuándo eliminar archivos basándose en factores como el perfil de los datos, las propiedades de las tablas, la frecuencia de los cambios a nivel de fila, el coste y las características de rendimiento.

Utilizando algoritmos avanzados, Optimizador adaptativo evalúa y combina continuamente estos factores para producir las mejores optimizaciones posibles para cada tabla, garantizando que las velocidades de consulta sigan siendo altas y los costes de almacenamiento bajos. Durante la ingesta y la compactación, Optimizador adaptativo recopila y actualiza las estadísticas de las tablas sin necesidad de analizar cada una de ellas. Estas estadísticas ayudan a los motores de consulta en la planificación y ejecución de consultas sobre las tablas Iceberg.

Las optimizaciones inteligentes se adaptan de forma única a sus datos para mejorar la higiene del lago de datos y el rendimiento de las consultas. No todas las tablas se crean igual en su lakehouse de datos, por lo que el Optimizador adaptativo se ajusta a las características individuales de los datos brutos. Estructura, organiza y optimiza cada tabla de forma única.

Los siguientes procesos clave de optimización son realizados automáticamente por Qlik, y no requieren intervención:

Compactación continua

El proceso de compactación es continuo y está optimizado específicamente para la transmisión de datos, pero admite todas las cargas de trabajo. La compactación implica:

• Seguimiento y selección: comprobación periódica de posibles oportunidades de compactación.

• Criterios de optimización: selección de las compactaciones que ofrezcan las mayores ganancias previstas en el rendimiento de las consultas y en la reducción de costes. Esta decisión es relativa al coste de realizar la compactación, un enfoque que garantiza que las tablas Iceberg sigan estando optimizadas para el rendimiento de las consultas sin incurrir en costes computacionales innecesarios.

Expiración de las capturas

Las operaciones Iceberg generan nuevas capturas que están disponibles para las consultas de los usuarios. Las capturas permiten funciones como el viaje en el tiempo. Sin embargo, almacenar estas capturas puede suponer un aumento considerable en los requisitos de almacenamiento. Para ello, Qlik elimina automáticamente las capturas antiguas. El proceso de limpieza se ejecuta cada pocas horas, garantizando que únicamente se conserven las capturas necesarias para optimizar el uso del almacenamiento.

Limpieza de archivos colgantes

En ocasiones, los archivos pueden quedar sin referencia o "colgando" durante las operaciones Iceberg. Los archivos colgantes pueden acumularse, lo que incrementa los costes de almacenamiento. Qlik realiza una limpieza diaria de los archivos colgados detectados, para reducir los costes adicionales de almacenamiento. La operación de limpieza encuentra y elimina automáticamente los archivos colgados de la ubicación de almacenamiento de la tabla, manteniendo un entorno de almacenamiento ordenado y rentable.