Apache Parquet es un formato de almacenamiento en columnas, altamente eficiente para almacenar y consultar grandes conjuntos de datos. En Qlik Sense, puede leer datos de archivos Parquet y almacenar tablas como archivos de Parquet .
Parquet permite consultas eficientes de columnas específicas en una tabla en lugar de leer toda la tabla. Esto lo hace muy adecuado para su uso con el procesamiento de big data. Además, Parquet admite una compresión y codificación de datos eficientes. Esto puede reducir aún más el espacio de almacenamiento y mejorar el rendimiento de las consultas.
Crear archivos Parquet
Puede crear archivos Parquet usando el comando Store en el script. Indique simplemente en el script que desea exportar una tabla anteriormente leída, o parte de ella, a un nombre de archivo explícito, en una ubicación de su elección.
Para más información, vea Store.
Leer datos desde archivos Parquet
Puede leer datos de un archivo Parquet como lo haría con cualquier otro archivo de datos compatible con Qlik Sense. Esto incluye al Gestor de datos, el Editor de carga de datos o cuando agrega datos a una nueva app.
Para más información, vea Cargar datos desde archivos.
También puede cargar datos desde un archivo Parquet en el script de carga de datos con el comando LOAD. Por ejemplo:
Para más información, vea Load.
Limitaciones
-
Los tipos de campos anidados no son compatibles con Qlik Sense. Los campos se cargan pero el contenido será nulo.
-
Es posible que los archivos de Parquet que contienen un campo de marca de tiempo int96 no se carguen correctamente.
Int96 es un tipo de datos obsoleto que contiene una marca de tiempo sin información de zona horaria. Se intentará leer el campo como UTC, pero como existen diferentes implementaciones de proveedores, no hay garantía de éxito.
Verifique los datos cargados y ajústelos a la zona horaria correcta con un desplazamiento si es necesario.