Apache Parquet — это столбчатый формат хранения, очень эффективный для хранения информации и обработки запросов в больших наборах данных. В Qlik Sense можно считывать данные из файлов Parquet и сохранять таблицы как файлы Parquet.
Parquet обеспечивает эффективную обработку запросов в отдельных столбцах таблицы вместо чтения всей таблицы полностью. Это подходит для использования при обработке больших данных. Кроме того, Parquet поддерживает эффективное сжатие и кодирование данных. Это может дополнительно уменьшить пространство, требуемое для хранения, и улучшить эффективность обработки запросов.
Создание файлов Parquet
Файлы Parquet можно создавать с помощью команды Store в скрипте. Укажите в скрипте, что ранее считанную таблицу или ее часть необходимо экспортировать в явно названный файл в указанном вами местоположении.
Для получения дополнительной информации см. раздел Store.
Чтение данных из файлов Parquet
Данные из файла Parquet можно считывать так же, как из любого другого файла данных, поддерживаемого Qlik Sense: через Диспетчер данных, редактор загрузки данных или при добавлении данных в новое приложение.
Для получения дополнительной информации см. раздел Загрузка данных из файлов.
Также можно загрузить данные из файла Parquet в скрипт загрузки данных с помощью команды LOAD. Пример.
Для получения дополнительной информации см. раздел Load.
Ограничения
-
Qlik Sense не поддерживает вложенные поля. Сами поля загружаются, но их содержимое обнуляется.
-
Файлы Parquet, содержащие поле метки времени int96, загружаются неправильно.
Int96 — это устаревший тип данных, содержащий метку времени без данных о часовом поясе. Будет предпринята попытка прочитать поле как UTC, но ее успех нельзя гарантировать, так как имеются разные реализации поставщиков.
Проверьте загруженные данные и скорректируйте их с учетом правильного часового пояса, при необходимости указав смещение.