Перейти к основному содержимому Перейти к дополнительному содержимому

Работа с файлами Apache Parquet

Apache Parquet — это столбчатый формат хранения, очень эффективный для хранения информации и обработки запросов в больших наборах данных. В Qlik Sense можно считывать данные из файлов Parquet и сохранять таблицы как файлы Parquet.

Parquet обеспечивает эффективную обработку запросов в отдельных столбцах таблицы вместо чтения всей таблицы полностью. Это подходит для использования при обработке больших данных. Кроме того, Parquet поддерживает эффективное сжатие и кодирование данных. Это может дополнительно уменьшить пространство, требуемое для хранения, и улучшить эффективность обработки запросов.

Примечание к информацииВсе существующие приложения, созданные в версии Qlik Sense до August 2023, необходимо обновить вручную, чтобы обеспечить поддержку Parquet. Это необходимо и при обновлении развертываний до August 2023, и при импорте существующих приложений в новое развертывание. Для получения дополнительной информации об обновлении приложений см. раздел Включение поддержки файлов Parquet для существующих приложений в Qlik Sense.

Создание файлов Parquet

Файлы Parquet можно создавать с помощью команды Store в скрипте. Укажите в скрипте, что ранее считанную таблицу или ее часть необходимо экспортировать в явно названный файл в указанном вами местоположении.

Для получения дополнительной информации см. раздел Store.

Чтение данных из файлов Parquet

Данные из файла Parquet можно считывать так же, как из любого другого файла данных, поддерживаемого Qlik Sense: через Диспетчер данных, редактор загрузки данных или при добавлении данных в новое приложение.

Для получения дополнительной информации см. раздел Загрузка данных из файлов.

Также можно загрузить данные из файла Parquet в скрипт загрузки данных с помощью команды LOAD. Пример.

LOAD * from xyz.parquet (parquet);

Для получения дополнительной информации см. раздел Load.

Ограничения

  • Qlik Sense не поддерживает вложенные поля. Сами поля загружаются, но их содержимое обнуляется.

  • Файлы Parquet, содержащие поле метки времени int96, загружаются неправильно.

    Int96 — это устаревший тип данных, содержащий метку времени без данных о часовом поясе. Будет предпринята попытка прочитать поле как UTC, но ее успех нельзя гарантировать, так как имеются разные реализации поставщиков.

    Проверьте загруженные данные и скорректируйте их с учетом правильного часового пояса, при необходимости указав смещение.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!