Лучшие практики для архитектуры QVD при миграции на Qlik Cloud

Последнее обновление: 14.10.2026

Qlik Cloud поддерживает большие файлы, а собственное хранилище DataFiles может обрабатывать большие файлы QVD. Однако, архитектурные соображения отличаются при использовании больших файлов в Qlik Cloud по сравнению с Qlik Sense Enterprise on Windows.

Производительность загрузки QVD отличается между Qlik Sense Enterprise on Windows и Qlik Cloud:

• В Qlik Sense Enterprise on Windows, Qlik Engine считывает QVD напрямую с локального дискового хранилища. Когда файлы хранятся на локальном сервере, также наблюдается минимальная задержка при загрузке данных.

• В Qlik Cloud, Qlik Engine выполняет сетевой вызов для чтения содержимого файла из веб-хранилища файлов. Это увеличивает время загрузки двумя способами. Во-первых, чтение из веб-хранилища файлов по сети добавляет задержку передачи данных, которой можно избежать при чтении с локального диска. Во-вторых, шифрование, необходимое для сертификаций соответствия, таких как SOC 2/3 и HIPAA, добавляет накладные расходы на обработку.

  Примечание к информацииДля получения более подробной информации о безопасности и соответствии требованиям см. Доверие и безопасность в Qlik.

При хранении файлов QVD в Qlik Cloud, включите время чтения и записи файлов в вашу стратегию перезагрузки. Рассмотрите следующие подходы при планировании вашей архитектуры QVD в Qlik Cloud:

• Поддерживайте оптимальные размеры QVD

• Оптимизировать операции загрузки QVD

Для получения дополнительной информации о работе с файлами QVD см.:

• Работа с файлами QVD

Поддерживайте оптимальные размеры QVD

Хотя Qlik Cloud может обрабатывать большие файлы, сохраняйте файлы QVD достаточно маленькими, чтобы соответствовать вашим требованиям к производительности. Нет фиксированного целевого размера, поэтому проверяйте производительность как часть вашего дизайна данных и оптимизируйте дальше, чтобы достичь ваших потребностей. Следующие подходы могут помочь сохранить ваши файлы QVD в оптимальных диапазонах размера для своевременной загрузки.

Дополнительную информацию об оптимизации производительности приложений при работе с большими объемами данных см. в разделе:

• Большие объемы данных

Сегментируйте свои данные

Сократите размер отдельных файлов, сегментируя данные по естественным измерениям, таким как:

• Временной интервал: Сегментируйте данные по временным интервалам, таким как годы или месяцы. Например, можно было бы разделить QVD, содержащий все ваши данные, на два QVD:

  • QVD, который содержит данные за два последних года.

  • QVD-файл, который содержит исторические данные старше двух лет.

• Категория: Сегментируйте данные по логическим категориям, таким как:

  • Страны или регионы.

  • Группы продуктов.

  • Отделы.

  Например, вы могли бы разделить QVD, содержащий все ваши данные, по странам или административным единицам второго уровня, таким как штаты или провинции.

• Уровень агрегации: Агрегируйте свои данные до более высокого уровня, чтобы создать меньший набор данных. Например:

  • Агрегировать ежедневные данные в ежемесячные сводки.

  • Агрегировать индивидуальные данные клиентов в региональные сводки.

Уменьшить кардинальность данных

Уменьшение кардинальности данных в файлах QVD улучшает сжатие и уменьшает размер файлов QVD. Рассмотрите следующие подходы:

• Округление: Округляйте числовые значения с высокой кардинальностью, когда это имеет аналитический смысл. Это уменьшает количество уникальных значений, что приводит к уменьшению наборов данных и более быстрой обработке таблицы символов.

• Разбиение меток времени: Разбить поля меток времени на отдельные поля Дата и Время. Это значительно снижает кардинальность и улучшает сжатие.

• Оптимизация текстовых полей: Текстовые поля могут иметь высокую кардинальность, особенно поля, содержащие длинные описания. Для оптимизации файлов QVD избегайте включения этих текстовых полей в несколько файлов QVD. Переместите их в выделенные QVD-файлы, чтобы основные QVD-файлы данных оставались компактными. Если один текстовый QVD все еще не обеспечивает достаточную производительность, сегментируйте его далее.

Пересмотр стратегии QVD Слой

QVD-файлы могут со временем увеличиваться и перестать быть оптимизированными для их исходных сценариев использования. Пересмотрите свою стратегию Слой и определите, можете ли вы принять более гранулированную структуру. Использование большего количества файлов меньшего размера может ограничить влияние загрузки файлов.

Например, разделение данных о продажах на QVD по годам может ускорить время перезагрузки и позволит приложениям считывать меньше данных, когда им требуются только данные за последние годы.

Дополнительные сведения о создании и хранении слоев QVD см. в разделе:

• Загрузка новых и обновленных записей с инкрементной загрузкой

Оптимизировать операции загрузки QVD

При загрузке данных из файлов QVD в Qlik Cloud, оптимизируйте операции загрузки. Следующие подходы могут помочь сократить время загрузки при чтении файлов QVD.

Минимизация операций чтения из хранилища

Избегайте загрузки одних и тех же файлов QVD несколько раз в рамках одного Скрипта загрузки. Чтобы уменьшить накладные расходы, загрузите данные один раз во временную таблицу и используйте их повторно посредством загрузок RESIDENT.

Дополнительную информацию о загрузке данных и резидентных таблицах см. в разделе:

• Загрузка данных в Qlik Sense

Используйте оптимизированные нагрузки

Для неоптимизированных сценариев, таких как загрузки со сложными условиями WHERE или преобразования данных, рекомендуется сначала загрузить QVD в его оптимизированном формате во временную таблицу. Затем вы можете выполнить необходимые манипуляции и фильтрацию посредством загрузки RESIDENT в вашу конечную целевую таблицу, перенося нагрузку обработки с загрузки QVD в память движка.

Дополнительные сведения об оптимизированном и стандартном режимах загрузки QVD см. в разделе:

• QVD-файлы

Альтернативные решения для хранения файлов

Если накладные расходы на управление хранением ваших QVD в Qlik Cloud вызывают проблемы с производительностью чтения и записи, рассмотрите возможность тестирования альтернативных решений для хранения файлов с настраиваемыми параметрами уровня безопасности.

Для Qlik Cloud-поддерживаемых решений для хранения файлов см. Qlik Коннекторы поставщика веб-хранилища (только английский язык). Чтобы минимизировать проблемы с задержкой, убедитесь, что ваше альтернативное решение для хранения файлов развернуто как можно ближе к клиенту вашего Qlik Cloud региона.

Дополнительные сведения об управлении файлами данных см. в разделе:

• Управление файлами данных

• Управление файлами данных для администраторов клиента и аналитики