Меры стоимости подписки

Расчет объема «Данные для анализа» и управление им

Понимание того, как рассчитывается объем «Данные для анализа», помогает максимально использовать его потенциал в Qlik Cloud. В этом разделе мы подробно рассмотрим, как измеряются месячный пик, загрузка данных, перезагрузи приложений и создание данных, а также обсудим оптимальные методы управления данными.

Месячный пик

Дневной пик представляет общий объем «Данные для анализа» для конкретного дня. Максимальный дневной пик за месяц — это месячный пик, который измеряется и сравнивается с приобретенным объемом «Данные для анализа».

Дневной пик рассчитывается как сумма размера всех файлов таких форматов, как файлы QVD, CSV или текстовые файлы плюс максимальное количество байтов, вводимое из внешних источников для перезагрузок приложений в этот день.

Давайте рассмотрим следующий пример:

Потребление данных меняется день ото дня на протяжении месяца. В день 1 потребление достигает пика 3 ГБ, а в день 2 пик составляет 6 ГБ и так до конца месяца. Самое высокое потребление, зарегистрированное в день 2, составило 6 ГБ. Таким образом, месячный пик составляет 6 ГБ. В те дни, когда не было перезагрузки приложений, как в день 3 в этом примере, на этот день переносится значение за предыдущий день.

Загрузка данных в Qlik Cloud

Данные, загруженные в Qlik Cloud из внешних источников, также засчитываются при расчете дневного пика. Когда данные загружаются в клиент, они учитываются один раз, после чего их можно анализировать и использовать несколько раз. Данные, загруженные в несколько клиентов, засчитываются несколько раз.

Данные, засчитываемые при расчете дневного пика, измеряются следующим образом:

• Файловые данные, загруженные через приложение Qlik Sense, измеряются по размеру файла.

• Перезагрузки приложений с использованием запросов или коннекторов засчитываются как максимальное количество байтов, вводимых из источника данных. Когда в один день происходит несколько перезагрузок, в расчете дневного пика учитывается самый большой размер приложения. Например, если приложение перезагружается в течение дня с потреблением 0,75 ГБ, 1,25 ГБ и 1 ГБ соответственно, для этого дня будет учитываться 1,25 ГБ.

  Пока приложение существует в клиенте Qlik Cloud, для него оценивается максимальное количество вводимых байтов.

• Данные, загруженные в Qlik Cloud через Qlik Data Gateway — Data Movement, измеряются по размеру итогового файла QVD.

• Приложения, отправляемые или загружаемые посредством импорта файлов (в центре активности Аналитика или с помощью qlik-cli), измеряются по статическому размеру приложения в байтах.

• Отправленные файлы QVD измеряются по размеру файла.

В следующих ситуациях данные не включаются в расчет дневного пика:

• Данные, загруженные в личное пространство пользователя, не засчитываются, если их использование ограничено только этим пространством. Если пользователь перемещает данные в общее пространство для совместной работы с другими пользователями, то объем таких данных будет засчитываться.

• Если перезагрузка завершается ошибкой, введенные байты не засчитываются. Однако итоговые файлы QVD засчитываются.

• Когда загружается приложение с данными, которые уже находятся в Qlik Cloud, такая загрузка данных не засчитывается. Например, скопированные или двоичные загруженные приложения (загрузка данных из другого приложения Qlik Sense), не влияют на дневной пик, если не выполняется их перезагрузка из внешнего источника.

Измерение байтов, введенных для перезагрузок приложений

Следующее применяется, когда приложение Qlik Sense перезагружается из внешнего источника:

• Приложение может перезагружаться несколько раз из одного и того же исходного набора данных, не увеличивая дневной пик, если объем данных остается неизменным.

• Если размер исходного набора данных увеличивается, он влияет на дневной пик. Каждый дополнительный гигабайт данных, добавляемый в набор данных, приводит к равнозначному увеличению объема данных, вводимых при перезагрузке.

• И наоборот, если размер исходного набора данных уменьшается, это также отражается в размере дневного пика. Например, если размер набора данных уменьшается на 0,25 ГБ, размер перезагрузки уменьшается на такой же объем. Однако если раньше в этот же день выполнялась перезагрузка размером 1 ГБ, то пик за этот день составит 1 ГБ. Уменьшение будет отражено в пике за следующий день.

• Изменения содержимого исходного набора данных, не приводящие к изменению его размера, не влияют на дневной пик. Дневной пик определяется только объемом данных.

• Если один и тот же набор данных запрашивается несколько раз в рамках одного скрипта загрузки, то все эти запросы засчитываются отдельно, и соответствующие объемы данных суммируются. Например, если есть скрипт загрузки, который включает три запроса по 1 ГБ каждый из одного и того же набора данных, то все эти три запроса засчитываются по отдельности. Поэтому общий объем данных, учитываемый при расчете дневного пика составляет 3 ГБ.

• Загрузка приложения и последующее исключение таблицы не приводят к уменьшению дневного пика, так как он рассчитывается с учетом максимального размера перезагрузки приложения за день.

• Если загрузить приложение и удалить его в тот же день, оно все равно будет учитываться при расчете пика за этот день. Однако удаление будет засчитано как уменьшение дневного пика на следующий день, когда приложения больше не будет.

Измерение данных, загруженных в файлы QVD с помощью Qlik Talend Data Integration

Следующее применяется, когда данные загружаются в файл QVD из внешнего источника с помощью Qlik Data Gateway — Data Movement:

• Можно загружать, импортировать или создавать набор данных несколько раз: это не будет влиять на дневной пик, если объем данных остается неизменным.

• Если размер исходного набора данных увеличивается, он влияет на дневной пик. Каждый дополнительный гигабайт данных, добавляемый в набор данных, приводит к равнозначному увеличению размера итогового файла QVD.

• И наоборот, если размер исходного набора данных уменьшается, это также отражается в размере дневного пика. Например, если размер набора данных уменьшается на 0,25 ГБ, размер итогового файла QVD уменьшается на такой же объем.

• Изменения содержимого исходного набора данных, не приводящие к изменению его размера, не влияют на дневной пик. Дневной пик определяется только объемом данных.

Загрузка приложений из внешних и внутренних источников

Важно понимать, как данные, загружаемые в приложения, влияют на дневной пик в зависимости от источника данных. Давайте рассмотрим следующие сценарии, где данные загружаются из разных источников.

• Приложение загружается из внешнего источника

  Когда данные загружаются в приложение из внешнего источника, они засчитываются как введенные байты. Например, если загружается 10 ГБ, то при расчете дневного пика учитывается 10 ГБ.

• Приложение загружается из файла QVD в Qlik Cloud

  Загрузка данных в приложение из файла QVD, который хранится в Qlik Cloud, не влияет на дневной пик. Если 10 ГБ данных загружается в приложение из файла QVD, этот объем не засчитывается, так как не происходит ввода внешних данных. При расчете дневного пика учитывается 0 ГБ.

• Новый файл QVD создается из QVD в Qlik Cloud

  Данные, которые загружаются в приложение, генерирующее QVD, из файла QVD в Qlik Cloud не учитывается при расчете дневного пика. Однако засчитывается итоговый файл QVD, созданный приложением. Например, если файл QVD размером 10 ГБ преобразуется в новый файл QVD размером 5 ГБ, то при расчете дневного пика учитывается сумма двух файлов, то есть 15 ГБ. Так как отсутствует ввод внешних данных, загрузка приложения, генерирующего QVD (специальное приложение, которое создает модель данных и генерирует QVD), не засчитывается.

• Приложение загружается из внешнего и внутреннего источников

  Если приложение загружает 10 ГБ из внешнего источника и 5 ГБ из файла QVD в Qlik Cloud, дневной пик увеличивается на 10 ГБ, так как засчитываются только данные, загруженные из внешнего источника.

Создание данных в Qlik Cloud

Когда новые данные создаются в Qlik Cloud, путем копирования файлов данных или путем объединения и обработки существующих данных, их объем учитывается при расчете дневного пика. Данные измеряются как общий объем файлов, сгенерированных в процессе создания данных. Созданные данные засчитываются только один раз независимо от того, сколько приложений их используют.

Рассмотрим следующие примеры создания данных:

• Создание файла QVD размером 1 ГБ с использованием оператора STORE, прибавляет 1 ГБ к дневному пику.

• Копирование файла QVD размером 1 ГБ добавляет 1 ГБ к дневному пику, при этом учитываются обе копии.

• Создание файла QVD размером 0,5 ГБ путем преобразования, прибавляет 0,5 ГБ к дневному пику. Засчитывается только итоговый файл QVD; приложение, генерирующее QVD, не засчитывается, так как оно загружает данные, которые уже находятся в Qlik Cloud.

Рекомендации по управлению данными

Правильное управление данными улучшает производительность и обеспечивает максимальное использование доступного объема «Данные для анализа». В этом разделе рассматривается, как эффективно управлять данными в Qlik Cloud.

• Создание файлов QVD для повторного использования данных

  При работе с данными, которые будут использоваться в нескольких приложениях Qlik Sense, рекомендуется создавать файлы QVD. Файлы QVD позволяют загрузить данные один раз и повторно использовать их в нескольких приложениях, дневной пик при этом не увеличивается. Это позволяет значительно сократить затраты на ввод и хранение данных.

  Например, если загружается 10 ГБ из внешнего источника и создается файл QVD размером 5 ГБ, дневной пик увеличивается на 15 ГБ. При загрузке такого же объема данных непосредственно в два приложения засчитывается 20 ГБ.

  

  В общем, создание файлов QVD для повторного использования данных с помощью Qlik Data Gateway — Data Movement более эффективно, чем перезагрузка данных непосредственно через приложения.

• Использование эффективных методов загрузки данных

  Используйте преимущества преобразований SQL pushdown для оптимизации загрузки данных. Этот прием подразумевает передачу операций и преобразований данных непосредственно в источник данных. Благодаря фильтрации и преобразованию данных в источнике обеспечивается сокращение объема передаваемых данных и повышение эффективности загрузки.

  Например, в этом запросе pushdown предложение WHERE обрабатывается непосредственно в источнике данных. Передается только часть данных, соответствующая определенным критериям, что сокращает объем данных, загружаемых в память.

  Select * from my-external-database-table where my_column = 10

  Обратите внимание, что в случае загрузки файлов QVD, предложение WHERE обрабатывается после считывания файла из источника, поэтому засчитывается объем всего файла.

• Использование приложений On-demand для больших наборов данных

  Приложения On-demand (ODAG) полезны при работе с большими наборами данных. ODAG позволяет загружать агрегированные данные для родительского приложения и получать более детализированные данные только в случае необходимости. Пользователи получают доступ к агрегированным представлениям больших объемов данных и могут определять и загружать нужные подмножества данных для тщательного анализа. Для получения дополнительной информации см. раздел Приложения On-demand.

• Управление большими наборами данных с помощью Direct Query и динамических видов

  Для больших наборов данных рекомендуется использовать Direct Query и динамические виды. Эти функции позволяют запрашивать и просматривать релевантные подмножества больших наборов данных, не импортируя или загружая в память весь объем данных. Хотя имеются некоторые ограничения по сравнению с приложениями, загружаемыми в память, это эффективный способ работы с наборами данных существенного размера. Для получения дополнительной информации см. Приложения Direct Query и Управление данными с помощью динамических видов.

• Регулярное удаление неиспользуемых приложений и файлов данных

  Чтобы оптимизировать использование ресурсов и улучшить производительность сайта в целом, регулярно выполняйте поиск и удаление неиспользуемых приложений и файлов данных. Следуйте приведенным ниже инструкциям для очистки данных.

  • Идентифицируйте неиспользуемые приложения и файлы данных в каталоге путем сортировки и проверки столбцов Последнее обновление, Количество просмотров и Используется в. Так можно узнать, открывался ли объект в течение последних 28 дней, и сколько приложений используют файл данных. Для получения дополнительной информации см. раздел Метрики просмотров и использования объектов.

  • «Анализ воздействия» и «Происхождение» позволяют узнать, где используется файл данных и какие файлы данных использует конкретное приложение. Для получения дополнительных сведений см. разделы Оценка анализа воздействия для приложений, скриптов и наборов данных и Анализ происхождения для приложений, скриптов и наборов данных.

  • Приложения и файлы данных можно удалять через центры активности. Администраторы также могут удалять приложения через центр активности Администрирование.

Пример: Расчет объема «Перемещение данных»

В данном примере используется набор данных для категорий продуктов. Набор данных содержит 100 строк и следующие столбцы:

Для каждого типа данных установлен фиксированный размер:

Теперь рассчитаем предполагаемый размер строки как сумму размеров столбцов: 4 + 7,5 + 200 + 200 = 411,5 байт. При умножении на 100 строк получается, что общий объем перемещенных данных составляет 41 150 байт.

Пользователи Full User

Пользователи с правами Full User могут просматривать, редактировать и создавать содержимое в приложениях, экспортировать диаграммы и приложения, работать с интеграцией данных, автоматизациями, машинным обучением и выполнять различные другие задачи, допустимые в рамках имеющихся разрешений пользователя и пространства. Для получения дополнительной информации см. раздел Управление правами пользователей.

Пользователи с правами Basic Users

Бесплатно предоставляемое право Basic User предусмотрено в подписках Аналитика Qlik Cloud Premium и Qlik Cloud Enterprise. Оно обеспечивает ограниченный доступ только для чтения. Пользователи Basic User не могут создавать и редактировать приложения и другие ресурсы, а также работать с Интеграция данных. При предоставлении дополнительных разрешений они автоматически повышаются до уровня Full User. Для получения дополнительной информации см. раздел Управление правами пользователей.