Данные для анализа

Вы подписываетесь на пакеты данных в зависимости от потребностей в анализе данных.

Помимо объема, выделяемому по подписке, каждый пользователь получает определенный объем в своем личном пространстве. Этот объем не учитывается в метрике «Данные для анализа».

Версия Qlik Cloud Analytics Starter имеет фиксированный объем данных; стоимость подписки зависит от числа пользователей.

Расчет объема «Данные для анализа»

Понимание того, как рассчитывается объем данных в метрике «Данные для анализа», поможет более эффективно использовать имеющиеся ресурсы. В этом разделе объясняется, как выполняются измерения месячных пиков, загрузок данных, перезагрузок приложений и создания данных.

Месячные и дневные пики

При покупке подписки «Данные для анализа» использованный объем измеряется в сравнении с приобретенным объемом. Ежедневно система регистрирует использованный объем; день с самым высоким использованием в течение месяца становится месячным пиком (контрольная отметка). Например, если было куплено 250 ГБ и месячный пик превысил это значение, может взиматься дополнительная плата.

Как отслеживается ежедневное использование

Использование отслеживается ежедневно. Каждый день система рассчитывает дневной пик как сумму, которая складывается из следующих компонентов:

• Общий размер хранящихся файлов

• Объем данных, поступающих во время перезагрузки приложения

• Количество производных или созданных данных

В использование включаются приложения, которые были загружены ранее, но не перезагружались. Система переносит их данные с последней перезагрузки до тех пор, пока не произойдет новая перезагрузка или приложение не будет удалено.

Месячный пик и контрольная отметка

Месячный пик — это самая большая величина в день, зарегистрированная в течение месяца. Она служит в качестве контрольной отметки и показывает день, когда суммарное использование данных было максимальным. Месячный пик сравнивается с приобретенным объемом, чтобы определить, есть ли перерасход и связанные с ним дополнительные расходы.

Пример. Определение месячного пика на основе ежедневного использования

Чтобы продемонстрировать, как определяется месячный пик, в этом примере используется упрощенный сценарий, включающих только четыре дня, при условии, что изначально было приобретено 250 ГБ. Величины использования помогают проиллюстрировать, как наибольший ежедневный пик становится месячным пиком.

В таблице представлены данные за четыре дня с разбивкой по типам:

Объяснение данных в таблице:

• В день 3 не было перезагрузки данных. Часть перезагрузки со второго дня (40 ГБ) переносится на следующий день и вносит свой вклад в дневной пик (120 ГБ).

• На 4-й день приходится самый высокий дневной пик (170 ГБ), который становится месячным пиком.

Поскольку месячный пик не превышает 250 ГБ, дополнительных расходов не будет. Если в какой-то день объем использования превысит 250 ГБ, может возникнуть плата за превышение или потребуется увеличение объема.

Загрузка данных в Qlik Cloud

Данные, загруженные в Qlik Cloud из внешних источников, также учитываются при расчете дневного пика.

• Если один и тот же набор данных загружается в несколько независимых приложений, учитываются загрузки во все приложения.

• Данные, загруженные один раз в клиент, могут многократно использоваться несколькими приложениями в пределах клиента; в этом случае эти данные учитываются только один раз. Чтобы не учитывать одни и те же данные несколько раз, рекомендуется один раз загрузить их в файл QVD и читать данные в разных приложениях из файла QVD.

• Данные, загружаемые в несколько клиентов, учитываются отдельно для каждого клиента.

Как данные влияют на дневной пик:

• Данные, загружаемые приложениями через файлы: по размеру файла.

• Перезагрузки приложений с использованием запросов или коннекторов: учитывается максимальное количество байтов, введенных из источника данных. Если в один и тот же день происходит несколько перезагрузок, при расчете дневного пика учитывается только самая большая перезагрузка.

  Пример: Приложение перезагружается три раза в день с 0,75 ГБ, 1,25 ГБ и 1 ГБ. Дневной пик равен 1,25 ГБ.

  Примечание к информацииПосле того как перезагрузка учтена, она остается частью дневного пика, даже если приложение будет удалено в тот же день. Максимальный объем введенных данных в байтах будет учитываться, пока приложение существует в клиенте.

• Данные, загружаемые в Qlik Cloud через Шлюз данных Qlik — движение данных, измеряются по размеру итогового файла QVD.

• Приложения, отправляемые или загружаемые посредством импорта файлов (в центре активности Аналитика или с помощью qlik-cli), измеряются по статическому размеру приложения в байтах.

• Выгруженные файлы QVD измеряются по размеру файла.

В следующих ситуациях данные не включаются в расчет дневного пика:

• Данные, загруженные в личное пространство пользователя, не засчитываются, если их использование ограничено только этим пространством. Если пользователь перемещает данные в общее пространство для совместной работы с другими пользователями, то объем таких данных будет засчитываться.

• Если перезагрузка завершается ошибкой, введенные байты не засчитываются. Однако итоговые файлы QVD засчитываются.

• Когда загружается приложение с данными, которые уже находятся в Qlik Cloud, такая загрузка данных не засчитывается. Например, скопированные или двоичные загруженные приложения (загрузка данных из другого приложения Qlik Sense), не влияют на дневной пик, если не выполняется их перезагрузка из внешнего источника.

Измерение байтов, введенных для перезагрузок приложений

Следующее применяется, когда приложение Qlik Sense перезагружается из внешнего источника:

• Приложение может перезагружаться несколько раз из одного и того же исходного набора данных, не увеличивая дневной пик, если объем данных остается неизменным.

• Если размер исходного набора данных увеличивается, дневной пик тоже меняется. Каждый дополнительный гигабайт данных, добавляемый в набор данных, приводит к равнозначному увеличению объема данных, вводимых при перезагрузке.

• И наоборот, если размер исходного набора данных уменьшается, это также отражается в размере дневного пика.

  Пример: Если размер набора данных уменьшается на 0,25 ГБ, размер перезагрузки уменьшается на такой же объем. Однако, если раньше в этот же день была перезагрузка размером 1 ГБ, пик за этот день составит 1 ГБ. Уменьшение будет отражено только в пике на следующий день.

• Изменения содержимого в исходном наборе данных, не приводящие к изменению его размера, не влияют на дневной пик. Дневной пик зависит только от объема данных.

• Если один и тот же набор данных запрашивается несколько раз в одном скрипте загрузки, каждый запрос учитывается отдельно. Общий объем данных является суммой всех запросов.

  Пример: Если есть скрипт загрузки, который включает три запроса по 1 ГБ каждый из одного и того же набора данных, все три запроса учитываются по отдельности. Поэтому общий объем данных, учитываемый при расчете дневного пика, составляет 3 ГБ.

• Загрузка приложения и последующее исключение таблицы не приводят к уменьшению дневного пика, так как он рассчитывается с учетом максимального размера перезагрузки приложения за день.

• Если загрузить приложение и удалить его в тот же день, оно все равно будет учитываться при расчете пика за этот день. Приложение уже не будет существовать на следующий день и поэтому не будет влиять на дневной пик.

Измерение данных, загруженных в файлы QVD с помощью Qlik Talend Data Integration

Следующее применяется, когда данные загружаются в файл QVD из внешнего источника с помощью Шлюз данных Qlik — движение данных:

• Можно загружать, импортировать или создавать набор данных несколько раз — это не будет влиять на дневной пик, если объем данных остается неизменным.

• Если размер исходного набора данных увеличивается, дневной пик тоже меняется. Каждый дополнительный гигабайт данных, добавляемый в набор данных, приводит к соответствующему увеличению размера итогового файла QVD.

• Если размер файла QVD меняется в течение дня, учитывается наибольший размер. Ежедневный пик всегда соответствует наибольшему размеру, зарегистрированному в этот день.

• Если размер исходного набора данных уменьшается, это также повлияет на размер дневного пика.

  Пример: Уменьшение набора данных на 0,25 ГБ уменьшает размер файла QVD на ту же величину.

• Изменения содержимого в наборе данных, не приводящие к изменению его размера, не влияют на дневной пик. Дневной пик зависит только от объема данных.

Загрузка приложений из внешних и внутренних источников

Как данные, загружаемые в приложения, влияют на ежедневный пик, зависит от источника. Следующие примеры показывают, какой вклад вносят различные типы данных.

• Приложение загружается из внешнего источника

  Если данные загружаются из внешнего источника, учитывается объем загружаемых данных в байтах.

  Пример: Если загружено 10 ГБ, приложение добавляет 10 ГБ в дневной пик.

• Приложение загружается из файла QVD, хранящегося в Qlik Cloud

  Загрузка данных из файла QVD, хранящегося в Qlik Cloud, не считается вводом данных извне для приложения.

  Пример: При загрузке в приложение 10 ГБ из файла QVD учитывается 0 ГБ. 10 ГБ файла QVD учитывается отдельно.

• Новый файл QVD создается из QVD, хранящегося в Qlik Cloud

  Если приложение-генератор QVD загружает данные из существующего QVD, находящегося в Qlik Cloud, учитывается 0 ГБ. Учитывается итоговый файл QVD.

  Пример: Если QVD размером 10 ГБ преобразуется в новый QVD размером 5 ГБ, общий вклад в ежедневный пик составляет 15 ГБ.

• Приложение загружается как из внешнего, так из внутреннего источника.

  Если приложение загружает 10 ГБ из внешнего источника и 5 ГБ из QVD в Qlik Cloud, для этого приложения учитывается только 10 ГБ, поступивших извне. 5 ГБ файла QVD учитываются отдельно, поэтому общий вклад в ежедневный пик составляет 15 ГБ.

Создание данных в Qlik Cloud

Любые новые данные в Qlik Cloud — полученные путем копирования файлов данных или в результате объединения и обработки существующих данных — учитываются при расчете дневного пика. Учитывается общий объем файлов, сгенерированных в процессе создания данных. Созданные данные регистрируются только один раз независимо от того, сколько приложений их используют.

Примеры:

• Создание файла QVD размером 1 ГБ с использованием оператора STORE, прибавляет 1 ГБ к дневному пику.

• Копирование файла QVD размером 1 ГБ добавляет 1 ГБ к дневному пику, при этом учитываются обе копии.

• Создание файла QVD размером 0,5 ГБ путем преобразования, прибавляет 0,5 ГБ к дневному пику. Засчитывается только итоговый файл QVD; приложение, генерирующее QVD, не засчитывается, так как оно загружает данные, которые уже находятся в Qlik Cloud.