Данные для анализа

Вы подписываетесь на пакеты данных в зависимости от потребностей в анализе данных. Каждому пользователю доступно определенное количество данных для анализа в его личном пространстве. Персональные данные не учитываются в объеме «Данные для анализа». Однако если пользователь перемещает данные в общее пространство для совместной работы с другими пользователями, то объем таких данных будет учитываться.

В версии Qlik Cloud Analytics Starter предоставляется фиксированный объем. В этой версии подписка зависит от количества пользователей.

Расчет объема данных для анализа

Понимание того, как рассчитывается объем данных для анализа, поможет более эффективно использовать имеющиеся ресурсы. В этом разделе объясняется, как выполняются измерения месячных пиков, загрузок данных, перезагрузок приложений и создания данных.

Месячный пик

В версии «Данные для анализа» предоставляется пространство определенного объема, предназначенное для хранения и анализа данных. Этот объем ограничен предельным значением, ресурсы не предоставляются в кредит. Например, если было приобретено 250 ГБ, вы можете хранить и анализировать до 250 ГБ данных. При превышении этого предела дополнительный объем отслеживается отдельно.

Как отслеживается ежедневное использование

Использование объема отслеживается ежедневно. Каждый день система рассчитывает дневной пик как сумму, которая складывается из следующих компонентов:

• Общий размер хранящихся файлов

• Количество данных, поступающих во время перезагрузки приложения

• Количество производных или созданных данных

Перенос остатков

Если в определенный день перезагрузка не происходит, система использует значение поступивших данных из последней перезагрузки. В начале нового месяца месячный пик сбрасывается. Если в первый день нового месяца не происходит перезагрузка, то на этот день применяется значение последней перезагрузки из предшествующего месяца.

Измерение хранящихся и производных данных происходит каждый день, без переноса.

Особые случаи

• В величине расхода учитываются успешные перезагрузки всех приложений. Если приложение позже перезагружается с пустой моделью данных (например, только для создания и экспорта QVD-файлов), в отчете об использовании может быть указан размер, определенный при последней успешной перезагрузке.

• Величина расхода обновляется только при повторной перезагрузке приложения. В результате данные, отображаемые в приложении, могут не совпадать с данными, указанными в отчете об использовании «Данные для анализа». Чтобы уменьшить величину расхода, перезагружайте приложение с самым маленьким набором данных.

Примеры переноса

В следующих примерах показано, как осуществляется перенос значений перезагрузки, если новой перезагрузки не было, и как в этом случае происходит взаимодействие с сохраненными и созданными данными.

Пример 1: регулярный перенос:

• День 1: 70 ГБ файлов данных сохранено, 40 ГБ приложений перезагружено, 30 ГБ файлов данных создано. Ежедневный пик составляет 140 ГБ.

• День 2: 60 ГБ файлов данных сохранено, 0 ГБ приложений перезагружено, 20 ГБ файлов данных создано. Перенос значения перезагрузки со дня 1 (40 ГБ). Ежедневный пик составляет 120 ГБ.

Пример 2: приложение только с данными QVD

• День 1: перезагрузка приложения с 10 ГБ внешних данных, создание файлов QVD, сброс всех таблиц. Конечная модель приложения пуста. Дневной пик составляет 10 ГБ (часть перезагрузки).

• День 2: нет перезагрузки. Ежедневный пик остается 10 ГБ (перенос части перезагрузки) несмотря на то, что в приложении теперь нет таблиц.

Это значение будет обновлено только после следующей перезагрузки.

Это означает, что в ежедневный пик может быть включен как перенос данных перезагрузки (даже если само приложение пустое, как в сценарии с использованием только файлов QVD), так и все новые сохраненные или созданные в этот день данные.

Месячный пик и контрольная отметка

Месячный пик — это самая большая величина в день, зарегистрированная в течение месяца. Она служит в качестве контрольной отметки и показывает день, когда суммарный расход данных был максимальным. Месячный пик сравнивается с приобретенным объемом, чтобы определить, есть ли перерасход и связанные с ним дополнительные расходы.

Пример. Определение месячного пика на основе ежедневного расхода

Чтобы продемонстрировать, как определяется месячный пик, в этом примере используется упрощенный сценарий, включающих только четыре дня, при условии, что изначально было приобретено 250 ГБ. Величины расхода помогают проиллюстрировать, как наибольший ежедневный пик становится месячным пиком.

В таблице представлены данные за четыре дня с разбивкой по типам:

Объяснение данных в таблице:

• В день 3 не было перезагрузки данных. Часть перезагрузки со второго дня (40 ГБ) переносится на следующий день и вносит свой вклад в дневной пик (120 ГБ).

• На 4-й день приходится самый высокий дневной пик (170 ГБ), который становится месячным пиком.

Поскольку месячный пик не превышает 250 ГБ, дополнительных расходов не будет. Если в какой-то день объем использования превысит 250 ГБ, может возникнуть плата за превышение или потребуется увеличение объема.

Загрузка данных в Qlik Cloud

Данные, загруженные в Qlik Cloud из внешних источников, также засчитываются при расчете дневного пика. Когда данные загружаются в клиент, они учитываются один раз, после чего их можно анализировать и использовать несколько раз. Данные, загруженные в несколько клиентов, засчитываются несколько раз.

Данные, засчитываемые при расчете дневного пика, измеряются следующим образом:

• Файловые данные, загруженные через приложение Qlik Sense, измеряются по размеру файла.

• Перезагрузки приложений с использованием запросов или коннекторов засчитываются как максимальное количество байтов, вводимых из источника данных. Когда в один день происходит несколько перезагрузок, в расчете дневного пика учитывается самый большой размер приложения. Например, если приложение перезагружается в течение дня с потреблением 0,75 ГБ, 1,25 ГБ и 1 ГБ соответственно, для этого дня будет учитываться 1,25 ГБ.

  Пока приложение существует в клиенте Qlik Cloud, для него оценивается максимальное количество вводимых байтов.

• Данные, загруженные в Qlik Cloud через Шлюз данных Qlik — движение данных, измеряются по размеру итогового файла QVD.

• Приложения, отправляемые или загружаемые посредством импорта файлов (в Аналитикацентре активности или с помощью qlik-cli), измеряются по статическому размеру приложения в байтах.

• Отправленные файлы QVD измеряются по размеру файла.

В следующих ситуациях данные не включаются в расчет дневного пика:

• Данные, загруженные в личное пространство пользователя, не засчитываются, если их использование ограничено только этим пространством. Если пользователь перемещает данные в общее пространство для совместной работы с другими пользователями, то объем таких данных будет засчитываться.

• Если перезагрузка завершается ошибкой, введенные байты не засчитываются. Однако итоговые файлы QVD засчитываются.

• Когда загружается приложение с данными, которые уже находятся в Qlik Cloud, такая загрузка данных не засчитывается. Например, скопированные или двоичные загруженные приложения (загрузка данных из другого приложения Qlik Sense), не влияют на дневной пик, если не выполняется их перезагрузка из внешнего источника.

Измерение байтов, введенных для перезагрузок приложений

Следующее применяется, когда приложение Qlik Sense перезагружается из внешнего источника:

• Приложение может перезагружаться несколько раз из одного и того же исходного набора данных, не увеличивая дневной пик, если объем данных остается неизменным.

• Если размер исходного набора данных увеличивается, он влияет на дневной пик. Каждый дополнительный гигабайт данных, добавляемый в набор данных, приводит к равнозначному увеличению объема данных, вводимых при перезагрузке.

• И наоборот, если размер исходного набора данных уменьшается, это также отражается в размере дневного пика. Например, если размер набора данных уменьшается на 0,25 ГБ, размер перезагрузки уменьшается на такой же объем. Однако если раньше в этот же день выполнялась перезагрузка размером 1 ГБ, то пик за этот день составит 1 ГБ. Уменьшение будет отражено в пике за следующий день.

• Изменения содержимого исходного набора данных, не приводящие к изменению его размера, не влияют на дневной пик. Дневной пик определяется только объемом данных.

• Если один и тот же набор данных запрашивается несколько раз в рамках одного скрипта загрузки, то все эти запросы засчитываются отдельно, и соответствующие объемы данных суммируются. Например, если есть скрипт загрузки, который включает три запроса по 1 ГБ каждый из одного и того же набора данных, то все эти три запроса засчитываются по отдельности. Поэтому общий объем данных, учитываемый при расчете дневного пика составляет 3 ГБ.

• Загрузка приложения и последующее исключение таблицы не приводят к уменьшению дневного пика, так как он рассчитывается с учетом максимального размера перезагрузки приложения за день.

• Если загрузить приложение и удалить его в тот же день, оно все равно будет учитываться при расчете пика за этот день. Однако удаление будет засчитано как уменьшение дневного пика на следующий день, когда приложения больше не будет.

Измерение данных, загруженных в файлы QVD с помощью Qlik Talend Data Integration

Следующее применяется, когда данные загружаются в файл QVD из внешнего источника с помощью Шлюз данных Qlik — движение данных:

• Можно загружать, импортировать или создавать набор данных несколько раз: это не будет влиять на дневной пик, если объем данных остается неизменным.

• Если размер исходного набора данных увеличивается, он влияет на дневной пик. Каждый дополнительный гигабайт данных, добавляемый в набор данных, приводит к равнозначному увеличению размера итогового файла QVD.

• И наоборот, если размер исходного набора данных уменьшается, это также отражается в размере дневного пика. Например, если размер набора данных уменьшается на 0,25 ГБ, размер итогового файла QVD уменьшается на такой же объем.

• Изменения содержимого исходного набора данных, не приводящие к изменению его размера, не влияют на дневной пик. Дневной пик определяется только объемом данных.

Загрузка приложений из внешних и внутренних источников

Важно понимать, как данные, загружаемые в приложения, влияют на дневной пик в зависимости от источника данных. Давайте рассмотрим следующие сценарии, где данные загружаются из разных источников.

• Приложение загружается из внешнего источника

  Когда данные загружаются в приложение из внешнего источника, они засчитываются как введенные байты. Например, если загружается 10 ГБ, то при расчете дневного пика учитывается 10 ГБ.

• Приложение загружается из файла QVD в Qlik Cloud

  Загрузка данных в приложение из файла QVD, который хранится в Qlik Cloud, не влияет на дневной пик. Если 10 ГБ данных загружается в приложение из файла QVD, этот объем не засчитывается, так как не происходит ввода внешних данных. При расчете дневного пика учитывается 0 ГБ.

• Новый файл QVD создается из QVD в Qlik Cloud

  Данные, которые загружаются в приложение, генерирующее QVD, из файла QVD в Qlik Cloud не учитывается при расчете дневного пика. Однако засчитывается итоговый файл QVD, созданный приложением. Например, если файл QVD размером 10 ГБ преобразуется в новый файл QVD размером 5 ГБ, то при расчете дневного пика учитывается сумма двух файлов, то есть 15 ГБ. Так как отсутствует ввод внешних данных, загрузка приложения, генерирующего QVD (специальное приложение, которое создает модель данных и генерирует QVD), не засчитывается.

• Приложение загружается из внешнего и внутреннего источников

  Если приложение загружает 10 ГБ из внешнего источника и 5 ГБ из файла QVD в Qlik Cloud, дневной пик увеличивается на 10 ГБ, так как засчитываются только данные, загруженные из внешнего источника.

Создание данных в Qlik Cloud

Когда новые данные создаются в Qlik Cloud, путем копирования файлов данных или путем объединения и обработки существующих данных, их объем учитывается при расчете дневного пика. Данные измеряются как общий объем файлов, сгенерированных в процессе создания данных. Созданные данные засчитываются только один раз независимо от того, сколько приложений их используют.

Рассмотрим следующие примеры создания данных:

• Создание файла QVD размером 1 ГБ с использованием оператора STORE, прибавляет 1 ГБ к дневному пику.

• Копирование файла QVD размером 1 ГБ добавляет 1 ГБ к дневному пику, при этом учитываются обе копии.

• Создание файла QVD размером 0,5 ГБ путем преобразования, прибавляет 0,5 ГБ к дневному пику. Засчитывается только итоговый файл QVD; приложение, генерирующее QVD, не засчитывается, так как оно загружает данные, которые уже находятся в Qlik Cloud.