订阅值计量因素
Qlik Cloud 基于容量的订阅将用于分析的数据量或移动的数据量作为主要值计量因素。对于 Qlik Cloud Analytics Standard,值计量因素是“完全用户”的数量。
该表显示了每个订阅选项的主要值计量因素。
订阅选项 | 值计量因素 |
---|---|
Qlik Cloud Enterprise | 分析数据和移动的数据量 |
Qlik Cloud Data Integration Standard 和高级版 | 已移动数据 |
Qlik Cloud Analytics Premium | 分析数据 |
Qlik Cloud Analytics Standard | 全部用户 |
管理员可以监视管理控制台中用于分析的数据、移动的数据量、完全用户和其他资源以及数据容量报告应用程序的使用情况。有关更多信息,请参阅监控资源消耗和使用详细的消耗报告监控使用情况。Qlik Cloud 订阅的服务帐户所有者可以在 My Qlik 门户中监控消费并查看订阅详细信息。
分析数据
在分析数据体积上测量 Qlik Cloud 分析。您每月的峰值使用量是根据您购买的容量来衡量的。分析数据度量是加载到中并驻留在 Qlik Cloud 中的所有数据的总和,如下所述。
以下数据包含在度量中:
-
从外部源加载到 Qlik Cloud 的数据。对于重新加载,新的增量数据会增加数据计数。如果重新加载的数据较少,则数据计数会减少。
-
上载到 Qlik Cloud 或在其中创建的数据文件。文件大小被计入。如果在 Qlik Cloud 中复制数据文件,则新的数据文件将包含在计数中。
数据分析度量计算如下:
-
通过 Qlik Sense 应用程序摄取到 Qlik Cloud 中的外部数据量。
-
经由 Qlik 数据网关 - 数据移动 将从外部数据所得的 QVD 文件大小加载到 Qlik Cloud 中。
-
上传到 Qlik Cloud 的数据文件的文件大小。
-
上传到的 Qlik Cloud 的峰值重新加载大小。
加载到多个租户中的数据会被计算多次,其中加载一次并在多个应用程序中使用的数据只会被计算一次。
订阅分析数据容量
您可以根据对分析数据的要求订阅数据包。除了数据包之外,每个“完整用户”权利还包括一定容量的“分析数据”。此数据仅限于用户的个人空间,不计入总计分析数据。但是,如果用户将数据移动到共享空间以与其他用户协作,则会将其计算在内。
请注意,Qlik Cloud Analytics Standard 具有固定的数据容量。对于此版本,您可以根据“完全用户”的数量进行订阅。
将数据移动至 Qlik Cloud 中
您移动数据的选项包括:
-
自 Qlik Sense 的直接数据连接
-
Qlik 数据网关 - 直接访问
-
使用 Qlik Cloud 数据集成 将数据移动至 Qlik Cloud
您可以使用 Qlik Cloud 分析 的高级版和企业版将数据从任何源移动到 Qlik Cloud。使用 Qlik Cloud Analytics Standard,您可以从除 SAP、大型机和传统源之外的任何源移动数据。
计算和管理分析数据的量
了解分析数据的计算方式可以帮助您充分利用 Qlik Cloud 中的分析数据容量。在本节中,我们将详细了解如何衡量月度峰值、数据加载、应用程序重新加载和数据创建,以及数据管理最佳实践。
每月峰值
每日峰值表示给定一天的分析数据总量。该月的最大日峰值是您的月峰值,它是根据您购买的分析数据容量来衡量的。
每日峰值计算为 QVD、CSV 或文本文件等格式的所有文件大小之和,加上当天从外部来源摄入的应用程序重新加载的最大字节数。
让我们看看下面的例子:
整个月,每日数据使用情况各不相同。在第一天,它达到了 3 GB 的峰值,而在第二天,它是 6 GB,以此类推,直到月底。第 2 天记录的最高每日使用量为 6GB。这使我们每月的峰值达到 6 GB。在没有重新加载应用程序的日子里,如我们示例中的第 3 天所示,前一天的值将结转。
将数据加载到 Qlik Cloud
从外部源加载到 Qlik Cloud 的数据将计入每日峰值。当您将数据加载到租户中时,它会被计数一次,并且可以被分析和使用多次。加载到多个租户中的数据被计数多次。
造成每日峰值的数据测量如下:
-
通过 Qlik Sense 应用程序加载的基于文件的数据是通过其文件大小来衡量的。
-
使用查询或连接器重新加载的应用程序被计算为从数据源获取的最大字节数。当同一天发生多次重新加载时,最大的应用程序大小将计入每日峰值。例如,如果应用程序在一天中分别以 0.75 GB、1.25 GB 和 1 GB 重新加载,则当天使用的值将为 1.25 GB。
-
经由 Qlik 数据网关 - 数据移动 加载到 Qlik Cloud 中的数据是通过生成的 QVD 文件的大小来测量的。
-
通过文件导入上传或加载的应用程序,无论是在应用中心中还是使用 qlik-cli,都是通过应用程序的峰值重新加载大小来衡量的。
-
上传的 QVD 文件是根据其文件大小来衡量的。
在以下情况下,数据不包括在日峰值的计算中:
-
对于加载到用户个人空间的数据,只要它被限制在该空间内,则不被计算在内。如果用户将数据移动到共享空间以与其他用户协作,则会将其计算在内。
-
如果重新加载失败,则不计算摄入的字节数。但是,任何生成的 QVD 文件都会被计算在内。
-
当您加载包含 Qlik Cloud 中已驻留数据的应用程序时,数据加载不计算在内。例如,复制或二进制加载的应用程序(从另一个 Qlik Sense 应用程序加载数据)不会影响每日峰值,前提是它们不是从外部源重新加载的。
测量为应用程序重新加载而摄入的字节
当您从外部源重新加载 Qlik Sense 应用程序时,以下内容适用:
-
只要数据量保持不变,您可以从同一源数据集多次重新加载应用程序,而不会影响每日峰值。
-
如果源数据集的大小增加,则会影响每日峰值。添加到数据集中的每一个额外 GB 的数据都会为重新加载过程中摄入的数据贡献等量的数据。
-
相反,如果源数据集的大小减少,这种减少也反映在每日峰值中。例如,如果数据集大小减少 0.25 GB,则重新加载大小也会减少相同的量。但是,如果当天早些时候发生 1 GB 的重新加载,则当天的每日峰值将为 1 GB。这一减少只会反映在第二天的每日峰值中。
-
在不改变其大小的情况下,源数据集内容的变化不会影响每日峰值。每日峰值仅受数据量的影响。
-
如果在单个加载脚本中多次查询同一个数据集,则所有这些查询都将被单独计数,并将其数据量相加。例如,如果您有一个加载脚本,其中包括来自同一数据集的三个 1 GB 的查询,那么这三个查询都将单独计数。因此,计入每日峰值的总计数据为 3 GB。
-
加载应用程序并随后删除表不会减少每日峰值,因为每日峰值基于当天的最大应用程序重新加载大小。
-
如果您加载一个应用程序,然后在同一天将其删除,它仍然会导致当天的每日峰值。然而,当应用程序不复存在时,它会降低第二天的每日峰值。
用 Qlik Cloud 数据集成 加载到 QVD 文件中的测量数据
当您使用 Qlik 数据网关 - 数据移动 将数据从外部源加载到 QVD 文件时,以下内容适用:
-
只要数据量保持不变,您可以多次上传、导入或生成数据集,而不会影响每日峰值。
-
如果源数据集的大小增加,则会影响每日峰值。添加到数据集的每一个额外 GB 的数据都相当于生成的 QVD 文件的大小。
-
相反,如果源数据集的大小减少,这种减少也反映在每日峰值中。例如,如果数据集大小减少 0.25 GB,则生成的 QVD 文件的大小将减少相同的量。
-
在不改变其大小的情况下,源数据集内容的变化不会影响每日峰值。每日峰值仅受数据量的影响。
从外部和内部源加载应用程序
重要的是要了解加载到应用程序中的数据如何影响每日峰值,具体取决于数据源。让我们考虑以下从不同来源加载数据的场景。
-
从外部源加载应用程序
当您将数据从外部源加载到应用程序中时,它会算作摄入的字节。例如,如果加载 10 GB,则对每日峰值的贡献为 10 GB。
-
从 Qlik Cloud 中的 QVD 加载应用程序
从中 Qlik Cloud 驻留的 QVD 文件将数据加载到应用程序中不计入每日峰值。如果从 QVD 将 10 GB 的数据加载到应用程序中,则不会计算任何数据,因为没有接收到外部数据。对每日峰值的贡献为 0 GB。
-
从 Qlik Cloud 中的 QVD 生成一个新的 QVD 文件
从基于 Qlik Cloud 的 QVD 加载到 QVD 生成器应用程序中的数据不计入每日峰值。但是,从应用程序生成的 QVD 文件确实有效。例如,如果将 10 GB 的 QVD 文件转换为新的 5 GB QVD,则对每日峰值的贡献是两个文件的总和,即 15 GB。由于没有外部数据摄入,因此不计算 QVD 生成器应用程序(创建数据模型并生成 QVD 的专用应用程序)的负载。
-
从外部和内部源加载应用程序
如果应用程序从外部源加载 10 GB,从 Qlik Cloud 内的 QVD 加载5 GB,则应用程序对每日峰值的总贡献为 10 GB,因为只计算从外部源加载的数据。
在 Qlik Cloud 中创建数据
当您在 Qlik Cloud 中创建新数据时,无论是通过复制数据文件还是通过组合和处理现有原始数据来派生数据,它都会计入每日峰值。数据是在数据创建过程中生成的文件的总大小。创建的数据只计算一次,无论有多少应用程序使用它。
考虑以下数据创建示例:
-
使用 STORE 语句创建 1 GB QVD 文件会使每日峰值增加 1 GB。
-
复制一个 1 GB 的 QVD 文件会使每天的峰值增加 1 GB,因为两个拷贝都在总数中计入。
-
通过转换创建一个 0.5 GB 的 QVD 文件会使每日峰值增加 0.5 GB。只计算得到的 QVD 文件;QVD 生成器应用程序不会被计算在内,因为它加载了 Qlik Cloud 中已经存在的数据。
管理数据的最佳做法
正确的数据管理可以提高性能,并确保您充分利用分析数据的容量。本部分将向您展示如何在 Qlik Cloud 中高效处理数据。
-
创建用于数据重用的 QVD 文件
在处理将在多个 Qlik Sense 应用程序中使用的数据时,请考虑创建 QVD 文件。QVD 文件允许您加载一次数据,并在多个应用程序中重复使用,而无需添加到每日峰值。这可以显著降低数据接收和存储成本。
例如,如果您加载 10 GB 的外部数据并创建一个 5 GB 的 QVD 文件,那么每天的峰值中总共有 15 GB 的数据。将相同的数据直接加载到两个应用程序中会产生 20 GB 的容量。
一般来说,通过 Qlik 数据网关 - 数据移动 创建用于数据重用的 QVD 文件比直接通过应用程序重新加载数据更有效。
-
使用高效的数据加载方法
利用 SQL 下推转换来优化数据加载。此技术涉及将数据转换和操作直接推送到数据源。通过在源位置过滤和转换数据,可以减少传输的数据量并提高加载效率。
例如,在这个下推查询中,WHERE 子句是直接在源数据上处理的。只传输符合特定标准的数据子集,从而减少加载到内存中的数据量。
Select * from my-external-database-table where my_column = 10
请注意,在加载 QVD 文件的情况下,WHERE 子句在从源读取文件后进行处理,并对整个文件进行计数。
-
将 On-demand 应用程序用于大型数据集
On-demand 应用程序 (ODAG) 在处理大型数据集时非常有用。ODAG 允许您加载父应用程序的聚合数据,并仅在必要时获取更详细的数据。用户可以获得大数据存储的聚合视图,从而可以识别和加载相关的数据子集进行详细分析。有关详细信息,请参阅On-demand 应用程序。
-
使用 Direct Query 和动态视图处理大型数据集
对于大型数据集,请考虑使用 Direct Query 和动态视图。有了这些功能,您可以查询和查看大型数据集的相关子集,而无需将所有数据导入或加载到内存中。虽然与内存应用程序相比存在一些局限性,但这是处理大量数据集的有效方法。有关更多信息,请参阅Direct Query 应用程序和使用动态视图管理数据。
-
定期清理未使用的应用程序和数据文件
为了优化资源使用并提高网站的整体性能,请定期识别和删除未使用的应用程序和数据文件。以下步骤有助于清理:
-
通过排序和检查上次更新、查看者和用于列,识别目录中未使用的应用程序和数据文件。这可以让您查看该项目在过去 28 天内是否已打开,以及一个数据文件在多少应用程序中被使用。有关详细信息,请参阅查看者和项目使用指标。
-
影响分析和世系可帮助您了解数据文件的使用位置以及特定应用程序中使用的数据文件。有关详细信息,请参阅 分析应用程序、脚本和数据集的影响分析 和 分析应用程序、脚本和数据集的世系。
-
您可以从应用中心中删除应用程序和数据文件。管理员还可以从 管理控制台 中删除应用程序。
-
移动的数据
移动的数据指标是所有移动到目标的数据的总和。您可以将数据移动到任何类型的目标。您可以从中移动数据的源类型取决于您的订阅。Qlik Cloud Data Integration Premium 和企业版支持所有源,但标准版不支持 SAP 和大型主机源。对于目标或来源的数量没有限制。
移动的数据是从月初开始测量的。当它在目标上登陆时就被计算在内。这意味着复制到两个不同目标的相同数据将被计数两次。新表或文件的初始满负载是空闲的,未计算在内。
移动的数据量计算为数据集中的行数乘以估计的行大小。根据每列的数据类型,估计的行大小计算为一行中所有列的总大小。有关数据类型的内部表示如何映射到目标架构的详细信息,请参阅连接到数据项目中的云数据平台并转到云数据平台主题中的“数据类型”部分。
计算移动的数据量时使用的行数可能与预期值略有不同。这些微小的差异是意料之中的,由 Qlik 无法控制的技术工件造成。
例如,当加载一个大表时,数据库可能会发送同一行两次(幻像读取),或者将一行同时计算为重载行和更改行。当更改导致触发器执行,从而产生额外的意外更改,并且更改计数是从事务日志或更改源读取时,更改计数也可能出现差异。
移动的数据计算基于 Qlik Cloud 中显示的登陆数据集。将考虑对此数据集的更改,例如添加新列。如果您试图重新生成移动的数据量计算,请确保使用的是和 Qlik Cloud(而不是源)中显示的一样的正确据类型,因为这会影响计算中的列大小。例如,使用 varchar(20) 而不是 varchar(10) 会使列对估计行大小的贡献加倍。
下表列出了每个数据类型的大小。用于字节、字符串和 wstring 的 min() 函数返回两个值中最小的一个,即 length/2 或 200。
数据类型 | 大小(按字节计) |
---|---|
未指定 | 1 |
BOOLEAN | 1 |
BYTES(length) | min(length/2, 200) |
DATE | 4 |
TIME | 4 |
DATETIME | 8 |
INT1 | 1 |
INT2 | 2 |
INT4 | 4 |
INT8 | 8 |
REAL4 | 2 |
REAL8 | 4 |
UINT1 | 1 |
UINT2 | 2 |
UINT4 | 4 |
UINT8 | 8 |
NUMERIC | 2 |
STRING(length) | min(length/2, 200) |
WSTRING(length) | min(length/2, 200) |
BLOB | 200 |
CLOB | 200 |
NCLOB | 200 |
示例: 计算移动的数据量
在本例中,我们有一个产品类别的数据集。该数据集有 100 行和以下列:
列名称 | 数据类型 |
---|---|
CategoryID | INT4 |
CategoryName | WSTRING(15) |
描述 | NCLOB |
图片 | BLOB |
每种数据类型都有一个固定的大小:
数据类型 | 大小(按字节计) |
---|---|
INT4 | 4 |
WSTRING(15) | min(15/2, 200) = 7.5 |
NCLOB | 200 |
BLOB | 200 |
我们现在可以将估计的行大小计算为列大小的总和:4 + 7.5 + 200 + 200 = 411.5 字节。乘以 100 行,得出 41,150 字节的总数据量。
全部用户
作为完全用户,您可以查看、编辑和创建应用程序中的内容,导出图表和应用程序,处理数据集成、自动化、机器学习,以及执行各种其他任务,前提是您的用户权限和空间权限允许。
有关详细信息,请参阅管理用户权限。
基本用户
除了“完全用户”权利之外,还有一个名为“基本用户”的免费用户类型。它可用于 Qlik Cloud Analytics Premium 和 Qlik Cloud Enterprise 订阅。
Basic User 权利适用于有限的只读场景。Basic Users 无法创建或编辑应用程序和其他资产,也无法使用 数据集成。Basic Users 在托管空间中只能具有空间角色拥有受限视图。这允许用户查看应用程序内容并创建备注和私人书签。如果用户默认设置允许,他们可以从应用程序下载图像和数据(请参阅用户和管理员的角色和权限)。您可以将 Basic Users 升级至 Full Users,方法是向他们分配额外角色。
有关详细信息,请参阅管理用户权限。