跳到主要内容 跳到补充内容

分析数据

分析数据指标显示了您的容量使用了多少。本主题解释哪些数据被计数以及哪些数据会被排除。它还涵盖了如何计算使用量。了解这些详细信息有助于您了解什么占用了您的 Qlik Cloud 容量并且更高效地管理您的数据。

指标中包含的数据

数据分析指标衡量加载到您的环境中并存储在其中的数据总量。

计数的数据

该指标包括:

  • 从外部源加载到 Qlik Cloud 的数据

    • 添加新的增量数据时,重新加载会增加数据计数。如果重新加载的数据量少于之前,则数据计数会相应减少。

    • 加载至多个租户中的数据将为每个租户单独计数。

    • 在同一租户中加载一次并且在多个应用程序中使用的数据仅计数一次。

  • 上传到 Qlik Cloud 或在其中创建的数据文件。

    • 上传或创建的文件的大小将被计数。

    • Qlik Cloud 中复制数据文件会将新文件计入指标。

    • 若在共享空间中复制应用程序而不重新加载则不会增加计数。

指标的计算方式

分析指标的数据计算如下:

  • 通过 Qlik Sense 应用程序摄取到 Qlik Cloud 中的外部数据量。

  • 经由 Qlik 数据网关 - 数据移动 将从外部数据所得的 QVD 文件大小加载到 Qlik Cloud 中。

  • 上传到 Qlik Cloud 的数据文件的文件大小。

  • 作为 QVF 上传的应用程序的文件大小,用应用程序的基本 RAM 占用量衡量。

数据未计算在内

以下内容未包括在指标中:

  • 用户个人空间中的应用程序及数据。这包括从任何来源加载或在个人空间中使用按需应用程序生成 (ODAG) 生成的任何应用程序或者数据。

    • 该指标基于应用程序的位置,而不是其数据连接的位置:个人空间中的应用程序不计入,即便使用共享空间中的连接;共享空间中的应用程序始终计入该指标。

  • Qlik Cloud 中存储的另一个应用程序进行二进制加载的应用程序。原始应用程序已计入,因此加载应用程序不会计入指标。

  • 仅从 Qlik Cloud 中存储的文件(例如 QVD)加载数据的应用程序。源文件已单独计算。

  • 发布到托管空间的应用程序和数据。但是,托管空间中应用程序的重新加载会被计算在内。

  • 通过 Direct Query 加载的数据。

订阅分析数据容量

您可以根据您的分析数据要求订阅数据包。

除了订阅中包含的容量外,每个用户在其个人空间中都具有一定量的可用容量。此数额不计入分析指标的总数据。

Qlik Cloud Analytics Starter 版具有固定数据容量,此版本的订阅基于用户数量。

将数据移动至 Qlik Cloud

您移动数据的选项包括:

  • Qlik Sense 的直接数据连接

  • Qlik Data Gateway - Direct Access

  • 使用 Qlik Talend Data Integration 将数据移动至 Qlik Cloud

    使用 Qlik Cloud Analytics 的高级版和企业版,您可以将数据从任何来源移动到 Qlik Cloud。标准版允许数据从除 SAP、大型机和旧式源之外的任何源移动。

计算分析数据的量

了解分析数据的计算方式可以帮助您有效地利用您的容量。本部分介绍如何测量每月峰值、数据加载、应用程序重载以及数据创建。

月度和日峰值

当您购买分析数据容量时,您的使用量会根据您购买的量进行衡量。系统每天记录您的使用量,当月使用量最高的一天会成为月度峰值或高水位线。例如,如果您购买 250 GB 的容量,而且月度峰值超出此容量,则可能会收取超额费用。

如何跟踪每日使用情况

我们每天都会跟踪您的使用情况。每天,系统会将您的日峰值计算成以下各项的总和:

  • 存储文件的总大小

  • 应用程序重载时摄取的数据量

  • 衍生或创建的数据量

之前加载但未重新加载的应用程序仍然计入您的使用量。系统会将其数据从上次重新加载结转,直到发生新的重新加载或者应用程序被删除。

结转行为

如果应用程序在某一天未重新加载,则系统会结转从其上次成功重新加载摄取的数据。应用程序会继续将此量贡献给每日峰值,直至新的重新加载摄取了不同的量,然后更新报告的使用量。

在新的一个月开始时,每月峰值会重置。但是,新月份第一天的每日峰值可能仍包含从上月最后一次重新加载结转的值。这可能导致报告的使用量高于应用程序中目前可见的数据。

示例:

  • 第 1 天:租户存储 70 GB 数据文件,并且通过应用程序重新加载摄取 40 GB。日峰值为 110 GB。

  • 第 2 天:租户存储 70 GB 数据文件,并且未发生重新加载(摄取 0 GB)。每日峰值仍显示为 110 GB,因为之前摄取的 40 GB 会结转。只有摄取量小于 40 GB 的新重新加载才会降低此值。

每月峰值和高水平线

每月峰值是当月记录到的最高日峰值。它就像一个高水平线,示出数据总使用量最高的一天。将每月峰值与您购买的容量进行比较,以确定是否需要支付超额费用。

示例 - 从日使用量中确定每月峰值

为演示如何确定每月峰值,本示例使用了一个简化方案,该方案仅涵盖四天,购买容量为 250 GB。使用值有助于说明最高日峰值如何变为月峰值。

数据表按类型列出了四天的数据使用情况:

存储 重新加载 创建时间 每日峰值
1 50 GB 30 GB 15 GB 95 GB
2 70 GB 40 GB 30 GB 140 GB
3 60 GB 0 GB 20 GB 120 GB
4 80 GB 50 GB 40 GB 170 GB

了解表格数据:

  • 第 3 天无数据重载。第 2 天的重载部分 (40 GB) 被转入下一天,形成每日峰值 (120 GB)。

  • 第 4 天的日峰值最高 (170 GB),成为月峰值。

由于每月峰值不超过购买的 250 GB 容量,因而不存在超额情况。如果任一天的使用量超过 250 GB,则可能需要支付超额费用或升级容量。

四天的日常使用情况,示出存储、摄取和创建的数据。绿线表示购买的容量。

显示四天数据使用情况的条形图

将数据加载到 Qlik Cloud

从外部来源加载到 Qlik Cloud 的数据将计入每日峰值。

  • 如果同一数据集分别加载至多个应用程序中,则每次加载都会被单独计数。

  • 数据一旦加载到租户中,该租户内的多个应用程序就可重复使用这些数据,而无需再次计数。为避免重复计数,可以考虑将数据一次性加载到 QVD 文件中,并让多个应用程序从这些 QVD 文件中读取数据。

  • 加载至多个租户中的数据将为每个租户单独计数。

数据如何影响每日峰值:

  • 通过应用程序加载的基于文件的数据:按文件大小衡量。

  • 使用查询或连接器重载的应用程序被计算为从数据源获取的最大字节数。若同一天发生多次加载,则只有最大的一次加载才计入当日峰值。

    示例:一个应用程序一天内重新加载三次,分别为 0.75 GB、1.25 GB 及 1 GB。每日峰值只有 1.25 GB。

    信息注释一旦重新加载被计数,即使应用程序在当天晚些时候被删除,它仍是每日峰值的一部分。只要应用程序存在于租户中,就会计算摄入的最大字节数。
  • 经由 Qlik 数据网关 - 数据移动 加载到 Qlik Cloud 中的数据:通过生成的 QVD 文件的大小来测量。

  • 通过 分析活动中心或 qlik-cli 经由文件导入上传或加载的应用程序:按应用程序的静态字节大小衡量。

  • 上传的 QVD 文件:按文件大小衡量。

数据可以通过不同的方式加载到 Qlik Cloud 中:通过应用程序、通过数据移动或使用 分析 活动中心或 qlik-cli 导入。

将数据加载到 Qlik Cloud 的不同方法的说明。

在以下情况下,数据包括在日峰值的计算中:

  • 对于加载到用户个人空间的数据,只要它被限制在该空间内,则不被计算在内。如果用户将数据移动到共享空间以与其他用户协作,则会将其计算在内。

  • 如果重载失败,则不计算摄入的字节数。但是,任何生成的 QVD 文件都会被计算在内。

  • 当您加载包含 Qlik Cloud 中已驻留数据的应用程序时,数据加载不计算在内。例如,复制或二进制加载的应用程序(从另一个 Qlik Sense 应用程序加载数据)不会影响每日峰值,前提是它们不是从外部源重载的。

来自内部来源的应用程序重载对每日峰值没有影响。

不计入每日峰值的应用程序重载示例。

测量为应用程序重载而摄入的字节

当您从外部源重载 Qlik Sense 应用程序时,以下内容适用:

  • 只要数据量保持不变,您可以从同一源数据集多次重载应用程序,而不会影响每日峰值。

  • 如果源数据集的大小增加,则会影响每日峰值。添加到数据集中的每一个额外 GB 的数据都会为重载过程中摄入的数据贡献等量的数据。

  • 相反,如果源数据集的大小减少,这种减少也反映在每日峰值中。

    示例:如果数据集大小减少 0.25 GB,则重载大小也会减少相同的量。但是,如果当天早些时候发生 1 GB 的重载,则当天的每日峰值仍然为 1 GB。这种减少只反映在第二天的每日峰值上。

  • 源数据集内容的变化,在不改变其大小的情况下,不会影响每日峰值。只有数据量会影响每日峰值。

测量源数据集的大小或内容更改时摄入的字节。

从不同大小的数据集重载应用程序的图示。
  • 如果在单个加载脚本中多次查询同一数据集,则每个查询都将单独计算。总数据量是所有查询的总和。

    示例:如果您有一个加载脚本,其中包括来自同一数据集的三个 1 GB 的查询,那么这三个查询都将单独计数。因此,计入每日峰值的总计数据为 3 GB。

  • 加载应用程序并随后删除表不会减少每日峰值,因为每日峰值基于当天的最大应用程序重载大小。

  • 如果你加载一个应用程序,然后在同一天删除它,它仍然会计入当天的每日峰值,因为它存在于当天。第二天,该应用程序不再存在,并且不会计入每日峰值。

测量为不同的应用程序重载场景摄入的字节。

不同应用程序重载场景的说明。

Qlik Talend Data Integration 加载到 QVD 文件中的测量数据

当您使用 Qlik 数据网关 - 数据移动 将数据从外部源加载到 QVD 文件时,以下内容适用:

  • 只要数据量保持不变,多次上传、导入或生成数据集不会影响每日峰值。

  • 如果源数据集的大小增加,则会影响每日峰值。每增加一 GB数据,QVD文件大小就会相应增加。

  • 如果 QVD 文件在一天内大小发生变化,则记录会达到的最大大小。每日峰值始终反映当天观察到的最高大小。

  • 如果源数据集的大小减少,这种减少也反映在每日峰值中。

    示例:数据集减少 0.25 GB 会让 QVD 文件大小减少相同的量。

  • 数据集内容的变化不会改变其大小,也不会影响每日峰值。只有数据量会影响每日峰值。

当源数据集的大小或内容发生更改时,测量 QVD 文件大小。

来自不同大小数据集的 QVD 负载说明。

从外部和内部源加载应用程序

加载至应用程序中的数据如何影响每日峰值取决于源。以下场景展示了不同类型数据如何贡献。

  • 从外部源加载应用程序

    从外部源加载的数据计为摄入的字节数。

    示例:如果加载 10 GB,则应用程序会为每日峰值贡献 10 GB。

  • Qlik Cloud 中的 QVD 加载应用程序

    从存储在 Qlik Cloud 中的 QVD 文件加载数据不计为应用程序的外部数据摄取。

    示例:若应用程序从 QVD 加载 10 GB,则应用程序贡献 0 GB。QVD 文件单独贡献 10 GB。

  • Qlik Cloud 中的 QVD 生成一个新的 QVD 文件

    当 QVD 生成器应用程序从 Qlik Cloud 中现有 QVD 加载数据时,应用程序贡献 0 GB。生成的 QVD 文件会被计算在内。

    示例:若一个 10 GB 的 QVD 转换为一个新的 5 GB QVD,则每日峰值总贡献为 15 GB。

  • 从外部和内部源加载应用程序

    若一个应用程序从外部源加载 10 GB 数据,并从 Qlik Cloud 中的 QVD 加载 5 GB 数据,则应用程序仅计算 10 GB 的外部数据摄取量。QVD 文件单独贡献其 5 GB,因此每日峰值总贡献为 15 GB。

测量数据文件的总数加上从内部和外部源加载时摄入的数据。

计算加载的总计数据的示例说明。

Qlik Cloud 中创建数据

当您在 Qlik Cloud 中创建新数据时,无论是通过复制数据文件还是通过组合和处理现有原始数据来派生数据,它都会计入每日峰值。数据是在创建过程中生成的文件的总大小。创建的数据只计算一次,无论有多少应用程序使用它。

示例:

  • 使用 STORE 语句创建 1 GB QVD 文件会使每日峰值增加 1 GB。

  • 复制一个 1 GB 的 QVD 文件会使每天的峰值增加 1 GB,因为两个拷贝都在总数中计入。

  • 通过转换创建一个 0.5 GB 的 QVD 文件会使每日峰值增加 0.5 GB。只计算得到的 QVD 文件;QVD 生成器应用程序不会被计算在内,因为它加载了 Qlik Cloud 中已经存在的数据。

测量在 Qlik Cloud 中创建的数据文件。

计算创建的总数据的示例说明。

管理数据的最佳做法

有效数据管理有助于您充分利用您的分析数据容量。以下建议涵 盖了如何在 Qlik Cloud 中优化数据加载,减少不必要的存储以及管理旧的或非激活的内容。

创建用于数据重用的 QVD 文件

当数据在多个应用程序之间共享时,使用 QVD 文件。一次性加载外部数据并将其存储为 QVD 可以减少重复摄取,并有助于降低每日峰值。通过 Qlik 数据网关 - 数据移动 适用 QVD 文件以供数据重用通常比直接将数据重新加载到应用程序中更有效。

示例:

如果您一次性加载 10 GB 外部数据并且将其存储为 5 GB QVD 文件,则计入每日峰值的总数据量为 15 GB。加载 5 GB QVD 的应用程序不会重新摄取原始 10 GB 数据。如果您将相同的 10 GB 外部数据直接加载至两个应用程序中,则摄取会发生两次,导致计为 20 GB。

创建 QVD 并将数据加载到多个应用程序中比直接将外部数据加载到每个应用程序中更有效。

图示显示了使用 QVD 加载应用程序和直接加载至应用程序时的总数据。

使用高效的数据加载方法

在数据源应用筛选及转换(SQL 下推),以减少重新加载期间传输的数据。

示例:

Select * from my-external-database-table where my_column = 10

在此查询当中,筛选器在源处应用,因此只传输了数据的一个子集。

信息注释加载 QVD、Excel 或者 CSV 文件时,筛选在文件从源读取后发生,因此始终计算完整文件大小。

将 On-demand 应用程序用于大型数据集

按需应用程序生成 (ODAG) 允许您通过首先加载聚合数据并且在需要时才检索详细子集来处理大型数据集。

有关更多信息,请参阅On-demand 应用程序

使用 Direct Query 和动态视图处理大型数据集

Direct Query 和动态视图允许您按需查询大型数据集,而不用将所有数据加载到内存中。通过只查询您需要的数据,这些方法可以减少摄入,并有助于将使用量控制在您的能力范围内。

有关更多信息,请参阅:

管理旧的或未使用的应用程序

租户中的应用程序会依据其上次成功重新加载的情况,继续计入分析数据使用量。只要应用程序存在并加载了数据,它就会为您的容量报告做出贡献。

要避免不必要的用量:

减少或者删除不必要的数据

从不再需要完整数据集的应用程序中删除数据,或在只需要结构时创建不带数据的应用程序。使用较小数据集重新加载应用程序会更新其报告的用量。

避免不必要的重复

仅在需要时复制应用程序。每个副本都被视为一个独立应用程序,并计入容量使用量。

有意使用共享空间

共享空间有助于控制重新加载的位置及方式。

删除不再需要的应用程序

定期清理可以防止过时内容占用容量。

  • 通过勾选上次更新查看者使用时间来识别目录中未使用的项目。

  • 使用影响分析及世系来了解数据文件的使用位置。

  • 从活动中心删除未使用的应用程序和数据文件。管理员还可以从管理中删除应用程序。

有关更多信息,请参阅:

减少与重新加载相关的消耗

应用程序报告的重新加载大小只在重新加载生成较小数据集时才会减小。要减小报告的大小,请使用更少的数据重新加载应用程序,以更新报告的大小。

应用程序重新加载行为

  • 无新数据的重新加载:

    如果应用程序在不添加新数据的情况下重新加载,报告的大小将保持不变。

    示例:一个应用程序用其先前拥有的相同数据集重新加载。报告的使用量不会改变,因为没有摄取额外或者更少的数据。

  • 摄取后应用程序已经清空:

    即便应用程序删除所有表,使数据模型为空,最后一次成功的摄取仍会计入每日使用量。

    示例:一个应用程序摄取 10 GB 外部数据,生成 QVD 文件,并且在脚本结束时删除所有表。该应用程序现在为空,但摄取的 10 GB 仍然计入每日使用量。

  • 将应用程序复制至另一个空间:

    当应用程序被复制到另一个空间时,它被视为单独的应用程序,并再次计入容量使用量。

限制与重新加载相关消耗的方法

您可使用以下两种方法之一来减少与重新加载相关的数据消耗。这两种方法都会从应用程序中删除数据。

  • 提前停止加载脚本:在加载脚本的开头添加一个 Exit script;语句,以在没有数据的情况下重新加载应用程序。在需要完整数据时,请注释掉该语句或应用一个条件,使其仅在特定场景(例如,当应用程序位于特定空间时)运行。

  • 在没有数据的情况下重新创建应用程序:下载没有数据的应用程序并将其作为新应用程序导入。验证新版本之后,删除原始应用程序。

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们!