跳到主要内容 跳到补充内容

分析数据

分析数据指标显示了您的 Qlik Cloud 容量使用了多少。它衡量加载到并且存储在您的环境中的数据总量。本主题解释了哪些类型的数据计入您的使用量,哪些被排除以及使用量如何计算。了解这些详细信息有助于您了解什么占用了您的 Qlik Cloud 容量并且更高效地管理您的数据。

指标中包含的数据

统计了以下数据:

  • 从外部源加载到 Qlik Cloud 的数据。对于重载,新的增量数据会增加数据计数。如果重载的数据较少,则数据计数会减少。

  • 上载到 Qlik Cloud 或在其中创建的数据文件。文件大小被计入。如果在 Qlik Cloud 中复制数据文件,则新的数据文件将包含在计数中。如果在共享空间中复制应用程序而不重新加载,则不会被计算在内。

数据分析度量计算如下:

  • 通过 Qlik Sense 应用程序摄取到 Qlik Cloud 中的外部数据量。

  • 经由 Qlik 数据网关 - 数据移动 将从外部数据所得的 QVD 文件大小加载到 Qlik Cloud 中。

  • 上传到 Qlik Cloud 的数据文件的文件大小。

  • 应用程序的静态字节大小。

加载到多个租户中的数据会被计算多次,其中加载一次并在多个应用程序中使用的数据只会被计算一次。

信息注释如果应用程序仅使用从数据文件中加载的数据,则该应用程序不会为分析贡献数据。这是由于数据已在数据文件贡献中进行了说明。

以下项不计入度量:

  • 使用按需应用程序生成 (ODAG) 加载到个人空间中的应用程序和数据。

  • 个人空间中的应用程序。包括使用存储在共享空间中数据连接的人。

  • 仅二进制加载另一应用程序的应用程序。被二进制加载的原应用程序已被计算在内。

  • 仅能加载 QVD 文件的应用程序。QVD 已被单独计入。

  • 发布到托管空间的应用程序和数据。

    信息注释托管空间中应用程序的重载计入指标。
  • 通过 Direct Query 加载的数据。

订阅分析数据容量

您可以根据您的分析数据要求订阅数据包。每个用户的个人空间都具有一定量的分析数据容量。这些个人数据不计入分析数据总量。但是,如果用户将数据移动到共享空间进行协作,则将其包含在总容量中。

Qlik Cloud Analytics 入门版具有固定的数据容量。在此版本中,订阅基于用户数量。

将数据移动至 Qlik Cloud

您移动数据的选项包括:

  • Qlik Sense 的直接数据连接

  • Qlik Data Gateway - Direct Access

  • 使用 Qlik Talend Data Integration 将数据移动至 Qlik Cloud

    您可以使用 Qlik Cloud Analytics 的高级版和企业版将数据从任何源移动到 Qlik Cloud。使用 Qlik Cloud Analytics Standard,您可以从除 SAP、大型机和传统源之外的任何源移动数据。

计算分析数据的量

了解分析数据的计算方式可以帮助您有效地利用您的容量。本部分介绍如何测量每月峰值、数据加载、应用程序重载及数据创建。

每月峰值

购买数据分析容量后,您将得到一定量的空间用于存储和分析数据。此容量为最大限额,而非可消耗额度。例如,如果您购买了 250 GB 的容量,您就可随时存储和分析多达 250 GB 的数据。如果超过此限额,可能会发生超额费用,将单独跟踪超额费用。

如何跟踪每日使用情况

我们每天都会跟踪您的使用情况。每天,系统会将您的日峰值计算成以下各项的总和:

  • 存储文件的总大小

  • 应用程序重载时摄取的数据量

  • 衍生或创建的数据量

结转行为

如果某天没有重载,系统会沿用最近一次重载时摄取的数据值。在新的一个月开始时,每月峰值会重置。如果新月份的第一天没有重载,则上个月的最后一次重载值将应用至该天。

存储的数据和导出的数据每天都是新测量的,没有结转。

特殊情况

  • 使用量值反映了每个应用程序最后一次成功重载的情况。如果应用程序后来以空数据模型重载(例如,仅创建和导出 QVD 文件),报告的使用量可能仍然会显示上次成功重载时的大小。

  • 只有再次重载应用程序时,使用量值才会更新。这可能导致应用程序中可见的数据与报告的分析数据使用量之间出现差异。要减少报告的使用量,请使用较小的数据集来重载应用程序。

结转示例

下面的示例展示了在没有新的重载发生时,重载值如何结转,以及这种行为如何与存储和创建的数据交互。

例 1 - 定期结转

  • 第 1 天:存储 70 GB 数据文件,重新加载 40 GB 应用程序,创建 30 GB 数据文件。日峰值为 140 GB。

  • 第 2 天:存储 60 GB 数据文件,重新加载 0 GB 应用程序,创建 20 GB 数据文件。第 1 天的重载值 (40 GB) 被结转。日峰值为 120 GB。

示例 2 - 仅 QVD 应用程序方案

  • 第一天:使用 10 GB 外部数据重载应用程序,创建 QVD 文件,删除所有数据表。最终应用程序模型为空。日峰值为 10 GB(重载部分)。

  • 第 2 天:没有重载。尽管应用程序现在没有表格,但每日峰值仍然为 10 GB(重载部分结转)。

只有重载才会更新该值。

这意味着每日峰值既能反映结转的重载数据(即使应用程序本身为空,如仅在 QVD 情况下),也能反映当天存储或创建的任何新数据。

每月峰值和高水平线

每月峰值是当月记录到的最高日峰值。它就像一个高水平线,示出数据总使用量最高的一天。将每月峰值与您购买的容量进行比较,以确定是否需要支付超额费用。

示例 - 从日使用量中确定每月峰值

为演示如何确定每月峰值,本示例使用了一个简化方案,该方案仅涵盖四天,购买容量为 250 GB。使用值有助于说明最高日峰值如何变为月峰值。

数据表按类型列出了四天的数据使用情况:

存储 重新加载 创建时间 每日峰值
1 50 GB 30 GB 15 GB 95 GB
2 70 GB 40 GB 30 GB 140 GB
3 60 GB 0 GB 20 GB 120 GB
4 80 GB 50 GB 40 GB 170 GB

了解表格数据:

  • 第 3 天无数据重载。第 2 天的重载部分 (40 GB) 被转入下一天,形成每日峰值 (120 GB)。

  • 第 4 天的日峰值最高 (170 GB),成为月峰值。

由于每月峰值不超过购买的 250 GB 容量,因而不存在超额情况。如果任一天的使用量超过 250 GB,则可能需要支付超额费用或升级容量。

四天的日常使用情况,示出存储、摄取(重载)和创建的数据。绿线表示购买的容量为 250 GB。

显示四天数据使用情况的条形图

将数据加载到 Qlik Cloud

从外部源加载到 Qlik Cloud 的数据将计入每日峰值。当您将数据加载到租户中时,它会被计数一次,并且可以被分析和使用多次。加载到多个租户中的数据被计数多次。

造成每日峰值的数据测量如下:

  • 通过 Qlik Sense 应用程序加载的基于文件的数据是通过其文件大小来衡量的。

  • 使用查询或连接器重载的应用程序被计算为从数据源获取的最大字节数。当同一天发生多次重载时,最大的应用程序大小将计入每日峰值。例如,如果应用程序在一天中分别以 0.75 GB、1.25 GB 和 1 GB 重新加载,则当天使用的值将为 1.25 GB。

    只要 Qlik Cloud 租户中存在应用程序,就会为该应用程序计算摄入的最大字节数。

  • 经由 Qlik 数据网关 - 数据移动 加载到 Qlik Cloud 中的数据是通过生成的 QVD 文件的大小来测量的。

  • 通过文件导入上传或加载的应用程序,无论是在 分析 活动中心还是使用 qlik-cli,都是通过应用的静态字节大小来计量的。

  • 上传的 QVD 文件是根据其文件大小来衡量的。

将数据加载到 Qlik Cloud 的不同方式:通过应用程序、数据移动或使用 分析 活动中心或 qlik-cli 导入。

将数据加载到 Qlik Cloud 的不同方法的说明。

在以下情况下,数据包括在日峰值的计算中:

  • 对于加载到用户个人空间的数据,只要它被限制在该空间内,则不被计算在内。如果用户将数据移动到共享空间以与其他用户协作,则会将其计算在内。

  • 如果重载失败,则不计算摄入的字节数。但是,任何生成的 QVD 文件都会被计算在内。

  • 当您加载包含 Qlik Cloud 中已驻留数据的应用程序时,数据加载不计算在内。例如,复制或二进制加载的应用程序(从另一个 Qlik Sense 应用程序加载数据)不会影响每日峰值,前提是它们不是从外部源重载的。

来自内部来源的应用程序重载对每日峰值没有影响。

不计入每日峰值的应用程序重载示例。

测量为应用程序重载而摄入的字节

当您从外部源重载 Qlik Sense 应用程序时,以下内容适用:

  • 只要数据量保持不变,您可以从同一源数据集多次重载应用程序,而不会影响每日峰值。

  • 如果源数据集的大小增加,则会影响每日峰值。添加到数据集中的每一个额外 GB 的数据都会为重载过程中摄入的数据贡献等量的数据。

  • 相反,如果源数据集的大小减少,这种减少也反映在每日峰值中。例如,如果数据集大小减少 0.25 GB,则重载大小也会减少相同的量。但是,如果当天早些时候发生 1 GB 的重载,则当天的每日峰值将为 1 GB。这一减少只会反映在第二天的每日峰值中。

  • 在不改变其大小的情况下,源数据集内容的变化不会影响每日峰值。每日峰值仅受数据量的影响。

测量源数据集的大小或内容更改时摄入的字节。

从不同大小的数据集重载应用程序的图示。
  • 如果在单个加载脚本中多次查询同一个数据集,则所有这些查询都将被单独计数,并将其数据量相加。例如,如果您有一个加载脚本,其中包括来自同一数据集的三个 1 GB 的查询,那么这三个查询都将单独计数。因此,计入每日峰值的总计数据为 3 GB。

  • 加载应用程序并随后删除表不会减少每日峰值,因为每日峰值基于当天的最大应用程序重载大小。

  • 如果您加载一个应用程序,然后在同一天将其删除,它仍然会导致当天的每日峰值。然而,当应用程序不复存在时,它会降低第二天的每日峰值。

测量为不同的应用程序重载场景摄入的字节。

不同应用程序重载场景的说明。

Qlik Talend Data Integration 加载到 QVD 文件中的测量数据

当您使用 Qlik 数据网关 - 数据移动 将数据从外部源加载到 QVD 文件时,以下内容适用:

  • 只要数据量保持不变,您可以多次上传、导入或生成数据集,而不会影响每日峰值。

  • 如果源数据集的大小增加,则会影响每日峰值。添加到数据集的每一个额外 GB 的数据都相当于生成的 QVD 文件的大小。

  • 相反,如果源数据集的大小减少,这种减少也反映在每日峰值中。例如,如果数据集大小减少 0.25 GB,则生成的 QVD 文件的大小将减少相同的量。

  • 在不改变其大小的情况下,源数据集内容的变化不会影响每日峰值。每日峰值仅受数据量的影响。

当源数据集的大小或内容发生更改时,测量 QVD 文件大小。

来自不同大小数据集的 QVD 负载说明。

从外部和内部源加载应用程序

重要的是要了解加载到应用程序中的数据如何影响每日峰值,具体取决于数据源。让我们考虑以下从不同来源加载数据的场景。

  • 从外部源加载应用程序

    当您将数据从外部源加载到应用程序中时,它会算作摄入的字节。例如,如果加载 10 GB,则对每日峰值的贡献为 10 GB。

  • Qlik Cloud 中的 QVD 加载应用程序

    从中 Qlik Cloud 驻留的 QVD 文件将数据加载到应用程序中不计入每日峰值。如果从 QVD 将 10 GB 的数据加载到应用程序中,则不会计算任何数据,因为没有接收到外部数据。对每日峰值的贡献为 0 GB。

  • Qlik Cloud 中的 QVD 生成一个新的 QVD 文件

    从基于 Qlik Cloud 的 QVD 加载到 QVD 生成器应用程序中的数据不计入每日峰值。但是,从应用程序生成的 QVD 文件确实有效。例如,如果将 10 GB 的 QVD 文件转换为新的 5 GB QVD,则对每日峰值的贡献是两个文件的总和,即 15 GB。由于没有外部数据摄入,因此不计算 QVD 生成器应用程序(创建数据模型并生成 QVD 的专用应用程序)的负载。

  • 从外部和内部源加载应用程序

    如果应用程序从外部源加载 10 GB,从 Qlik Cloud 内的 QVD 加载5 GB,则应用程序对每日峰值的总贡献为 10 GB,因为只计算从外部源加载的数据。

测量数据文件的总数加上从内部和外部源加载时摄入的数据。

计算加载的总计数据的示例说明。

Qlik Cloud 中创建数据

当您在 Qlik Cloud 中创建新数据时,无论是通过复制数据文件还是通过组合和处理现有原始数据来派生数据,它都会计入每日峰值。数据是在数据创建过程中生成的文件的总大小。创建的数据只计算一次,无论有多少应用程序使用它。

考虑以下数据创建示例:

  • 使用 STORE 语句创建 1 GB QVD 文件会使每日峰值增加 1 GB。

  • 复制一个 1 GB 的 QVD 文件会使每天的峰值增加 1 GB,因为两个拷贝都在总数中计入。

  • 通过转换创建一个 0.5 GB 的 QVD 文件会使每日峰值增加 0.5 GB。只计算得到的 QVD 文件;QVD 生成器应用程序不会被计算在内,因为它加载了 Qlik Cloud 中已经存在的数据。

测量在 Qlik Cloud 中创建的数据文件。

计算创建的总数据的示例说明。

管理数据的最佳做法

有效数据管理有助于您充分利用您的分析数据容量。以下建议涵 盖了如何在 Qlik Cloud 中优化数据加载,减少不必要的存储以及管理旧的或非激活的内容。

创建用于数据重用的 QVD 文件

当数据在多个应用程序之间共享时,使用 QVD 文件。一次性加载外部数据并将其存储为 QVD 可以减少重复摄取,并有助于降低每日峰值。使用 Qlik 数据网关 - 数据移动 创建 QVD 文件以供数据重用通常比直接将数据重新加载到应用程序中更有效。

如果您一次性加载 10 GB 外部数据并且将其存储为 5 GB QVD 文件,则计入每日峰值的总数据量为 15 GB。加载 5 GB QVD 的应用程序不会重新摄取原始 10 GB 数据。如果您将相同的 10 GB 外部数据直接加载至两个应用程序中,则摄取会发生两次,导致计为 20 GB。

创建 QVD 并从中加载应用程序比直接将外部数据加载只多个应用程序更高效。

图示显示了使用 QVD 加载应用程序和直接加载至应用程序时的总数据。

使用高效的数据加载方法

尽可能将筛选及转换推送到数据源(SQL 下推)。这减少了重新加载期间传输的数据量。

Select * from my-external-database-table where my_column = 10

在此查询当中,筛选器在源处应用,因此只传输了数据的一个子集。

信息注释加载 QVD、Excel 或者 CSV 文件时,筛选在文件从源读取后发生,因此始终计算完整文件大小。

将 On-demand 应用程序用于大型数据集

按需应用程序生成 (ODAG) 允许您通过首先加载聚合数据并且在需要时才检索详细子集来处理大型数据集。

有关更多信息,请参阅On-demand 应用程序

使用 Direct Query 和动态视图处理大型数据集

Direct Query 和动态视图允许您按需查询大型数据集,而不用将所有数据加载到内存中。这些方法减少了数据摄取,并切有助于将使用量保持在您的容量范围内。

有关更多信息,请参阅:

管理旧的或未使用的应用程序

租户中的应用程序会依据其上次成功重新加载的情况,继续计入分析数据使用量。只要应用程序及其数据已加载,它就会继续计入您的容量报告。

要避免不必要的用量:

减少或者删除不必要的数据

从不再需要完整数据集的应用程序中删除数据,或在只需要结构时创建不带数据的应用程序。使用较小数据集重新加载应用程序会更新其报告的用量。

避免不必要的重复

仅在需要时复制应用程序。每个副本都被视为一个独立应用程序,并计入容量使用量。

有意使用共享空间

共享空间有助于控制重新加载的位置及方式。

删除不再需要的应用程序

定期清理可以防止过时内容占用容量。

  • 通过勾选上次更新查看者使用时间来识别目录中未使用的项目。

  • 使用影响分析及世系来了解数据文件的使用位置。

  • 从活动中心删除未使用的应用程序和数据文件。管理员还可以从管理中删除应用程序。

有关更多信息,请参阅:

减少与重新加载相关的消耗

应用程序报告的重新加载大小只在重新加载生成较小数据集时才会减小。要减小报告的大小,请使用更少的数据重新加载应用程序,以更新报告的大小。

应用程序重新加载行为

  • 如果应用程序在无新数据的情况下重新加载,报告的大小将保持不变。

  • 当应用程序被复制到另一个空间时,它被视为单独的应用程序,并再次计入容量使用量。

限制与重新加载相关消耗的方法

您可使用以下两种方法之一来减少与重新加载相关的数据消耗。这两种方法都会从应用程序中删除数据。

  • 提前停止加载脚本:在加载脚本的开头添加一个 Exit script;语句,以在没有数据的情况下重新加载应用程序。在需要完整数据时,请注释掉该语句或应用一个条件,使其仅在特定场景(例如,当应用程序位于特定空间时)运行。

  • 在没有数据的情况下重新创建应用程序:下载没有数据的应用程序并将其作为新应用程序导入。验证新版本之后,删除原始应用程序。

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们!