监控 Qlik Open Lakehouse 存储任务
Qlik Open Lakehouse 项目中的存储任务与其他项目不同,因为它是持续运行的,而不是以批处理模式运行。因此,监控指标也有所不同。
通用监控概览
监控视图允许您跟踪任务状态和指标:
-
选项卡
在 信息、满负载 和 变更处理 之间切换,以查看任务每个阶段的相关指标。
-
数据集状态筛选器
数据集表上方的条形图显示每个状态下的数据集数量:已排队、正在加载、已完成 和 错误。该图表会随着数据集状态的变化而动态更新。单击状态片段可筛选数据集表,以仅显示该状态下的数据集。
-
隐藏小组件
单击 隐藏小组件 以折叠指标小组件。这提供了更多空间来查看下方的数据集表。
-
开始日期
当前任务运行开始的日期和时间。
-
结束日期
任务运行结束的日期和时间。这仅针对已完成的任务运行显示。
-
运行历史记录
单击 运行历史记录 以查看以前任务运行及其结果的列表。
信息监控详细信息
该 信息 部分提供了总体任务状态的摘要:
-
运行
显示当前运行的 运行 ID。
-
数据
数据任务更新至 显示最旧视图更新到的时间。它代表截至该时刻提交的所有源变更在目标表中均已可用的最新时间点。
如果未检测到新的源变更,则此值将设置为当前时间。
-
任务
显示运行此任务的群集的名称和状态,以及常规任务信息和状态。
满负载监控详细信息
您可以在 满负载 中查看数据任务的以下统计信息:
-
总数据集数
已加载的数据集数量。
-
错误的数据集数
处于错误状态的数据集数量。
-
传入的变更
传入变更的数量。
-
总延迟
任务的当前延迟 (hh:mm:ss)。此持续时间代表从源中提供变更到在目标中应用并提供变更之间的时间。
您可以查看数据任务中每个表的以下详细信息:
-
名称
目标表的名称。
-
状态
表状态将为以下之一:已排队、正在加载、已完成或错误。
-
已开始
开始加载的时间。
-
已结束
结束加载的时间。
-
持续时间
加载持续时间,格式为 hh:mm:ss。
-
记录数
加载期间复制的记录数。
-
消息
如果加载未成功处理,则显示错误消息。
变更处理监控详细信息
您可以在 变更处理 中查看数据任务的以下详细信息以监控变更处理:
-
总数据集数
已加载的数据集数量。
-
错误的数据集数
处于错误状态的数据集数量。
-
传入的变更
传入变更的数量。
-
已处理的变更
已处理变更的数量。
-
总延迟
任务的当前延迟 (hh:mm:ss)。此持续时间代表从源中提供变更到在目标中应用并提供变更之间的时间。
您可以查看数据任务中每个表的以下详细信息:
-
名称
登陆资产中目标表的名称。
-
状态
表状态将为以下之一:正在累积变更或错误。
-
传入的变更
登陆任务处理的、等待由存储任务应用的变更数量。
-
已处理的变更
自上次完全加载数据集(通过初始满负载或通过重新加载操作)以来应用到目标的变更总数。
-
上次处理时间
插入到目标数据集的最后一个源数据时间,已转换为本地时间。
-
未优化的变更
可通过视图查询但尚未合并到优化的 Iceberg 分区中的记录数。在后台优化完成之前,高计数可能会影响性能。
这反映了当前在 变更分区 中、尚未应用到 当前 或 历史 分区的记录数。
如果此数字持续偏高,请考虑增加群集计算能力以加速优化。
-
消息
如果对表的变更失败且未处理,则显示错误消息。
查看运行历史记录
您可以查看任务的运行历史记录,以确定根本原因并了解随时间推移而呈现的模式。
-
在任务的 监控 视图中,单击 运行历史记录。
-
在 监控视图 中,单击任务的 ... 菜单中的 运行历史记录。
根据您的筛选选择,运行历史记录中最多显示 100 次执行。优化您的筛选条件以查看其他执行。您可以根据执行结束日期和任务状态进行筛选。运行信息保留 13 个月。运行中的数据集元数据保留 30 天。