监视Qlik Open Lakehouse存储任务
Qlik Open Lakehouse项目中的存储任务与其他项目不同,因为它持续运行,而不是以批处理模式运行。因此,监视指标也不同。
一般监控详细信息
本部分提供了整体任务状态的摘要:
-
数据任务已更新为
所有表完全同步为止的时间戳。它表示所有在该时刻之前提交的源更改都已在目标表中可用的最新时间点。
如果未检测到新的源更改,此值将设置为当前时间。
-
数据集数目
此任务中包含的数据集总数。
-
有错误的数据集
在此任务中遇到错误的数据集总数。
-
Lakehouse 集群
此任务正在运行的集群的名称和状态。
满负载监视详细信息
您可以查看处于满负载状态的数据任务的以下详细信息:
-
已排队:当前排队的表数。
-
加载中:当前正在加载的表数。
-
已完成:已完成的表数。
-
错误:出错的表的数目。
您可以查看数据任务中每个表的以下详细信息:
-
名称
目标表的名称。
-
州/省
表状态将为:已排队、正在加载、已完成或错误。
-
开始
加载开始的时间。
-
结束
加载结束的时间。
-
持续时间
hh:mm:ss 格式加载的持续时间。
-
记录
加载期间复制的记录数。
-
信息
如果加载未成功处理,则显示错误消息。
更改数据捕获 (CDC) 监控详细信息
您可以查看数据任务的以下 CDC 详细信息,以监控 CDC 状态下的更改处理:
-
传入更改:源中存在并等待处理的更改数。您可以查看累积的数量和应用的数量。
-
已处理的更改:(在过去 24 小时内)已处理和应用的更改数。
-
延迟:尚未处理到存储的在登陆中的最旧的源事件时间戳与当前时间之间的时间差 (hh:mm:ss)。此持续时间表示从更改在源中可用到更改在登陆资产中应用并可用的时间。
您可以查看数据任务中每个表的以下详细信息:
-
名称
登陆资产中目标表的名称。
-
州/省
表格状态将为:累积更改或错误。
-
传入更改
由登陆任务处理的、正在等待存储任务应用的更改数量。
-
处理的更改
自数据集上次完全加载(通过初始满负载或重新加载操作)以来,已应用于目标的更改总数。
-
上次处理
插入到目标数据集的最后源数据时间,已转换为本地时间。
-
未优化的更改
可通过视图查询但尚未合并到优化的 Iceberg 分区中的记录数量。高计数可能会影响性能,直到后台优化完成。
这反映了当前在更改分区中尚未应用于当前或历史分区的记录数量。
如果此数字持续很高,请考虑增加集群计算容量以加速优化。
-
信息
如果对表的更改失败且未处理,则显示错误消息。