# 监视单个数据任务 您可以通过从数据任务窗口左上角的下拉菜单中选择监视来监视数据任务的状态和进度。 您还可以创建监视器视图来监视多个数据任务。有关更多信息，请参阅[监控和运行您的数据任务](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Monitoring-your-data-tasks.htm)。 ## 一般监控概览 监视视图适用于所有任务类型，并允许您跟踪任务状态和指标： * 标签 根据任务类型，在可用选项卡（例如信息、全量加载、变更处理、批处理或流式处理）之间切换。有关每个选项卡的详细信息，请参阅下面相关的任务部分。 * 数据集状态筛选器 数据集表上方的一个条形图显示了每个状态中的数据集数量：排队中、加载中、已完成和错误。图表会随着数据集状态的变化而动态更新。单击状态段可筛选数据集表，使其仅显示处于该状态的数据集。 * 隐藏小组件 单击隐藏小组件以折叠指标小组件。这提供了更多空间来查看下面的数据集表。 * 开始日期 当前任务运行开始的日期和时间。 * 结束日期 任务运行结束的日期和时间。这仅显示已完成的任务运行。 * 运行历史 点击 运行历史记录 以查看以前的任务运行列表及其结果。 ## 监视数据移动任务 可用的监视选项由任务类型和连接器类型决定。由于某些连接器不支持 CDC（例如 [Epicor](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/WebApplications/Connecting-Epicor.htm)），因此这些连接器将不会显示与 CDC 相关的监控选项。同样，由于某些连接器不支持满负载，与满负载相关的监控选项将不会显示在这些连接器上。 ### 数据管道用例：登陆任务 所有登陆任务都必须从目标的全部源数据开始。一旦初始满负载完成，目标数据就会随着源数据的更改而更新。这可以根据任务定义使用重新加载和比较或更改数据捕获 (CDC) 来完成。 有关更多信息，请参阅[从数据源登陆数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Landing/Landing-data-data-sources.htm)。 ### 复制用例：“复制数据”任务 “复制数据”任务通常从将源数据完全加载到目标开始。下表总结了满负载用例。 | 使用案例 | 完全加载 | | --- | --- | | 从 SaaS 应用程序复制数据。 | 必填字段 | | 从其他数据源类型（例如数据库）复制 | 可选 | 从非SaaS应用程序源复制时，如果源数据已存在于目标上，并且您只想将源更改应用于目标（或存储它们以供以后应用），则复制模式可以是应用更改、存储更改或两者兼而有之。这两种复制模式都显示在 CDC 监控中。 有关“复制数据”任务的更多信息，请参阅以下主题： [使用标准、高级或企业订阅复制数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-other-subscriptions.htm) [通过Qlik Talend Cloud Starter 订阅复制数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-starter-subscription.htm) ### 复制用例：“在数据湖中登陆数据”任务 “在数据湖中登陆数据”任务与登陆任务类似，因为它们必须以满负载开始。一旦初始满负载完成，目标数据就会随着源数据的更改而更新。这可以使用重新加载或更改数据捕获 (CDC) 来完成。尽管“在数据湖中登陆数据”任务与登陆任务相似，但它们被视为复制任务，因为它们仅由源到目标的复制组成。它们不提供在数据管道中可用的更下游操作数据的可能性（例如，使用转换和数据集市）。 信息注释创建单独的“在数据湖中登陆数据”任务的步骤与 Qlik Talend Cloud Starter 订阅无关。通过 Qlik Talend Cloud Starter 订阅，可以通过标准的“复制数据”任务完成向云存储目标的复制。 有关“在数据湖中登陆数据”任务的更多信息，请参阅[使用标准、高级或企业订阅将在数据湖中登陆数据](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm)。 ### 在向 SaaS 应用程序源添加新列后刷新元数据 当新列在任务已运行后添加到 SaaS 应用程序源时，您需要刷新元数据以防止数据丢失。 为此： 1. 打开并重新保存连接。 2. 按照 [创建和管理数据管道项目](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Introduction/Data-projects.htm) 中所述准备任务。 ### 监控详细信息 提供以下监控详细信息： * 信息 * 满负载 * 变更处理 * 流式传输 仅适用于流式传输登陆任务。 #### 信息 监控详细信息 您可以查看任务的常规信息、运行 ID，以及数据更新时间。对于 CDC 任务，计划信息也在此选项卡中提供。 #### 满负载监视详细信息 您可以查看处于全量加载的数据任务的以下统计信息： * 数据集总数 已加载的数据集数量。 * 有错误的数据集 出错的数据集数量。 * 总延迟 任务的当前延迟 (hh:mm:ss)。此持续时间表示从更改在源中可用到更改在目标或登陆中应用和可用的时间。 * 总吞吐量 目标吞吐量，单位为千字节/秒。这表示将更改记录加载到目标端点的速度。 您可以查看数据任务中每个数据集的以下详细信息： * 名称 目标数据集的名称。 * 州/省 表状态将为：已排队、正在加载、已完成、完整加载未完成或错误。 当从 SaaS 应用程序源加载数据时，全量加载未完成 状态有时可能会由于临时中断而显示在监控器中。此类中断可能由 SaaS 应用程序的数据配额超出、服务不稳定等原因引起。 该任务将在下一次计划的 CDC 实例时自动恢复。但是，如果导致中断的问题尚未解决，满负载可能会保持暂停状态。您也可以手动恢复任务，而不是等待下一个计划的 CDC 实例。 * 开始 加载开始的时间。 * 结束 加载结束的时间。 * 持续时间 hh:mm:ss 格式加载的持续时间。 * 记录 加载期间写入目标的记录数。 信息注释 当源数据集被筛选时，记录 将替换为以下部分： * 已读取记录: 从源数据集读取的记录数（筛选前）。 * 写入记录（筛选后）：筛选后实际写入目标的记录数。 有关筛选数据集的信息，请参阅[筛选数据集](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm)。 * 信息 如果加载未成功处理，则显示错误消息。 #### 更改处理监视详细信息 更改处理 显示上次 CDC 运行期间应用于所有表的更改数量，或者（如果尚未完成）当前运行期间的更改数量。要查看自任务开始以来应用于各个数据集的更改数量，请参阅数据集表。 您可以查看以下更改处理统计信息： * 数据集总数 已加载的数据集数量。 * 有错误的数据集 出错的数据集数量。 * 总延迟 任务的当前延迟 (hh:mm:ss)。此持续时间表示从更改在源中可用到更改在目标或登陆中应用和可用的时间。 * 总吞吐量 目标吞吐量，单位为千字节/秒。这表示将更改记录加载到目标端点的速度。 * 总传入更改 源中存在并等待处理的更改数。您可以查看源中累积的数量，以及正在应用的数量。 * 已应用的更改总数 应用于目标或登陆的更改数。您可以查看添加、删除和更新的数量。 您可以查看数据任务中每个表的以下详细信息： 信息注释对于使用 SaaS 应用程序连接器定义的任务，不会显示插入、更新和删除列，因为所有操作都是插入。 * 名称 登陆资产中目标表的名称。 * 州/省 表状态将是以下之一：累积更改、错误或已完成 （针对计划的 CDC 任务）。 * 上次处理 上次更改表的日期和时间。 * 插入、更新和删除 信息注释 筛选源数据集时，插入、更新和删除列将按以下方式分组： * 读取： 从源数据集读取的变更（插入、更新和删除）数量（筛选前）。 * 已写入（筛选后）：在筛选后实际写入目标端的更改（插入、更新和删除）的数量。 有关筛选数据集的信息，请参阅[筛选数据集](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm)。 * 插入 插入操作的数目。 * 更新 更新操作的数目。 信息注释更新作为 SaaS 应用程序源的插件处理。 * 删除 删除操作的数目。 * DML（插入/更新） 信息注释此列仅显示使用 SaaS 应用程序连接器定义的任务。 信息注释 筛选源数据集时，插入、更新和删除列将按以下方式分组： * 读取的 DML（插入/更新）： 在筛选前从源数据集读取的 DML（插入和更新）的数量。 * 已写入的 DML（插入/更新）： 筛选后实际写入目标的 DML（插入和更新）数量。 有关筛选数据集的信息，请参阅[筛选数据集](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm)。 * DDL 操作 DDL 操作的数量 信息注释仅适用于“复制数据”任务。 * 信息 如果对表的更改失败且未处理，则显示错误消息。 如果您正在从本地源登陆数据，并且选择了满负载模式，则在登陆资产为运行时将自动重新加载表。 如果您正在从本地源登录数据，并且选择了满负载和 CDC 模式，则在初始满负载后，表将不断以新数据更新。 ### 重新加载所选表 可以从源手动重新加载选定的表。当您想要恢复有错误的单个表时，这很有用。重新加载表不会影响 CDC 时间表，如果使用重新创建表，则会重置该时间表。重新加载表时不会传播元数据更改。 * 要重新加载选定的表，请选择监视器下半部分的表，然后单击重新加载表。 您需要与运行数据任务所需的权限相同的权限，即所有者或可操作角色。 在第一次运行数据任务后，可以重新加载表。如果更新方法为重新加载并比较，则在运行数据任务时，重新加载表不可用 下游存储数据任务将在下次运行时同步。如果存储任务已启用历史记录，则会对其进行维护。 如果无法通过重新加载表进行恢复，则下一步是修复数据任务。 ### 将所有表重新加载到目标。 如果遇到无法通过重新加载特定表来解决的 CDC 问题，则可以将所有表重新加载到目标。问题的示例包括丢失事件、源数据库重组引起的问题或读取源数据库事件时失败。 信息注释此操作仅适用于具有更新方法更改数据捕获 (CDC) 并且至少运行过一次的任务。 1. 停止数据任务和所有使用它的任务。 2. 打开数据任务，然后选择监视器选项卡。 3. 点击 ...，然后重新加载目标。 这将使用 Drop-Create 将所有表重新加载到目标，并将从现在起重新启动所有更改数据捕获。 * 消耗登陆数据任务的存储任务将通过比较重新加载，并在下次运行时应用以保持同步。现有历史将被保留。类型 2 历史记录将更新，以反映执行重新加载和比较进程后的变化。 类型 2 历史记录中的起始日期的时间戳将反映重新加载日期，而不一定是源中发生更改的日期。 * 在重新加载目标操作期间以及在存储同步之前，存储实时视图将不可靠。存储将在以下情况下完全同步： * 使用比较和应用重新加载所有表， * 每个表执行一个更改周期。 ## 监视存储、转换、数据集市、镜像和知识集市任务 您可以监视存储、转换、数据集市、镜像或知识集市任务的状态和进度。 提供以下监控详细信息： * 信息 * 满负载 * 批次 #### 信息 监控详细信息 您可以查看任务的常规信息、运行 ID 以及数据更新时间。 #### 满负载监视详细信息 信息注释满负载监控信息与使用 SaaS 应用程序连接器定义的任务不相关，因此不显示。 您可以查看处于全量加载的数据任务的以下统计信息： * 数据集总数 已加载的数据集数量。 * 有错误的数据集 出错的数据集数量。 * 总吞吐量 目标吞吐量，单位为千字节/秒。这表示将更改记录加载到目标端点的速度。 #### 批次监控详细信息 您可以查看批次更改的统计信息： * 数据集总数 已加载的数据集数量。 * 有错误的数据集 出错的数据集数量。 * 总延迟 任务的当前延迟 (hh:mm:ss)。此持续时间表示从更改在源中可用到更改在目标或登陆中应用和可用的时间。 * 总吞吐量 目标吞吐量，单位为千字节/秒。这表示将更改记录加载到目标端点的速度。 * 源 源端的延迟和吞吐量。 * 目标 目标中的延迟和吞吐量。 * 传入更改总数 源中存在并等待处理的更改数。您可以查看源中累积的数量，以及正在应用的数量。 * 已应用的更改总数 应用于目标或登陆的更改数。您可以查看添加、删除和更新的数量。 ### 查看状态和进度 您可以查看数据集中每个数据集或更改的以下详细信息： * 名称 目标数据集的名称。 * 州/省 表状态将为：已排队、正在加载、已完成或错误。 * 开始 加载开始的时间。 * 结束 加载结束的时间。 * 持续时间 hh:mm:ss 格式加载的持续时间。 * 记录 加载期间写入目标的记录数。 信息注释 当源数据集被筛选时，记录 将替换为以下部分： * 已读取记录: 从源数据集读取的记录数（筛选前）。 * 写入记录（筛选后）：筛选后实际写入目标的记录数。 有关筛选数据集的信息，请参阅[筛选数据集](https://help.qlik.com/zh-CN/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Transformation/Filter-data.htm)。 * 信息 如果加载未成功处理，则显示错误消息。 在数据任务已更新为中显示的时间之前，所有源事务中的数据都可在此数据任务中供使用。一旦加载了所有表并应用了第一组更改，该信息就可用于数据任务。如果选择生成实时视图，还可以在实时视图更新时查看。 如果在初始加载完成之前有第一批更改，则在初始加载完成并应用该批更改之前，不会更新数据任务更新为。例如，假设您正在加载一个数据资产，其中包含一个包含 100 万个订单的订单数据集和一个包含 1000 万个订单详细信息的订单详细信息数据集。这些数据集分别需要 10 分钟和 20 分钟来完成满负载。首先加载订单数据集，然后加载订单详细信息数据集。加载订单数据集时，插入了一个新订单。因此，在加载订单详细信息时，它可能包含新订单的详细信息，而新订单在订单数据集中还不存在。订单和订单详细信息数据集仅在应用第一批更改后同步并完全更新到同一时间。 ### 查看详细信息 您可以查看 SQL 语句级别的详细信息。 1. 选择要详细监视的数据集。 2. 单击监控细节。 将显示监控细节，您可以查看为加载或更改过程的每个步骤执行的命令。您可以单击命令以查看已执行的完整 SQL 语句。 * 单击导出到 CSV 以导出包含所有列出命令的完整 SQL 语句的文本文件。 ## 视图的数据任务已更新为 数据任务已更新为字段显示最旧视图更新的时间。 * 标准视图 数据任务已更新为显示最旧的标准视图更新的时间。 例如，假设一个任务有两个表，Orders 和 Order details。订单更新为 10:01，记录时间为 10:00 和 10:01，订单详细信息仅包含 10:00 的记录。在这种情况下，数据任务会更新到 10:00。这不应与数据任务加载的开始和结束时间混淆，相应时间可能是 10:02 到 10:03。 * 实时视图（存储数据任务） 更新数据以显示最旧的实时视图更新的时间。 例如，假设一个任务有一个订单表。登陆中的订单更新为 10:01，记录时间为 10:00 和 10:01，但存储中的订单仅更新为 10:00 的记录。在这种情况下，订单的实时视图更新为 10:01，标准视图更新为 10:00。 ## 查看运行历史记录 您可以查看任务的运行历史记录，以确定根本原因并了解随时间推移而呈现的模式。 * 在任务的 监控 视图中，单击 运行历史记录。 * 在 监控视图 中，单击任务的 ... 菜单中的 运行历史记录。 根据您的筛选选择，运行历史记录中最多显示 100 次执行。优化您的筛选条件以查看其他执行。您可以根据执行结束日期和任务状态进行筛选。运行信息保留 13 个月。运行中的数据集元数据保留 30 天。