使用数据管理验证和更正您的数据

借助 Qlik Talend Cloud 中的数据管理，您可以利用主题专家的力量来验证和更正您的数据。使用现有的语义类型和验证规则来确保数据格式一致。这通过领域专家的“人在回路”（human-in-the-loop）修复扩展了自动化管道。验证数据后，您可以将其重新注入到原始数据源或任何下游系统中。

您可以创建一个冲刺任务，这是验证和修复工作的主体。该冲刺任务包含有关以下内容的信息：

• 源数据

• 用于验证的数据模式

• 冲刺任务的所有者

• 定义的数据管理员

• 用于冲刺任务数据的数据存储

• 工作流设置

在冲刺任务期间，所有冲刺任务数据都存储在您自己的云数据仓库中，而不是存储在 Qlik Talend Cloud 中。目前，Snowflake 是唯一受支持的云数据仓库。

您可以定义以下用户角色：

• 冲刺任务所有者

  冲刺任务所有者可以验证由数据管理员解决的记录。他们还可以访问已解决的记录并导出数据。

• 数据管理员

  数据管理员会被分配记录以解决质量问题。

您可以在 Qlik Talend Data Integration 活动中心内的数据管理中创建冲刺任务。您可以创建“解决”冲刺任务，以更正和整理需要验证的数据集中一个或多个字段内的数据。工作流如下：

1. 创建解决冲刺

   创建冲刺任务并定义要验证的数据。您可以使用 Talend Studio 作业填充冲刺任务，或者导入包含数据的 CSV 文件。

   定义数据管理员来执行验证。可以手动或自动分配记录。

2. 在解决冲刺中工作

   数据管理员验证分配记录中的数据。

3. 管理已解析的记录

   • 如果您使用 Talend Studio 作业填充了冲刺任务，则需要创建一个 Talend Studio 作业来检索已验证的记录，并将其返回到原始数据源或任何其他所需的目标位置。

   • 如果您使用 CSV 文件填充了冲刺任务，则通过将已验证的数据导出到 CSV 文件来结束冲刺任务。您可以通过导入导出的 CSV 文件，使用已验证的数据更新数据源。