使用 Talend Studio 作业创建解决冲刺任务
您可以使用 Talend Studio 作业作为数据源来创建解决冲刺任务。
以下是创建和填充冲刺任务的工作流程:
-
创建冲刺任务
您可以在 Qlik Talend Data Integration 的 数据管理 中创建冲刺任务。
-
填充冲刺任务
您可以在 Talend Studio 中创建一个作业来填充冲刺任务。您可以创建一个任务来定期运行该作业,以提交新记录进行验证。
先决条件
在创建冲刺任务之前,您需要满足以下条件:
-
您的 Qlik Cloud 和 Talend Cloud 租户必须已连接。有关更多信息,请参阅 将 Qlik Cloud 与 Talend Cloud 连接。
-
创建冲刺任务时要使用的空间。
冲刺任务所有者/创建者必须在该空间中拥有以下权限:可管理、可编辑、可查看、可查看数据
数据管理员必须在该空间中拥有以下权限:可编辑、可查看、可查看数据
-
与要用于存储冲刺任务数据的 Snowflake 数据仓库的连接。请勿将数据网关用于该连接。
所有冲刺任务用户必须在连接所在的空间中拥有以下权限:可编辑、可查看、可查看数据
您可以在 Qlik Talend Data Integration 活动中心的 连接 中创建连接。
有关 Snowflake 连接的更多信息,请参阅 Snowflake。
要创建解决冲刺任务,请在 Qlik Talend Data Integration 活动中心的 数据管理 中单击 创建冲刺任务。
常规冲刺任务设置
-
名称
为冲刺任务添加名称。
-
空间
选择要在其中创建冲刺任务的空间。
-
描述
添加冲刺任务的描述。
-
冲刺任务填充
选择 Talend Studio 作业。
准备好继续定义数据模式时,单击 下一步。
定义数据模式
您现在必须定义数据模式。
通过单击 添加列 将列添加到数据模式。准备好继续定义数据存储时,单击 下一步。
为每列提供 名称、描述 和 类型。
您可以使用 锁定列 和 排除列 来控制可以查看和编辑哪些列。这有助于创建仅包含验证所需列的验证视图。
-
锁定列
如果选择此项,该列将对数据管理员可见,但无法编辑。将此项用于不需要验证但可用作数据管理员参考的列。
-
排除列
如果选择此项,该列将对数据管理员不可见。将此项用于不需要作为数据管理员参考的列。
应用验证规则
您可以将验证规则应用于列,以便更轻松地发现无效数据。无效数据将在列中突出显示。
-
单击 + 以应用验证规则。
您可以选择现有的验证规则,也可以创建新的验证规则。
有关创建验证规则的更多信息,请参阅 Creating a validation rule。
连接到数据存储
您必须连接到要用于存储冲刺任务数据的云数据仓库。Snowflake 是目前唯一受支持的数据仓库。
-
选择与数据仓库的连接。
-
选择要使用的数据库。
-
选择是要使用现有的数据库模式,还是使用新的数据库模式。
如果选择 新数据库模式,请设置新模式的名称。
-
在 已解决记录的表名 中设置用于已解决冲刺任务数据的表名。
准备好继续定义冲刺任务工作流程的角色和其他设置时,单击 下一步。
定义冲刺任务工作流程的角色和设置
最后一步是定义角色和其他设置。
-
添加所有者
添加所有应成为冲刺任务所有者的用户。
-
添加管理员
添加此冲刺任务的所有数据管理员。
-
记录工作流程
您可以选择是否要由冲刺任务所有者添加第二个验证步骤。
信息注释如果既是冲刺任务所有者又是数据管理员的用户验证了记录,则将绕过第二个验证步骤。 -
记录分配
选择是要自动分配记录,还是手动将记录分配给数据管理员。
-
自动
记录将自动均匀分配给数据管理员。记录不会分配给非数据管理员的冲刺任务所有者。
-
手动
记录最初不会分配给数据管理员。冲刺任务所有者和数据管理员可以从 未分配 中分配记录。
-
-
优先级
您可以设置冲刺任务的优先级。优先级用于在冲刺任务列表中对冲刺任务进行排序。
准备好创建冲刺任务时,单击 保存。
冲刺任务现已创建。下一步是使用 Talend Studio 作业填充冲刺任务。
填充冲刺任务
您可以在 Talend Studio 中使用 tdsOutput 组件创建一个作业来填充冲刺任务。您可以创建一个任务来定期运行该作业,以提交新记录进行验证。
有关更多信息,请参阅 tDSOutput 设置。