使用 Talend Studio 作业创建解决冲刺
您可以创建使用 Talend Studio 作业作为数据源的解决冲刺。
这是创建和填充冲刺的工作流:
-
创建冲刺任务
您在 Qlik Talend Data Integration 的 数据管理 中创建冲刺任务。
-
填充冲刺
您在 Talend Studio 中创建作业以填充冲刺。您可以创建任务以定期运行作业,从而提交新记录进行验证。
先决条件
在创建冲刺之前,您需要满足以下条件:
-
您的 Qlik Cloud 和 Talend Cloud 租户必须已连接。有关更多信息,请参阅将 Qlik Cloud 与 Talend Cloud 连接。
-
创建冲刺任务时要使用的空间。
冲刺任务所有者/创建者必须在该空间中拥有以下权限:可管理、可编辑、可查看、可查看数据
数据管理员必须在该空间中拥有以下权限:可编辑、可查看、可查看数据
-
与您希望用于存储冲刺任务数据的 Snowflake 数据仓库的连接。请勿使用数据网关用于该连接。
所有冲刺用户必须在连接空间中拥有以下权限:可编辑、可查看、可查看数据
您可以在 Qlik Talend Data Integration 活动中心中的 连接 中创建连接。
有关 Snowflake 连接的更多信息,请参阅 Snowflake。
要创建解决方案冲刺,请在 Qlik Talend Data Integration 活动中心中的 数据管理 中点击 创建冲刺。
通用冲刺设置
-
名称
为冲刺添加名称。
-
空间
选择要在其中创建冲刺的空间。
-
说明
添加冲刺的描述。
-
冲刺任务群体
选择 Talend Studio 任务。
准备好继续定义数据架构时,单击 下一步。
定义数据架构
您现在必须定义数据架构。
通过单击 添加列 将列添加到数据架构。当您准备好继续定义数据存储时,单击 下一步。
为每个列提供名称、描述和类型。
您可以使用锁定列和排除列来控制哪些列可以被查看和编辑。这有助于创建一个仅包含验证所需的列的验证视图。
-
锁定列
如果您选择此项,该列将对数据管理员可见,但无法编辑。将此用于不需要验证,但对数据管理员作为参考很有用的列。
-
排除列
如果您选择此项,该列将对数据管理员不可见。将此用于数据管理员不需要作为参考的列。
应用验证规则
您可以将验证规则应用于列,以便更容易发现无效数据。无效数据将在列中突出显示。
-
点击 + 以应用验证规则。
您可以选择现有验证规则或创建新验证规则。
有关创建验证规则的详细信息,请参阅Creating a validation rule。
连接到数据存储
您必须连接到要用于存储冲刺数据的云数据仓库。Snowflake 是目前唯一支持的数据仓库。
-
选择数据仓库的连接。
-
选择要使用的数据库。
-
选择是要使用现有数据库架构,还是新的数据库架构。
如果您选择新数据库架构,请设置新架构的名称。
-
设置用于已解决的冲刺数据的表的名称,在已解决记录的表名中。
准备好继续定义冲刺工作流的角色和其他设置时,点击下一步。
定义冲刺工作流的角色和设置
最后一步是定义角色和其他设置。
-
添加所有者
添加所有应该成为冲刺所有者的用户。
-
添加数据管理员
为此冲刺添加所有数据管理员。
-
记录工作流程
您可以选择是否要添加由冲刺所有者执行的第二个验证步骤。
信息注释如果一个用户既是冲刺所有者又是数据管理员并验证了一条记录,则会跳过第二个验证步骤。 -
记录分配
选择是否要自动分配记录,或者是否要手动将记录分配给数据管理员。
-
自动
记录会自动均匀分配给数据管理员。记录不会分配给不是数据管理员的冲刺任务负责人。
-
手动
记录最初不会分配给数据管理员。冲刺任务负责人和数据管理员可以从未分配中分配记录。
-
-
优先级
您可以为冲刺设置优先级。
准备好创建冲刺时,单击保存。
冲刺现已创建。下一步是使用 Talend Studio 作业填充冲刺。
填充冲刺
您在 Talend Studio 中使用 tdsOutput 组件创建一个作业以填充冲刺。您可以创建一个任务来定期运行该作业,以提交新记录进行验证。
有关更多信息,请参阅tDSOutput 设置。