透過資料監管驗證並修正您的資料
透過 Qlik Talend Cloud 中的資料監管,您可以借助主題專家的力量來驗證並修正您的資料。使用您現有的語意類型和驗證規則,確保資料格式一致。這透過領域專業知識的「人機協作 (human-in-the-loop)」修復功能,擴展了自動化管道。驗證資料後,您可以將其重新注入原始資料來源或任何下游系統。
您可以建立衝刺任務,這是驗證和修復的主要工作主體。衝刺任務包含以下資訊:
-
來源資料
-
用於驗證的資料結構描述
-
衝刺任務的擁有者
-
已定義的資料監管員
-
用於衝刺任務資料的資料儲存
-
工作流程設定
在衝刺任務期間,所有衝刺任務資料都會儲存在您自己的雲端資料倉庫中,而不是儲存在 Qlik Talend Cloud 中。目前,Snowflake 是唯一支援的雲端資料倉庫。
您可以定義以下使用者角色:
-
衝刺任務擁有者
衝刺任務擁有者可以驗證由資料監管員解決的記錄。他們也可以存取已解決的記錄並匯出資料。
-
資料監管員
資料監管員會被指派記錄以解決品質問題。
您可以在 Qlik Talend Data Integration 活動中心的 資料監管 中建立衝刺任務。您可以建立「解決方案衝刺任務 (Resolution sprints)」,以修正和策展需要驗證的資料集內一個或多個欄位中的資料。工作流程如下:
-
建立衝刺任務並定義要驗證的資料。您可以使用 Talend Studio 工作填入衝刺任務,或匯入包含資料的 CSV 檔案。
定義資料監管員來執行驗證。可以手動或自動指派記錄。
-
資料監管員驗證指派記錄中的資料。
-
-
如果您使用 Talend Studio 工作填入衝刺任務,您可以建立一個 Talend Studio 工作來擷取已驗證的記錄,並將其傳回原始資料來源或任何其他所需的目的地。
-
如果您使用 CSV 檔案填入衝刺任務,則會透過將已驗證的資料匯出至 CSV 檔案來結束衝刺任務。您可以透過匯入已匯出的 CSV 檔案,使用已驗證的資料來更新資料來源。
-