Validera och korrigera dina data med datastyrning

Med Data stewardship i Qlik Talend Cloud kan du ta hjälp av ämnesexperter för att validera och korrigera dina data. Använd dina befintliga semantiska typer och valideringsregler för att se till att data utformas konsekvent. Detta utökar automatiserade pipelines med åtgärder från domänexperter (human-in-the-loop). När data har validerats kan du återinföra dem i den ursprungliga datakällan eller i valfritt nedströmssystem.

Du skapar en sprint som är det huvudsakliga arbetet för validering och åtgärdande. Sprinten innehåller information om:

• Källdata

• Det dataschema som ska användas för validering

• Ägarna av sprinten

• De datastewards som har definierats

• Den datalagring som används för sprintdata

• Arbetsflödesinställningar

Under sprinten lagras alla sprintdata i ditt eget molndatalager och inte i Qlik Talend Cloud. För närvarande är Snowflake det enda molndatalager som stöds.

Du kan definiera följande användarroller:

• Sprintägare

  Sprintägare kan validera poster som har lösts av datastewards. De kan också komma åt poster som har lösts och exportera data.

• Datasteward

  En datasteward tilldelas poster för att lösa kvalitetsproblem.

Du skapar sprintar i Data stewardship i aktivitetscentret för Qlik Talend Data Integration. Du kan skapa lösningssprintar som korrigerar och bearbetar data i ett eller flera fält i det dataset som kräver validering. Detta är arbetsflödet:

1. Skapa en lösningssprint

   Skapa en sprint och definiera de data som ska valideras. Du kan antingen fylla sprinten med ett Talend Studio-jobb eller importera en CSV-fil med data.

   Datastewards definieras för att utföra valideringen. Poster kan tilldelas antingen manuellt eller automatiskt.

2. Arbeta i en lösningssprint

   Datastewards validerar data i de tilldelade posterna.

3. Hantera lösta poster

   • Om du fyllde sprinten med ett Talend Studio-jobb skapar du ett Talend Studio-jobb för att hämta de validerade posterna och returnera dem till den ursprungliga datakällan, eller till någon annan nödvändig destination.

   • Om du fyllde sprinten med en CSV-fil avslutas sprinten genom att exportera de validerade data till en CSV-fil. Du kan uppdatera datakällan med validerade data genom att importera den exporterade CSV-filen.