Uw gegevens valideren en corrigeren met Data stewardship

Met Data stewardship in Qlik Talend Cloud kunt u een beroep doen op materiedeskundigen om uw gegevens te valideren en te corrigeren. Gebruik uw bestaande semantische typen en validatieregels om ervoor te zorgen dat de gegevens consistent worden gevormd. Dit breidt geautomatiseerde pijplijnen uit met 'human-in-the-loop'-herstel op basis van domeinexpertise. Wanneer de gegevens zijn gevalideerd, kunt u deze opnieuw injecteren in de oorspronkelijke gegevensbron of in een willekeurig stroomafwaarts systeem.

U maakt een sprint, wat het belangrijkste deel van het werk is voor de validatie en het herstel. De sprint bevat informatie over:

• De brongegevens

• Het gegevensschema dat voor validatie moet worden gebruikt

• De eigenaren van de sprint

• De Data stewards die zijn gedefinieerd

• De gegevensopslag die wordt gebruikt voor sprintgegevens

• Workflowinstellingen

Tijdens de sprint worden alle sprintgegevens opgeslagen in uw eigen clouddatawarehouse en niet in Qlik Talend Cloud. Momenteel is Snowflake het enige ondersteunde clouddatawarehouse.

U kunt de volgende gebruikersrollen definiëren:

• Sprinteigenaar

  Sprinteigenaren kunnen records valideren die zijn opgelost door Data stewards. Ze hebben ook toegang tot records die zijn opgelost en kunnen gegevens exporteren.

• Data steward

  Aan een Data steward worden records toegewezen om kwaliteitsproblemen op te lossen.

U maakt sprints in Data stewardship in het Qlik Talend Data Integration-activiteitencentrum. U kunt Resolution-sprints maken die gegevens corrigeren en cureren in een of meer velden in de gegevensset die validatie vereist. Dit is de workflow:

1. Een oplossingssprint maken

   Maak een sprint en definieer de gegevens die moeten worden gevalideerd. U kunt de sprint vullen met een Talend Studio-taak of een CSV-bestand met gegevens importeren.

   Data stewards worden gedefinieerd om de validatie uit te voeren. Records kunnen handmatig of automatisch worden toegewezen.

2. Werken in een oplossingssprint

   Data stewards valideren de gegevens in de toegewezen records.

3. Beheren van opgeloste records

   • Als u de sprint hebt gevuld met een Talend Studio-taak, maakt u een Talend Studio-taak om de gevalideerde records op te halen en deze terug te sturen naar de oorspronkelijke gegevensbron of naar een andere vereiste bestemming.

   • Als u de sprint hebt gevuld met een CSV-bestand, wordt de sprint afgesloten door de gevalideerde gegevens te exporteren naar een CSV-bestand. U kunt de gegevensbron bijwerken met gevalideerde gegevens door het geëxporteerde CSV-bestand te importeren.