Uw gegevens valideren en corrigeren met Data stewardship

Met Data stewardship in Qlik Talend Cloud kunt u een beroep doen op materiedeskundigen om uw gegevens te valideren en te corrigeren. Gebruik uw bestaande semantische typen en validatieregels om ervoor te zorgen dat de gegevens consistent zijn gevormd. Dit breidt geautomatiseerde pijplijnen uit met menselijke remediëring vanuit domeinexpertise. Wanneer de gegevens zijn gevalideerd, kunt u deze opnieuw injecteren in de oorspronkelijke gegevensbron of in een willekeurig stroomafwaarts systeem.

Je maakt een sprint aan, wat het belangrijkste werk is voor de validatie en het herstel. De sprint bevat informatie over:

• De brongegevens

• Het gegevensschema dat moet worden gebruikt voor validatie

• De eigenaren van de sprint

• De datastewards die zijn gedefinieerd

• De gegevensopslag gebruikt voor sprintgegevens

• Workflowinstellingen

Tijdens de sprint worden alle sprintgegevens opgeslagen in uw eigen clouddatawarehouse, en niet in Qlik Talend Cloud. Momenteel is Snowflake het enige ondersteunde clouddatawarehouse.

U kunt de volgende gebruikersrollen definiëren:

• Sprinteigenaar

  Sprint-eigenaren kunnen records valideren die zijn opgelost door data stewards. Ze kunnen ook records openen die zijn opgelost en gegevens exporteren.

• Data steward

  Aan een data steward worden records toegewezen om kwaliteitsproblemen op te lossen.

U maakt sprints in Data stewardship in het Qlik Talend Data Integration activiteitencentrum. U kunt Resolutie-sprints maken die gegevens corrigeren en beheren in een of meer velden in de dataset die validatie vereist. Dit is de workflow:

1. Een oplossingssprint maken

   Maak een sprint en definieer de te valideren gegevens. U kunt de sprint vullen met een Talend Studio taak, of een CSV-bestand met gegevens importeren.

   Data stewards worden gedefinieerd om de validatie uit te voeren. Records kunnen handmatig of automatisch worden toegewezen.

2. Werken in een oplossingssprint

   Data stewards valideren de gegevens in de toegewezen records.

3. Beheren van opgeloste records

   • Als u de sprint hebt gevuld met een Talend Studio Job, maakt u een Talend Studio Job om de gevalideerde records op te halen en terug te sturen naar de oorspronkelijke gegevensbron, of naar een andere vereiste bestemming.

   • Als u de sprint hebt gevuld met een CSV-bestand, wordt de sprint afgesloten door de gevalideerde gegevens naar een CSV-bestand te exporteren. U kunt de gegevensbron bijwerken met gevalideerde gegevens door het geëxporteerde CSV-bestand te importeren.