Convalida e correzione dei dati con la stewardship dei dati

Con la Stewardship dei dati in Qlik Talend Cloud, è possibile avvalersi di esperti in materia per convalidare e correggere i dati. Utilizzare i tipi semantici e le regole di convalida esistenti per assicurarsi che i dati siano formati in modo coerente. Ciò estende le pipeline automatizzate con la correzione human-in-the-loop derivante dall'esperienza nel dominio. Quando i dati vengono convalidati, è possibile reinserirli nella sorgente dati originale o in qualsiasi sistema a valle.

Si crea uno sprint, che costituisce il corpo principale del lavoro per la convalida e la correzione. Lo sprint contiene informazioni su:

• I dati di origine

• Lo schema dei dati da utilizzare per la convalida

• I proprietari dello sprint

• I data steward definiti

• L'archiviazione dei dati utilizzata per i dati dello sprint

• Impostazioni del flusso di lavoro

Durante lo sprint, tutti i dati dello sprint vengono archiviati nel proprio data warehouse cloud e non in Qlik Talend Cloud. Attualmente, Snowflake è l'unico data warehouse cloud supportato.

È possibile definire i seguenti ruoli utente:

• Proprietario dello sprint

  I proprietari dello sprint possono convalidare i record risolti dai data steward. Possono anche accedere ai record risolti ed esportare i dati.

• Data steward

  A un data steward vengono assegnati record per risolvere problemi di qualità.

Gli sprint vengono creati in Stewardship dei dati nel centro attività Qlik Talend Data Integration. È possibile creare sprint di risoluzione che correggono e curano i dati in uno o più campi nel set di dati che richiede la convalida. Questo è il flusso di lavoro:

1. Creazione di uno sprint di risoluzione

   Creare uno sprint e definire i dati da convalidare. È possibile popolare lo sprint con un Job Talend Studio oppure importare un file CSV con i dati.

   I data steward vengono definiti per eseguire la convalida. I record possono essere assegnati manualmente o automaticamente.

2. Lavorare in uno sprint di risoluzione

   I data steward convalidano i dati nei record assegnati.

3. Gestione dei record risolti

   • Se lo sprint è stato popolato con un Job Talend Studio, si crea un Job Talend Studio per recuperare i record convalidati e restituirli alla sorgente dati originale o a qualsiasi altra destinazione richiesta.

   • Se lo sprint è stato popolato con un file CSV, lo sprint si conclude esportando i dati convalidati in un file CSV. È possibile aggiornare la sorgente dati con i dati convalidati importando il file CSV esportato.