Проверка и исправление данных с помощью курирования данных

С помощью функции курирования данных в Qlik Talend Cloud можно привлекать профильных экспертов для проверки и исправления данных. Используйте существующие семантические типы и правила проверки, чтобы убедиться в согласованности формирования данных. Это расширяет автоматизированные конвейеры за счет исправления с участием человека на основе экспертных знаний в предметной области. После проверки данных их можно повторно внедрить в исходный источник данных или в любую нижестоящую систему.

Вы создаете Sprint, который является основным объемом работы для проверки и исправления. Sprint содержит информацию о следующем:

• Исходные данные

• Схема данных, используемая для проверки

• Владельцы Sprint

• Определенные кураторы данных

• Хранилище данных, используемое для данных Sprint

• Настройки рабочего процесса

Во время выполнения Sprint все данные Sprint хранятся в вашем собственном облачном хранилище данных, а не в Qlik Talend Cloud. В настоящее время Snowflake является единственным поддерживаемым облачным хранилищем данных.

Можно определить следующие роли пользователей:

• Владелец Sprint

  Владельцы Sprint могут проверять записи, разрешенные кураторами данных. Они также могут получать доступ к разрешенным записям и выполнять экспорт данных.

• Куратор данных

  Куратору данных назначаются записи для устранения проблем с качеством.

Вы создаете sprints в разделе Курирование данных в центре активности Qlik Talend Data Integration. Можно создавать sprints разрешения, которые исправляют и курируют данные в одном или нескольких полях набора данных, требующего проверки. Рабочий процесс выглядит следующим образом:

1. Создание спринта по устранению проблем

   Создайте Sprint и определите данные для проверки. Можно либо заполнить Sprint с помощью задания Talend Studio, либо импортировать файл CSV с данными.

   Для выполнения проверки определяются кураторы данных. Записи могут назначаться вручную или автоматически.

2. Работа в спринте по устранению ошибок

   Кураторы данных проверяют данные в назначенных записях.

3. Управление разрешенными записями

   • Если вы заполнили Sprint с помощью задания Talend Studio, вы создаете задание Talend Studio для извлечения проверенных записей и их возврата в исходный источник данных или в любое другое требуемое место назначения.

   • Если вы заполнили Sprint с помощью файла CSV, Sprint завершается путем экспорта проверенных данных в файл CSV. Вы можете обновить источник данных проверенными данными, импортировав экспортированный файл CSV.