데이터 관리를 통한 데이터 유효성 검사 및 수정

Qlik Talend Cloud의 데이터 관리를 사용하면 해당 분야의 전문가를 활용하여 데이터의 유효성을 검사하고 수정할 수 있습니다. 기존 의미 체계 유형 및 유효성 검사 규칙을 사용하여 데이터가 일관되게 형성되었는지 확인합니다. 이는 도메인 전문 지식을 바탕으로 한 human-in-the-loop(사람 개입) 수정을 통해 자동화된 파이프라인을 확장합니다. 데이터 유효성 검사가 완료되면 원본 데이터 소스 또는 다운스트림 시스템에 다시 주입할 수 있습니다.

유효성 검사 및 수정 작업의 본문인 Sprint를 만듭니다. Sprint에는 다음 정보가 포함됩니다.

• 소스 데이터

• 유효성 검사에 사용할 데이터 스키마

• Sprint의 소유자

• 정의된 데이터 관리자

• Sprint 데이터에 사용되는 데이터 스토리지

• 워크플로우 설정

Sprint 동안 모든 Sprint 데이터는 Qlik Talend Cloud가 아닌 자체 클라우드 데이터 웨어하우스에 저장됩니다. 현재 Snowflake가 유일하게 지원되는 클라우드 데이터 웨어하우스입니다.

다음 사용자 역할을 정의할 수 있습니다.

• Sprint 소유자

  Sprint 소유자는 데이터 관리자가 해결한 레코드의 유효성을 검사할 수 있습니다. 또한 해결된 레코드에 액세스하고 데이터 내보내기를 할 수 있습니다.

• 데이터 관리자

  데이터 관리자에게는 품질 문제를 해결하기 위한 레코드가 할당됩니다.

Qlik Talend Data Integration 활동 센터의 데이터 관리에서 Sprint를 만듭니다. 유효성 검사가 필요한 데이터 집합의 하나 이상의 필드에서 데이터를 수정하고 큐레이션하는 해결 Sprint를 만들 수 있습니다. 워크플로우는 다음과 같습니다.

1. 해결 스프린트 생성

   Sprint를 만들고 유효성을 검사할 데이터를 정의합니다. Talend Studio 작업으로 Sprint를 채우거나 데이터가 포함된 CSV 파일을 가져올 수 있습니다.

   데이터 관리자는 유효성 검사를 수행하도록 정의됩니다. 레코드는 수동 또는 자동으로 할당할 수 있습니다.

2. 해결 스프린트에서 작업

   데이터 관리자는 할당된 레코드의 데이터 유효성을 검사합니다.

3. 해결된 레코드 관리

   • Talend Studio 작업으로 Sprint를 채운 경우, Talend Studio 작업을 만들어 유효성이 검사된 레코드를 검색하고 원본 데이터 소스 또는 기타 필요한 대상으로 반환합니다.

   • CSV 파일로 Sprint를 채운 경우, 유효성이 검사된 데이터를 CSV 파일로 내보내기하여 Sprint가 완료됩니다. 내보내기한 CSV 파일을 가져와 유효성이 검사된 데이터로 데이터 소스를 업데이트할 수 있습니다.