Snowflake 데이터 집합의 데이터 품질
Snowflake 데이터 집합에 대한 의미 유형 검색 및 데이터 품질 판독의 이점을 활용하려면 데이터 제품의 컨텍스트에서 데이터 연결에 대한 중요한 전제 조건을 설정해야 합니다.
Snowflake 연결 설정
Snowflake에서 데이터 집합을 만들고 나중에 데이터 집합 개요 및 데이터 제품 개요에서 해당 스키마와 품질에 액세스하려면 Qlik Talend Data Integration 허브와 Qlik 분석 서비스 허브 모두에서 동일한 연결을 설정해야 합니다.
Snowflake 데이터베이스에 저장된 데이터를 가져와 카탈로그에 데이터 집합으로 추가하고 분석 앱에 사용할 데이터 제품으로 그룹화한다고 가정해 보겠습니다.
-
Qlik Talend Data Integration에서 새로 추가를 클릭한 다음 데이터 연결을 클릭합니다.
-
가져오려는 테이블에 대한 쓰기 권한과 액세스 권한이 있는 사용자의 자격 증명을 사용하여 Snowflake 데이터베이스에 대한 액세스를 구성합니다.
-
Qlik 분석 서비스에서 새로 추가를 클릭한 다음 데이터 연결을 클릭합니다.
-
이상적으로는 동일한 사용자의 자격 증명을 사용하거나 테이블에 대해 최소한 READ 권한이 있는 사용자를 사용하여 이전과 동일한 Snowflake 데이터베이스에 대한 액세스를 구성합니다.
-
역할 필드에 Snowflake 데이터베이스에서 만들어진 기존 역할에 해당하고 이러한 개체에 대해 다음과 같은 권한이 있는 역할을 입력해야 합니다.
-
USAGE on WAREHOUSE
-
USAGE on DATABASE
-
USAGE on SCHEMA
-
CREATE TABLE on SCHEMA
-
CREATE FUNCTION on SCHEMA
-
CREATE VIEW on SCHEMA
-
SELECT on TABLE
-
-
Qlik Talend Data Integration 홈페이지로 돌아가서 새로 추가를 클릭한 다음 데이터 프로젝트 만들기를 클릭합니다.
-
2단계의 Snowflake 연결을 프로젝트의 소스로 사용하고 파이프라인 구축을 시작합니다. 자세한 내용은 데이터 파이프라인 만들기을 참조하십시오.
-
파이프라인의 어느 시점에서든 데이터 작업을 선택하고 설정으로 이동한 다음 카탈로그 탭에서 카탈로그에 게시를 선택하여 kb ox를 확인합니다.
이는 데이터 프로젝트가 준비되고 실행될 때 이 버전의 데이터 집합이 카탈로그에 게시된다는 의미입니다. 프로젝트 수준에서 이 옵션을 확인할 수도 있습니다.
-
데이터 프로젝트를 실행합니다.
데이터 프로젝트를 실행한 후 새 데이터 집합이 카탈로그에 추가되고 품질 표시기와 해당 콘텐츠에 대한 자세한 내용에 액세스할 수 있습니다. 이 구성을 사용하면 Snowflake 데이터 집합을 분석 앱의 소스로 사용할 수도 있습니다.
데이터 제품을 구축하기 전에 필요한 만큼 데이터 집합을 추가할 수 있습니다.Qlik Talend Data Integration 허브와 Qlik 분석 서비스 허브 모두에서 카탈로그에 액세스할 수 있으므로 원하는 위치에서 데이터 집합을 열 수 있으며 상황에 따라 올바른 연결이 사용됩니다.
푸시다운의 고품질 컴퓨팅
데이터 집합의 개요에서 계산 또는 새로 고침 버튼을 사용하면 데이터베이스 행 1,000개 샘플에 대한 품질 계산이 시작됩니다. 이 작업은 Snowflake 측의 푸시다운에서 발생합니다.
그런 다음 100개 행의 샘플이 Qlik Cloud로 다시 전송되며, 여기에서 최신 의미 유형과 유효성 및 완성도 통계가 포함된 미리 보기로 표시할 수 있습니다. 그런 다음 이 샘플은 MongoDB에 저장됩니다.
다음 다이어그램은 데이터 품질 처리 작업을 요약합니다.
