클라우드 데이터웨어하우스에 데이터 미러링
미러 작업을 사용하면 Snowflake에서 Qlik 오픈 레이크하우스에 저장된 데이터를 쿼리할 수 있습니다. 데이터는 중복 없이 Snowflake에 반영됩니다.미러링된 테이블은 저장소 및 엔지니어링 비용을 최소화하고 정확한 단일 소스를 유지합니다.
Qlik 오픈 레이크하우스에 데이터를 온보딩한 후 미러 테이블을 사용하여 데이터를 Snowflake에 미러링할 수 있습니다. Iceberg의 데이터는 Amazon Athena와 같이 Iceberg를 기본적으로 지원하는 쿼리 엔진을 사용하여 쿼리할 수 있습니다. 하지만 Snowflake를 쿼리 엔진으로 계속 사용하면서 오픈 Iceberg 레이크하우스 아키텍처를 구현하려는 경우 미러 테이블이 이상적입니다. 데이터 미러링 작업은 Iceberg 테이블을 외부 테이블로 선언하여 Snowflake에서 해당 테이블에 액세스할 수 있도록 하는 프로세스를 자동화합니다. Snowflake는 Iceberg 테이블을 외부 테이블이라고 부릅니다. Snowflake는 테이블을 관리하지 않고 테이블에서 읽기만 하기 때문입니다. 외부 테이블을 사용하면 Snowflake로 데이터나 테이블 관리를 마이그레이션하지 않고도 Snowflake에서 Iceberg 데이터를 쿼리할 수 있습니다.
데이터를 미러링하려면 Snowflake에 Iceberg 테이블이 위치하고 저장소 작업에 의해 업데이트되는 S3 버킷을 가리키는 외부 볼륨을 만듭니다. 그런 다음 Qlik 오픈 레이크하우스 프로젝트에서 사용하는 데이터 카탈로그(예: AWS Glue 데이터 카탈로그)를 가리키는 Snowflake 카탈로그 통합을 만듭니다.
미러 작업은 Snowflake에서 외부 테이블을 만드는 데 필요한 DDL 문을 실행합니다. 테이블(스키마)은 Snowflake에 변경 내용 및 기록 테이블과 함께 표시되지만, 테이블 정의를 살펴보면 외부 테이블 위에 만들어진 뷰로 표시됩니다. Snowflake 사용자는 마치 데이터가 Snowflake 환경에 저장된 것처럼 보기를 쿼리할 수 있습니다. Qlik이 계속해서 데이터를 관리하고 최적화하므로 미러링된 데이터는 높은 성능을 제공합니다.
새로 고침 메커니즘
Snowflake는 Iceberg 내에서 사용할 수 있는 데이터의 최신 스냅샷을 반영하는 메타데이터를 가리킵니다. 메타데이터를 새로 고치는 방법은 두 가지가 있습니다.
-
Qlik-관리: 이 옵션을 사용하려면 활성 Snowflake 웨어하우스가 필요하며 모니터링 및 데이터 미리 보기가 포함됩니다.다운스트림 변환을 만들고, 작업을 모니터링하고 일정을 예약하려면 이 옵션을 선택합니다. Qlik은 메타데이터 새로 고침 작업을 소유하므로 이를 수동으로 구성할 수 있습니다(예: 30분마다 실행). 이 옵션은 모든 테이블의 메타데이터가 동시에 업데이트되므로 다중 테이블 변환에 특히 적합합니다. Snowflake에서 관리하는 새로 고침이 제공하는 실시간 이점 중 일부는 잃을 수 있지만 테이블 간 일관성은 유지됩니다. 여러 테이블 변환의 경우 필요에 따라 자주 새로 고침을 트리거할 수 있습니다. Qlik에서는 예약된 미러 작업 다음에 오는 다운스트림 변환 작업에 이벤트 기반 트리거를 설정하는 것이 좋습니다.
-
Snowflake 관리: 컴퓨팅 웨어하우스를 요구하거나 활성화하지 않고도 Snowpipe 인프라를 활용하는 서버리스 작업입니다. 다운스트림 변환이 필요하지 않은 경우 이 옵션을 사용하는 것이 좋습니다. 새로 고침 간격은 Snowflake 카탈로그 통합을 만들 때 구성됩니다. 자동 새로 고침 상태를 모니터링하려면 Snowflake에서 SYSTEM$AUTO_REFRESH_STATUS를 쿼리합니다. Qlik은 프로세스의 소유권을 잃고 이 유형의 작업을 모니터링할 수 없습니다.
프로젝트 내의 각 미러 작업은 자체적인 새로 고침 메커니즘으로 구성할 수 있습니다. 두 개의 미러 작업을 만드는 경우 하나는 Qlik 관리 새로 고침을 사용할 수 있고 다른 하나는 Snowflake 관리 새로 고침을 사용할 수 있습니다.
스키마 진화
저장소 작업에서 열이나 테이블을 수동으로 추가하거나 제거하거나 랜딩 작업에서 간접적으로 제거하는 경우 변경 내용이 미러 작업 설계에 자동으로 반영됩니다. 미러링된 테이블에 변경 내용을 적용하는 작업을 준비해야 합니다. 미러 및 저장소 작업 설정에서 스키마 진화가 활성화된 경우, 저장소 작업에서 자동으로 감지된 모든 스키마 변경 내용은 미러 테이블에 적용됩니다.
전제 조건
데이터 미러링 작업은 Qlik 오픈 레이크하우스 프로젝트에서 저장소 작업이 만들어진 후에만 추가할 수 있습니다. 저장소 작업에는 여러 개의 데이터 미러링 작업이 포함될 수 있습니다. 데이터 미러링 작업은 하나의 저장소 작업에만 연결될 수 있습니다.
데이터를 Snowflake로 미러링하려면 다음이 필요합니다.
-
데이터를 미러링하려는 Snowflake 데이터베이스에 연결합니다. 선택적으로 미러 작업 만드는 동안 새 연결을 만들 수 있습니다. 요구 사항은 Snowflake에 연결하기 위한 지침에서 확인할 수 있습니다.
-
Snowflake 외부 볼륨. 이렇게 하면 Snowflake가 S3 위치에 제한적으로 액세스할 수 있습니다. 볼륨을 구성하려면 Amazon S3에 대한 외부 볼륨 구성을 참조하십시오.
-
AWS Glue 데이터 카탈로그 통합. 이를 통해 Snowflake는 개체 저장소의 Iceberg 오픈 테이블 형식으로 보관된 데이터에 연결할 수 있습니다. 카탈로그 통합을 구성하려면 AWS Glue에 대한 카탈로그 통합 구성을 참조하십시오.
데이터 미러링 작업 만들기
Snowflake에 데이터를 미러링하려면 다음을 수행합니다.
-
미러링하려는 데이터에 대한 저장소 작업이 포함된 프로젝트를 엽니다.
-
저장소 작업에서
추가 작업을 클릭합니다.데이터 미러링을 선택하고 구성합니다. -
이름: 미러 작업의 이름을 입력합니다.
-
설명: 선택적으로 작업의 목적을 설명합니다.
-
연결:
-
기존 연결을 사용하려면 선택을 클릭하여 보안 소스 연결 대화 상자를 엽니다. 연결이 있는 공간을 선택한 다음 연결을 선택합니다. 편집을 클릭하여 연결 속성을 편집합니다.
-
새 연결을 만들려면 연결 만들기를 클릭하여 연결 만들기 대화 상자를 열고 지침을 따르십시오.
-
-
데이터베이스: 데이터를 미러링할 데이터베이스의 이름을 입력합니다.
-
Snowflake 외부 볼륨: Snowflake에서 만들어진 외부 볼륨의 이름을 입력합니다.
-
Snowflake 카탈로그 통합: Snowflake에서 만들어진 카탈로그 통합의 이름을 입력합니다.
-
Snowflake에서 데이터를 새로 고치는 방법을 선택합니다.
-
Qlik 관리: 다운스트림 변환을 만들려면 이 옵션을 선택합니다.여기에는 활성 Snowflake 웨어하우스가 필요하며 Qlik에서 모니터링됩니다.
-
Snowflake 관리: 다운스트림 변환을 수행하지 않으려면 이 옵션을 선택합니다.Snowflake 웨어하우스는 필요하지 않으므로 Qlik에서 모니터링되지 않습니다. 이는 Snowflake에서 관리 및 모니터링됩니다.
-
파이프라인의 저장소 작업에 추가하려면 미러 작업을 만듭니다.
-
미러 작업에서
추가 작업을 클릭하고 열기를 선택합니다. 설계 보기가 표시되고 있는지 확인합니다. -
사용할 수 있는 데이터 집합의 하위 집합을 선택하려면 소스 데이터 선택을 클릭하고 원하지 않는 데이터 집합을 제거합니다.
-
준비를 클릭하여 Snowflake에서 외부 테이블을 만들고 데이터를 미러링합니다.
변환 수행
데이터를 변환해야 하는 경우 Snowflake 프로젝트를 만들고 Qlik 오픈 레이크하우스 프로젝트 내의 데이터 미러링 작업을 소스로 사용할 수 있습니다. 기존 프로젝트의 데이터를 사용하여 변환 작업을 만들려면 프로젝트 간 파이프라인 구축을 참조하십시오.
데이터 미러링 작업 삭제
미러 작업을 삭제하면 외부 테이블과 뷰가 Snowflake에서 삭제되어 더 이상 쿼리에 사용할 수 없습니다. 미러 작업이 읽고 있는 동안에는 저장소 작업을 삭제할 수 없습니다.
데이터 미러링 작업을 삭제하려면 다음을 수행합니다.
-
삭제하려는 데이터 미러링 작업에서 작업의
추가 작업 메뉴를 클릭하고 삭제를 선택합니다. -
확인 대화 상자에서 삭제를 클릭합니다.