Qlik 오픈 레이크하우스에 대한 랜딩 데이터
데이터가 Amazon S3에 도착하면 저장 데이터 작업을 통해 Iceberg 오픈 테이블 형식으로 변환할 준비가 됩니다. Qlik에서 지원하는 모든 소스에서 데이터를 가져올 수 있습니다.
Qlik 오픈 레이크하우스에 데이터를 랜딩하려면 미리 구성된 Amazon S3 버킷이 필요합니다. Qlik 오픈 레이크하우스는 대용량 스트리밍 데이터 소스에 특별히 최적화되어 있으며 Qlik이 지원하는 모든 데이터 소스와 호환됩니다. 데이터는 CSV 형식으로 S3에 저장됩니다. 저장 데이터 작업은 데이터를 Iceberg 형식으로 변환하고 Parquet 파일에 복사합니다. Iceberg 사양을 사용하면 Amazon Athena, Ahana 또는 Starburst Enterprise와 같이 Trino SQL을 기본적으로 지원하는 모든 엔진에서 데이터를 쿼리할 수 있습니다. 선택적으로, 테이블을 Snowflake로 미러링하여 데이터를 복제하지 않고도 쿼리를 실행할 수 있습니다.
Qlik 오픈 레이크하우스에 대한 랜딩 데이터는 AWS Glue Data 카탈로그 대상 연결이 있는 프로젝트에서 사용할 수 있습니다.
준비
-
Snowflake에 데이터를 미러링하려면 먼저 Qlik 오픈 레이크하우스 프로젝트를 만들어 데이터를 수집하고 Iceberg 오픈 테이블 형식을 사용하여 저장해야 합니다. 저장소 데이터 작업 후에 데이터 미러링 작업을 추가할 수 있습니다. 데이터 변환을 수행하려면 Qlik 오픈 레이크하우스 프로젝트를 소스로 사용하는 Snowflake 프로젝트를 만듭니다. 자세한 내용은 클라우드 데이터웨어하우스에 데이터 미러링을 참조하십시오.
-
작업 설정 마법사에서 소스 및 대상 연결 설정을 구성할 수 있지만, 설정 절차를 간소화하기 위해 작업을 만들기 전에 이 작업을 수행하는 것이 좋습니다.
레이크 랜딩 작업 만들기
레이크 랜딩 작업을 만들려면 다음을 수행합니다.
-
프로젝트를 만들고 사용 사례에서 데이터 파이프라인을 선택합니다.
-
데이터 플랫폼에서 Qlik 오픈 레이크하우스를 선택하고 데이터 카탈로그에 대한 연결을 설정합니다.
-
랜딩 대상 연결에 저장소 영역을 설정합니다.
-
만들기를 클릭하여 프로젝트를 만듭니다.
프로젝트에서 데이터를 온보딩하거나 랜딩 작업을 만들 때 랜딩 작업 대신 레이크 랜딩 작업이 만들어집니다. 레이크 랜딩 작업은 데이터를 클라우드 저장소에 랜딩시킨다는 점을 제외하면 대부분 랜딩 작업과 유사하게 작동하고 동작합니다. 자세한 내용은 데이터 소스의 랜딩 데이터을 참조하십시오.
모든 파일은 CSV 형식으로 저장됩니다. 랜딩 데이터가 업데이트되면 랜딩 작업을 사용하는 저장소 작업이 외부 테이블을 업데이트합니다.
설정
작업 설정에 대한 자세한 내용은 레이크 랜딩 설정을 참조하십시오.
제한 사항
-
저장소 작업이 1분마다 실행되기 때문에 저장된 데이터는 버킷에 분할되지 않습니다. 따라서 작업 설정에서 데이터 파티션 빈도를 업데이트할 수 없습니다.
-
SaaS 소스에서 데이터를 랜딩하는 작업은 예약되어 있지만, 저장소 작업은 미니 배치를 분 단위로 실행합니다. 이를 위해서는 최소한의 비용으로 활성화된 레이크하우스 클러스터가 필요합니다.
-
기본 키 값이 변경되면 원래 키가 있는 레코드는 삭제됨으로 표시되고 변경된 키 값이 포함된 행은 삽입으로 표시됩니다.