Qlik 오픈 레이크하우스 프로젝트 만들기
Qlik 오픈 레이크하우스 파이프라인 프로젝트를 만들어 모든 소스에서 데이터를 수집합니다. Iceberg 오픈 테이블 형식으로 데이터를 저장합니다.
전제 조건
Qlik 오픈 레이크하우스 프로젝트를 만들려면 다음이 필요합니다.
-
Qlik이 사용자를 대신하여 컴퓨팅 리소스를 프로비저닝하고 관리할 수 있도록 하는 네트워크 통합.
-
Iceberg 프로젝트 내에서 데이터 저장소 작업을 실행하도록 구성된 레이크하우스 클러스터.
-
프로젝트의 데이터 대상으로 사용할 데이터 카탈로그에 대한 연결 또는 새 연결을 만드는 데 필요한 세부 정보.
지원되는 작업
Qlik 오픈 레이크하우스 프로젝트에서는 다음 작업이 지원됩니다.
CDC 및 SaaS 응용 프로그램 소스
-
레이크 랜딩 데이터 작업
대용량 데이터 스트림을 포함하여 Qlik-지원 소스의 CSV 형식의 S3 데이터 랜딩.
자세한 내용은 Qlik 오픈 레이크하우스에 대한 랜딩 데이터을 참조하십시오.
-
저장 데이터 작업
저장소 데이터 작업은 레이크 랜딩 작업을 통해 클라우드에 저장된 데이터를 사용합니다. 이 작업은 효율적인 저장 및 쿼리를 위해 Iceberg 테이블에 데이터를 씁니다.
-
자세한 내용은 데이터 집합 저장을 참조하십시오.
-
데이터 미러링 작업
스토리지 작업에서 Iceberg 테이블을 클라우드 데이터 웨어하우스로 미러링 사용자는 귀하의 클라우드 데이터 웨어하우스로 데이터를 마이그레이션하지 않고도 외부 테이블을 통해 데이터를 쿼리할 수 있습니다.
스트리밍 소스
-
스트리밍 랜딩 데이터 작업
모든 Qlik-지원 스트리밍 소스의 S3에 Avro 형식으로 데이터 랜딩.
자세한 내용은 Qlik 오픈 레이크하우스에 스트리밍 데이터 랜딩를 참조하십시오.
-
스트리밍 데이터 변환 작업
스트리밍 데이터 변환 작업은 스트리밍 랜딩 작업에 의해 클라우드에 랜딩된 이벤트를 사용합니다. 이 작업은 효율적인 저장 및 쿼리를 위해 Iceberg 테이블에 데이터를 쓰고 변환을 지원합니다.
자세한 내용은 스트림 데이터 집합 저장을 참조하십시오.
-
데이터 미러링 작업
스트리밍 스토리지 작업에서 Iceberg 테이블을 클라우드 데이터 웨어하우스로 미러링합니다. 사용자는 귀하의 클라우드 데이터 웨어하우스로 데이터를 마이그레이션하지 않고도 외부 테이블을 통해 데이터를 쿼리할 수 있습니다.
Qlik 오픈 레이크하우스 프로젝트 만들기 예
다음 예에서는 Qlik 오픈 레이크하우스 파이프라인 프로젝트를 만들고, CDC 소스에서 데이터를 온보딩하고, Iceberg 형식 테이블에 저장합니다. 이 예에서는 더 많은 데이터 소스를 온보딩하여 확장할 수 있는 간단한 파이프라인을 만듭니다. 데이터를 복제하지 않고 데이터 웨어하우스에서 테이블을 미러링하는 미러 데이터 작업을 추가하거나, 이 프로젝트를 클라우드 데이터 웨어하우스에서 변환이 필요한 프로젝트의 소스로 사용할 수 있습니다.
Qlik 오픈 레이크하우스 프로젝트를 만들려면 다음을 수행합니다.
-
Data Integration 홈에서 파이프라인 만들기를 클릭하고 구성합니다.
-
이름: 프로젝트 이름을 입력합니다.
-
공간: 프로젝트가 속할 공간을 선택합니다.
-
설명: 선택적으로 프로젝트에 대한 설명을 입력합니다.
-
사용 사례에서 데이터 파이프라인을 선택합니다.
-
데이터 플랫폼 구성:
-
데이터 플랫폼: 목록에서 Qlik 오픈 레이크하우스를 선택합니다.
-
데이터 카탈로그 연결: 카탈로그에서 기존 연결을 선택하거나 새로 만들기를 클릭하여 새 데이터 카탈로그 연결을 추가합니다.
-
랜딩 대상 연결: 데이터를 랜딩할 S3 버킷을 선택하거나 새로 만들기를 클릭하여 새 버킷 위치를 추가합니다.
-
저장소 컴퓨팅 클러스터: 저장소 작업을 실행할 레이크하우스 클러스터를 선택합니다.
-
프로젝트를 만듭니다.
-
데이터 온보딩 마법사의 단계를 따르십시오.자세한 내용은 데이터 온보딩을(를) 참조하십시오. 여기에는 CDC 및 스트리밍 소스에 대한 지침이 제공됩니다.