4단계: Qlik 오픈 레이크하우스 프로젝트 만들기

Qlik 오픈 레이크하우스 파이프라인 프로젝트를 만들어 모든 소스에서 데이터를 수집합니다. Iceberg 오픈 테이블 형식으로 데이터를 저장합니다.

전제 조건

Qlik 오픈 레이크하우스 프로젝트를 만들려면 다음이 필요합니다.

• Qlik이 사용자를 대신하여 컴퓨팅 리소스를 프로비저닝하고 관리할 수 있도록 하는 네트워크 통합.

• Iceberg 프로젝트 내에서 데이터 저장소 작업을 실행하도록 구성된 레이크하우스 클러스터.

• 프로젝트의 데이터 대상으로 사용할 데이터 카탈로그에 대한 연결 또는 새 연결을 만드는 데 필요한 세부 정보.

지원되는 작업

Qlik 오픈 레이크하우스 프로젝트에서는 다음 작업이 지원됩니다.

• 레이크 랜딩 데이터 작업

  대용량 데이터 스트림을 포함하여 Qlik-지원 소스의 CSV 형식의 S3 데이터 랜딩.

• 저장 데이터 작업

  저장소 데이터 작업은 레이크 랜딩 작업을 통해 클라우드에 저장된 데이터를 사용합니다. 이 작업은 효율적인 저장 및 쿼리를 위해 Iceberg 테이블에 데이터를 씁니다.

• 데이터 미러링 작업

  Qlik 오픈 레이크하우스에서 Snowflake로 Iceberg 테이블을 미러링합니다. 사용자는 Snowflake로 데이터를 마이그레이션하지 않고도 외부 테이블을 통해 데이터를 쿼리할 수 있습니다.

Qlik 오픈 레이크하우스 프로젝트 만들기 예

다음 예에서는 Qlik 오픈 레이크하우스 파이프라인 프로젝트를 만들고, 데이터를 온보딩하고, Iceberg 형식 테이블에 저장합니다. 이 예에서는 더 많은 데이터 소스를 온보딩하여 확장할 수 있는 간단한 파이프라인을 만듭니다. 데이터를 복제하지 않고 Snowflake에서 테이블을 미러링하는 데이터 미러링 작업을 추가하거나, 이 프로젝트를 Snowflake에서 변환이 필요한 프로젝트의 소스로 사용할 수 있습니다.

Qlik 오픈 레이크하우스 프로젝트를 만들려면 다음을 수행합니다.

1. Data Integration 홈에서 파이프라인 만들기를 클릭하고 구성합니다.

• 이름: 프로젝트 이름을 입력합니다.

• 공간: 프로젝트가 속할 공간을 선택합니다.

• 설명: 선택적으로 프로젝트에 대한 설명을 입력합니다.

2. 사용 사례에서 데이터 파이프라인을 선택합니다.

3. 데이터 플랫폼 구성:

• 데이터 플랫폼: 목록에서 Qlik 오픈 레이크하우스를 선택합니다.

• 데이터 카탈로그 연결: 카탈로그에서 기존 연결을 선택하거나 새로 만들기를 클릭하여 새 데이터 카탈로그 연결을 추가합니다.

• 랜딩 대상 연결: 데이터를 랜딩할 S3 버킷을 선택하거나 새로 만들기를 클릭하여 새 버킷 위치를 추가합니다.

• 저장소 컴퓨팅 클러스터: 저장소 작업을 실행할 레이크하우스 클러스터를 선택합니다.

4. 프로젝트를 만듭니다.

5. 데이터 온보딩 마법사의 단계를 따르십시오.자세한 내용은 데이터 온보딩를 참조하십시오.