2단계: 레이크하우스 클러스터 생성

레이크하우스 클러스터는 Qlik 오픈 레이크하우스 스토리지 작업을 실행하기 위한 컴퓨팅 환경을 정의합니다. 각 클러스터는 인스턴스 수, 머신 유형 및 확장 전략을 포함하는 설정을 지정합니다.

Qlik 오픈 레이크하우스 파이프라인 프로젝트에 대한 네트워크 통합을 생성하면 단일 AWS Spot 인스턴스가 있는 클러스터가 자동으로 생성됩니다. 그러나 관리 및 데이터 통합 활동 센터에서 추가 클러스터를 생성할 수 있습니다.

레이크하우스 클러스터는 파이프라인을 AWS 인스턴스 그룹에 연결하여 중요한 작업을 고성능 클러스터에 할당하고 중요하지 않은 워크로드를 비용 효율적인 머신에 할당함으로써 워크로드를 최적화할 수 있도록 합니다.

클러스터는 단일 VPC와 연결되지만 동일한 VPC 내에서 여러 클러스터를 실행할 수 있습니다. 또한 단일 클러스터에서 여러 작업을 실행할 수 있습니다. 레이크하우스 클러스터를 생성하기 전에 워크로드의 컴퓨팅 요구 사항을 정의하는 것이 좋습니다. 확장 전략을 포함한 클러스터 설정은 필요에 따라 수정할 수 있지만 일부 변경 사항은 클러스터를 롤링해야 할 수 있습니다. 클러스터 설정 편집에 대한 자세한 내용은 레이크하우스 클러스터 관리를 참조하십시오.

레이크하우스 클러스터를 생성할 때 Qlik에서 프로비저닝하는 스팟 및 온디맨드 인스턴스 수를 지정합니다. Qlik에서 클러스터의 스팟 및 온디맨드 인스턴스를 활용하는 방법에 대한 자세한 내용은 레이크하우스 클러스터(EC2 Auto-Scaling 그룹)를 참조하십시오.

사용자 지정 이미지 사용은 선택 사항입니다. 사용자 지정 이미지를 사용할 때 x86 이미지가 필요하지만 스팟 인스턴스의 가용성을 최대화하려면 arm 및 x86 이미지를 모두 사용하는 것이 좋습니다. 자세한 내용은 AMI 요구 사항 를 참조하십시오.

클러스터 기능

클러스터를 생성할 때 클러스터가 실행하는 워크로드 유형(스트리밍, CDC 또는 혼합)을 선택해야 합니다. 일반적으로 스트리밍 및 CDC(데이터베이스 및 SaaS) 소스에 대해 별도의 클러스터를 사용하는 것이 모범 사례입니다. 이렇게 하면 정확하고 최소한의 청구 요금이 보장됩니다. 그러나 혼합 워크로드가 적절하고 클러스터를 공유할 수 있는 사용 사례가 있습니다.

• 청구 볼륨이 미미한 소규모 프로젝트의 테스트 또는 평가를 위한 경우.

• 비스트리밍 사용량이 최소화되어 별도의 클러스터를 구성하고 유지 관리하지 않으려는 경우.

전제 조건

레이크하우스 클러스터를 생성하려면 다음이 필요합니다.

• 현재 테넌트 내의 네트워크 통합.

• 네트워크 통합에 액세스할 수 있는 권한.

레이크하우스 클러스터 생성

현재 테넌트에 클러스터를 추가하려면 다음을 수행합니다.

1. 관리 활동 센터에서 레이크하우스 클러스터를 클릭합니다. 레이크하우스 클러스터 탭을 선택하고 새로 만들기를 클릭한 다음 레이크하우스 클러스터를 클릭하고 구성합니다.

• 이름: 클러스터의 이름을 입력합니다.

• 네트워크 통합: 클러스터가 배포될 네트워크 통합을 선택합니다.

2. 통합 공간: 네트워크 통합에서 상속되지 않으므로 클러스터가 속할 공간을 선택합니다.

3. 워크로드에 대한 클러스터 기능을 선택합니다.

   • 스트리밍 워크로드: 스트리밍 데이터 소스에서 수집할 때 이 옵션을 선택합니다.

   • CDC 워크로드: 데이터베이스 및 SaaS 응용 프로그램 소스에서 수집할 때 이 옵션을 선택합니다.

   • 혼합 워크로드: 테스트할 때 혼합 워크로드를 선택하거나 스트리밍 소스의 사용이 최소화되고 워크로드가 주로 CDC 소스로 구성된 경우 선택합니다.

4. 패밀리 유형을 구성합니다.

   • 유형: 인스턴스 유형을 선택합니다.

   • 크기: 인스턴스 크기를 선택합니다.

5. 인스턴스를 구성합니다.

• AWS 온디맨드 인스턴스: 이 클러스터에 대한 AWS 온디맨드 인스턴스 수를 입력합니다.

• AWS 스팟 인스턴스: 사용할 스팟 인스턴스의 최소 및 최대 수를 입력합니다.

6. 다음 옵션에서 워크로드에 적합한 전략을 선택합니다.

• 저비용 – 저비용에 최적화되어 있지만 간헐적으로 높은 지연 시간이 발생할 수 있습니다.

• 짧은 지연 시간 - 짧은 지연 시간을 유지하기 위해 노력하는 동시에 짧고 필요한 스파이크를 허용합니다.

• 일관된 짧은 지연 시간 - 지연 시간을 짧게 유지하기 위해 사전에 확장합니다.

• 수동 확장 - 자동 확장 없이 정적 인스턴스 수를 유지합니다.

7. 클러스터가 소프트웨어 업데이트를 받는 방법을 선택합니다.

• 조기 롤아웃: 프로덕션 전에 사용자 지정 설정 및 코드에 대해 새 릴리스를 검증하기 위한 개발 및 스테이징 클러스터에 이상적입니다.

• 이후 롤아웃: 성공적인 조기 롤아웃 후에 업데이트가 적용되며 프로덕션 환경에 권장됩니다.

8. 리소스를 식별, 구성 및 관리하는 데 도움이 되도록 포함할 태그의 키 및 값을 추가합니다.