Kinesis 스트림
Qlik이 레이크하우스 클러스터에서 인스턴스 상태 정보를 캡처하고 전파할 수 있도록 Amazon Kinesis 스트림을 만듭니다.
Kinesis 스트림은 데이터가 생성되는 대로 컬렉션, 처리, 분석할 수 있는 실시간 데이터 스트리밍 서비스입니다. 이 솔루션은 짧은 지연 시간으로 대량의 스트리밍 데이터를 처리하도록 설계되어 분산된 구성 요소 간의 실시간 모니터링, 분석 및 메시징에 적합합니다.
Qlik 오픈 레이크하우스 배포에서는 Kinesis 스트림을 소비하여 레이크하우스 클러스터 내의 각 인스턴스에 대한 CPU 소비률, 메모리 소비, 상태 확인 등의 상태 및 성능 메트릭을 수집하고 공유합니다.
클러스터 내의 인스턴스는 서로 직접 통신하지 않습니다. 대신, Kinesis 스트림을 폴링하여 동료에 대한 정보를 검색합니다. 이 메커니즘을 사용하면 인스턴스가 분산된 작업을 조정하고, 서로의 상태를 인식하고, 클러스터 전체에서 확장 가능하고 내결함성 있는 실행을 구현할 수 있습니다.
전제 조건
Qlik 오픈 레이크하우스을 호스팅하기 위해 VPC, 서브넷 및 가용성 영역을 만들었는지 확인합니다.
Kinesis 스트림 만들기
Kinesis 스트림을 만들려면 다음을 수행합니다.
-
AWS 콘솔에서 Amazon Kinesis로 이동합니다.
-
데이터 스트림에서 데이터 스트림 만들기를 클릭하고 구성합니다.
-
데이터 스트림 이름: 스트림의 이름을 입력합니다.
-
용량 모드: 프로비저닝 옵션을 선택합니다.
-
프로비저닝된 샤드: 이 값이 1로 설정되어 있는지 확인합니다.
-
데이터 스트림 만들기를 클릭하고 스트림 이름을 기록해 둡니다.