Qlik 오픈 레이크하우스 스토리지 작업 모니터링
Qlik 오픈 레이크하우스 프로젝트의 스토리지 작업은 배치 모드가 아닌 지속적으로 실행되므로 다른 프로젝트와 다릅니다. 결과적으로 모니터링 메트릭이 다릅니다.
일반 모니터링 개요
모니터링 보기를 통해 작업 상태 및 메트릭을 추적할 수 있습니다.
-
탭
정보, 전체 로드 및 변경 처리 간에 전환하여 작업의 각 단계에 대한 관련 메트릭을 볼 수 있습니다.
-
데이터 세트 상태 필터
데이터 세트 테이블 위의 막대형 차트에는 각 상태의 데이터 세트 수가 표시됩니다. 대기 중, 로드 중, 완료됨 및 오류. 데이터 세트 상태가 변경되면 차트가 동적으로 업데이트됩니다. 상태 세그먼트를 클릭하여 해당 상태의 데이터 세트만 표시하도록 데이터 세트 테이블을 필터링합니다.
-
위젯 숨기기
위젯 숨기기를 클릭하여 메트릭 위젯을 축소합니다. 이렇게 하면 아래의 데이터 세트 테이블을 볼 수 있는 더 많은 공간이 제공됩니다.
-
시작 날짜
현재 작업 실행이 시작된 날짜와 시간입니다.
-
종료 날짜
작업 실행이 종료된 날짜와 시간입니다. 이는 완료된 작업 실행에 대해서만 표시됩니다.
-
실행 기록
실행 기록을 클릭하여 이전 작업 실행 목록과 그 결과를 확인합니다.
정보 모니터링 세부 정보
정보 섹션은 전체 작업 상태에 대한 요약을 제공합니다.
-
실행
현재 실행의 실행 ID를 표시합니다.
-
데이터
데이터 작업 업데이트 기준 시간은 가장 오래된 보기가 업데이트된 시간을 표시합니다. 이는 해당 시점까지 커밋된 모든 소스 변경 사항을 대상 테이블에서 이미 사용할 수 있는 가장 최근의 시점을 나타냅니다.
새로운 소스 변경 사항이 감지되지 않으면 이 값은 현재 시간으로 설정됩니다.
-
작업
이 작업이 실행 중인 클러스터의 이름과 상태, 일반 작업 정보 및 상태를 표시합니다.
전체 로드 모니터링 세부 정보
전체 로드에서 데이터 작업에 대한 다음 통계를 볼 수 있습니다.
-
총 데이터 세트
로드된 데이터 세트 수입니다.
-
오류 상태의 데이터 세트
오류 상태인 데이터 세트 수입니다.
-
수신 변경 사항
수신된 변경 사항 수입니다.
-
총 대기 시간
작업의 현재 대기 시간(hh:mm:ss)입니다. 이 기간은 소스에서 변경 사항을 사용할 수 있게 된 시점부터 변경 사항이 적용되어 대상에서 사용할 수 있게 될 때까지의 시간을 나타냅니다.
데이터 작업의 각 테이블에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
대상 테이블의 이름입니다.
-
상태
테이블 상태는 대기 중, 로드 중, 완료됨 또는 오류 중 하나입니다.
-
시작됨
로드가 시작된 시간입니다.
-
종료됨
로드가 종료된 시간입니다.
-
기간
hh:mm:ss 형식의 로드 기간입니다.
-
레코드
로드 중에 복제된 레코드 수입니다.
-
메시지
로드가 성공적으로 처리되지 않은 경우 오류 메시지를 표시합니다.
변경 처리 모니터링 세부 정보
변경 처리에서 변경 처리를 모니터링하기 위해 데이터 작업에 대한 다음 세부 정보를 볼 수 있습니다.
-
총 데이터 세트
로드된 데이터 세트 수입니다.
-
오류 상태의 데이터 세트
오류 상태인 데이터 세트 수입니다.
-
수신 변경 사항
수신된 변경 사항 수입니다.
-
처리된 변경 사항
처리된 변경 사항 수입니다.
-
총 대기 시간
작업의 현재 대기 시간(hh:mm:ss)입니다. 이 기간은 소스에서 변경 사항을 사용할 수 있게 된 시점부터 변경 사항이 적용되어 대상에서 사용할 수 있게 될 때까지의 시간을 나타냅니다.
데이터 작업의 각 테이블에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
랜딩 자산의 대상 테이블 이름입니다.
-
상태
테이블 상태는 변경 사항 누적 중 또는 오류 중 하나입니다.
-
수신 변경 사항
랜딩 작업에 의해 처리되어 스토리지 작업에 의해 적용되기를 대기 중인 변경 사항 수입니다.
-
처리된 변경 사항
데이터 세트가 마지막으로 전체 로드된 이후(초기 전체 로드 또는 다시 로드 작업에 의해) 대상에 적용된 총 변경 사항 수입니다.
-
마지막으로 처리됨
대상 데이터 세트에 삽입된 마지막 소스 데이터 시간으로, 로컬 시간으로 변환됩니다.
-
최적화되지 않은 변경 사항
보기를 통해 쿼리할 수 있지만 아직 최적화된 Iceberg 파티션에 병합되지 않은 레코드 수입니다. 백그라운드 최적화가 완료될 때까지 수가 많으면 성능에 영향을 미칠 수 있습니다.
이는 현재 변경 사항 파티션에 있지만 아직 현재 또는 기록 파티션에 적용되지 않은 레코드 수를 반영합니다.
이 수가 지속적으로 높은 경우 클러스터 컴퓨팅 용량을 늘려 최적화를 가속화하는 것을 고려하십시오.
-
메시지
테이블 변경에 실패하고 처리되지 않은 경우 오류 메시지를 표시합니다.
실행 기록 보기
태스크의 실행 기록을 보고 근본 원인을 파악하고 시간 경과에 따른 패턴을 이해할 수 있습니다.
-
태스크의 모니터 뷰에서 실행 기록을 클릭합니다.
-
모니터 뷰에 있는 태스크의 ... 메뉴에서 실행 기록을 클릭합니다.
필터 선택에 따라 실행 기록에 최대 100개의 실행이 표시됩니다. 다른 실행을 보려면 필터 기준을 세분화하십시오. 실행 종료일 및 태스크 상태를 기준으로 필터링할 수 있습니다. 실행 정보는 13개월 동안 보관됩니다. 실행의 데이터 세트 메타데이터는 30일 동안 보관됩니다.