Qlik 오픈 레이크하우스 저장소 작업 모니터링
Qlik 오픈 레이크하우스 프로젝트의 저장소 작업은 일괄 모드가 아닌 연속적으로 실행되므로 다른 프로젝트와 다릅니다.그 결과, 모니터링 지표가 다릅니다.
일반 모니터링 개요
모니터링 보기를 통해 작업 상태 및 지표를 추적할 수 있습니다.
-
탭
정보, 전체 로드, 변경 처리 사이를 전환하여 작업의 각 단계에 대한 관련 지표를 확인합니다.
-
데이터 집합 상태 필터
데이터 집합 테이블 위에 있는 막대형 차트는 각 상태에 있는 데이터 집합의 수를 보여줍니다: 대기 중, 로드 중, 완료됨 및 오류.차트는 데이터셋 상태가 변경됨에 따라 동적으로 업데이트됩니다.상태 세그먼트를 클릭하여 데이터 집합 테이블을 필터링하고 해당 상태의 데이터 집합만 표시합니다.
-
위젯 숨기기
메트릭 위젯을 접으려면 위젯 숨기기를 클릭합니다.이렇게 하면 아래 데이터 집합 테이블을 볼 수 있는 공간이 더 확보됩니다.
-
시작일
현재 작업 실행이 시작된 날짜 및 시간입니다.
-
끝 날짜
작업 실행이 종료된 일시입니다.이것은 완료된 작업 실행에 대해서만 표시됩니다.
-
실행 기록
이전 작업 실행 목록과 그 결과를 보려면 실행 기록을 클릭하세요.
정보 모니터링 세부 정보
이 정보 섹션에서는 전반적인 작업 상태에 대한 요약을 제공합니다:
-
실행
현재 실행의 실행 ID를 표시합니다.
-
데이터
데이터 작업이 다음으로 업데이트됨은(는) 가장 오래된 보기가 업데이트되는 시간을 표시합니다.이것은 해당 시점까지 커밋된 모든 소스 변경 사항이 대상 테이블에서 이미 사용 가능한 최신 시점을 나타냅니다.
새로운 소스 변경 사항이 감지되지 않으면 이 값은 현재 시간으로 설정됩니다.
-
작업
이 작업이 실행 중인 클러스터의 이름 및 상태, 그리고 일반 작업 정보 및 상태를 표시합니다.
전체 로드 모니터링 세부 정보
데이터 작업에 대한 다음 통계를 전체 로드에서 볼 수 있습니다.
-
총 데이터 집합
로드된 데이터 집합의 수.
-
오류가 있는 데이터 집합
오류가 발생한 데이터세트 수입니다.
-
변경 내용 수신 중
수신 변경 내용의 수입니다.
-
총 지연 시간
작업의 현재 지연 시간(hh:mm:ss)입니다.이 기간은 변경 사항이 소스에서 사용 가능해지는 시점부터 변경 사항이 대상에 적용되어 사용 가능해지는 시점까지의 시간을 나타냅니다.
데이터 작업의 각 테이블에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
대상 테이블의 이름입니다.
-
상태
테이블 상태는 대기 중, 로드 중, 완료 또는 오류 중 하나입니다.
-
시작됨
로드가 시작된 시간입니다.
-
종료됨
로드가 종료된 시간입니다.
-
기간
hh:mm:ss 서식의 로드 기간입니다.
-
기록
로드 중에 복제된 레코드 수입니다.
-
메시지
로드가 성공적으로 처리되지 않은 경우 오류 메시지를 표시합니다.
변경 처리 모니터링 세부 정보
데이터 작업의 변경 처리 모니터링을 위해 변경 처리에서 다음 세부 정보를 확인할 수 있습니다.
-
총 데이터 집합
로드된 데이터 집합의 수.
-
오류가 있는 데이터 집합
오류가 발생한 데이터세트 수입니다.
-
변경 내용 수신 중
수신 변경 내용의 수입니다.
-
변경 내용이 처리됨
처리된 변경 내용의 수입니다.
-
총 지연 시간
작업의 현재 지연 시간(hh:mm:ss)입니다.이 기간은 변경 사항이 소스에서 사용 가능해지는 시점부터 변경 사항이 대상에 적용되어 사용 가능해지는 시점까지의 시간을 나타냅니다.
데이터 작업의 각 테이블에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
랜딩 자산에 있는 대상 테이블의 이름입니다.
-
상태
테이블 상태는 변경 내용 누적 중 또는 오류 중 하나입니다.
-
변경 내용 수신 중
스토리지 작업에 의해 적용되기를 기다리는 랜딩 작업에 의해 처리된 변경 사항 수.
-
변경 내용이 처리됨
데이터 세트가 마지막으로 전체 로드(초기 전체 로드 또는 다시 로드 작업에 의해)된 이후 대상에 적용된 총 변경 사항 수.
-
마지막으로 처리됨
대상 데이터 세트에 삽입된 마지막 소스 데이터 시간(현지 시간으로 변환됨).
-
최적화되지 않은 변경 내용
뷰를 통해 쿼리 가능하지만 아직 최적화된 Iceberg 파티션으로 병합되지 않은 레코드 수.백그라운드 최적화가 완료될 때까지 높은 수치가 성능에 영향을 미칠 수 있습니다.
이는 변경 파티션에 현재 있으며 현재 또는 히스토리 파티션에 아직 적용되지 않은 레코드 수를 반영합니다.
이 숫자가 지속적으로 높으면 최적화를 가속화하기 위해 클러스터 컴퓨팅 용량을 늘리는 것을 고려하십시오.
-
메시지
테이블 변경이 실패하고 처리되지 않으면 오류 메시지를 표시합니다.
실행 기록 보기
태스크의 실행 기록을 보고 근본 원인을 파악하고 시간 경과에 따른 패턴을 이해할 수 있습니다.
-
태스크의 모니터 뷰에서 실행 기록을 클릭합니다.
-
모니터 뷰에 있는 태스크의 ... 메뉴에서 실행 기록을 클릭합니다.
필터 선택에 따라 실행 기록에 최대 100개의 실행이 표시됩니다. 다른 실행을 보려면 필터 기준을 세분화하십시오. 실행 종료일 및 태스크 상태를 기준으로 필터링할 수 있습니다. 실행 정보는 13개월 동안 보관됩니다. 실행의 데이터 세트 메타데이터는 30일 동안 보관됩니다.