개별 데이터 작업 모니터링
데이터 작업 창 왼쪽 위에 있는 드롭다운 메뉴에서 모니터링을 선택하여 데이터 작업의 상태와 진행률을 모니터링할 수 있습니다.
여러 데이터 작업을 모니터링하기 위해 모니터 보기를 만들 수도 있습니다.자세한 내용은 데이터 태스크 모니터링 및 운영을 참조하십시오.
일반 모니터링 개요
모니터링 보기는 모든 작업 유형에 사용할 수 있으며 작업 상태 및 지표를 추적할 수 있습니다.
-
탭
작업 유형에 따라 사용 가능한 탭 사이를 전환합니다 — 예를 들어 정보, 전체 로드, 그리고 변경 처리, 배치, 또는 스트리밍과 같은 탭.각 탭에 대한 자세한 내용은 아래 관련 작업 섹션을 참조하십시오.
-
데이터 집합 상태 필터
데이터 집합 테이블 위에 있는 막대형 차트는 각 상태에 있는 데이터 집합의 수를 보여줍니다: 대기 중, 로드 중, 완료됨, 및 오류.차트는 데이터셋 상태가 변경됨에 따라 동적으로 업데이트됩니다.상태 세그먼트를 클릭하여 데이터 집합 테이블을 필터링하고 해당 상태의 데이터 집합만 표시합니다.
-
위젯 숨기기
메트릭 위젯을 접으려면 위젯 숨기기를 클릭합니다.이것은 아래 데이터 집합 테이블을 볼 수 있는 더 많은 공간을 제공합니다.
-
시작일
현재 작업 실행이 시작된 날짜 및 시간입니다.
-
끝 날짜
작업 실행이 종료된 일시입니다.이것은 완료된 작업 실행에 대해서만 표시됩니다.
-
실행 기록
이전 작업 실행 목록과 그 결과를 보려면 실행 기록을 클릭하세요.
데이터 이동 작업 모니터링
사용할 수 있는 모니터링 옵션은 작업 유형과 커넥터 유형에 따라 결정됩니다.일부 커넥터는 CDC(예: Epicor)를 지원하지 않으므로 CDC와 관련된 모니터링 옵션은 해당 커넥터에 표시되지 않습니다.일부 커넥터가 전체 로드를 지원하지 않는 것과 마찬가지로, 전체 로드와 관련된 모니터링 옵션은 해당 커넥터에 표시되지 않습니다.
데이터 파이프라인 사용 사례: 랜딩 작업
모든 랜딩 작업은 소스 데이터를 대상에 완전히 로드하는 것으로 시작되어야 합니다.초기 전체 로드가 완료되면 소스 데이터의 변경 내용으로 대상 데이터가 업데이트됩니다.이는 작업 정의에 따라 다시 로드 및 비교 또는 데이터 변경 내용 캡처(CDC)를 사용하여 수행할 수 있습니다.
랜딩 작업에 대한 자세한 내용은 데이터 소스의 랜딩 데이터을(를) 참조하십시오.
복제 사용 사례: "데이터 복제" 작업
"데이터 복제" 작업은 일반적으로 소스 데이터를 대상에 완전히 로드하는 것으로 시작됩니다.다음 테이블에 전체 로드 사용 사례가 요약되어 있습니다.
| 사용 사례 | 전체 로드 |
|---|---|
| SaaS 응용 프로그램에서 복제 | 필수 |
| 데이터베이스와 같은 다른 데이터 소스 유형에서 복제 | 선택 사항 |
비SaaS 애플리케이션 소스에서 복제할 때 소스 데이터가 대상에 이미 존재하고 소스 변경 내용을 대상에만 적용하려는 경우(또는 나중에 적용하기 위해 저장하려는 경우), 복제 모드는 변경 내용 적용, 변경 내용 저장 또는 둘 다일 수 있습니다.이러한 복제 모드는 모두 CDC 모니터링에 표시됩니다.
"데이터 복제" 작업에 대한 자세한 내용은 다음 항목을 참조하십시오.
Standard, Premium 또는 Enterprise 구독으로 데이터 복제
Qlik Talend Cloud 시작 구독을 사용하여 데이터 복제
복제 사용 사례: "데이터 레이크에 데이터 랜딩" 작업
"데이터 레이크의 데이터 랜딩" 작업은 전체 로드로 시작해야 한다는 점에서 랜딩 작업과 유사합니다.초기 전체 로드가 완료되면 소스 데이터의 변경 내용으로 대상 데이터가 업데이트됩니다.이는 다시 로드 또는 데이터 변경 내용 캡처(CDC)를 사용하여 수행할 수 있습니다.랜딩 작업과의 유사성에도 불구하고 "데이터 레이크의 데이터 랜딩" 작업은 소스-대상 복제로만 구성되므로 복제 작업으로 간주됩니다.데이터 파이프라인에서 사용할 수 있는 추가 다운스트림(예: 변환 및 데이터 마트 사용)을 조작할 수 있는 가능성은 제공하지 않습니다.
"데이터 레이크의 데이터 랜딩" 작업에 대한 자세한 내용은 Standard, Premium 또는 Enterprise 구독을 통해 데이터 레이크에 데이터 랜딩를 참조하십시오.
SaaS 응용 프로그램 소스에 새 열이 추가된 후 메타데이터 새로 고침
작업이 이미 실행 중인 후에 SaaS 응용 프로그램 소스에 새 열이 추가되면 데이터 손실을 방지하기 위해 메타데이터를 새로 고쳐야 합니다.
수행할 작업:
-
연결을 열고 다시 저장합니다.
-
데이터 파이프라인 프로젝트 생성 및 관리에 설명된 대로 작업을 준비합니다.
모니터링 세부 정보
다음 모니터링 세부 정보가 제공됩니다.
-
정보
-
전체 로드
-
변경 처리 중
-
스트리밍
스트리밍 랜딩 작업에만 사용 가능합니다.
정보 모니터링 세부 정보
작업에 대한 일반 정보, 실행 ID, 그리고 데이터가 업데이트된 시점을 볼 수 있습니다.CDC 작업의 경우, 예약 정보도 이 탭에서 확인할 수 있습니다.
전체 로드 모니터링 세부 정보
데이터 작업에 대한 다음 통계를 전체 로드에서 볼 수 있습니다.
-
총 데이터 집합
로드된 데이터 집합의 수.
-
오류가 있는 데이터 집합
오류가 발생한 데이터세트 수입니다.
-
총 지연 시간
작업의 현재 지연 시간(hh:mm:ss)입니다.이 기간은 소스에서 변경 내용을 사용할 수 있을 때부터 변경 내용이 적용되고 대상 또는 랜딩에서 사용할 수 있을 때까지의 시간을 나타냅니다.
-
총 처리량
목표 처리량(KB/초)입니다.이는 변경 레코드가 대상 종료 지점에 로드되는 속도를 나타냅니다.
데이터 작업에서 각 데이터 세트에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
대상 데이터 집합 이름.
-
상태
테이블 상태는 대기 중, 로드 중, 완료, 전체 로드 미완료, 또는 오류 중 하나입니다.
SaaS 응용 프로그램 소스에서 데이터를 로드할 때, 일시적인 중단으로 인해 전체 로드 불완전 상태가 모니터에 때때로 표시될 수 있습니다.이러한 중단은 SaaS 응용 프로그램의 데이터 할당량 초과, 서비스 불안정 등으로 인해 발생할 수 있습니다.
작업은 다음 예정된 CDC 인스턴스에서 자동으로 재개됩니다.하지만, 중단을 야기하는 문제가 아직 해결되지 않았다면 전체 로드는 일시 중지된 상태로 유지될 수 있습니다.다음 예정된 CDC 인스턴스를 기다리는 대신, 작업을 수동으로 재개할 수도 있습니다.
-
시작됨
로드가 시작된 시간입니다.
-
종료됨
로드가 종료된 시간입니다.
-
기간
hh:mm:ss 서식의 로드 기간입니다.
-
레코드
로드 중에 대상에 기록된 레코드 수입니다.
정보 메모원본 데이터 세트가 필터링되면 레코드가 다음 섹션으로 대체됩니다.
-
읽은 레코드 수: 필터링하기 전에 원본 데이터 세트에서 읽은 레코드 수입니다.
-
기록된 레코드(필터링 후): 필터링 후 대상에 실제로 기록된 레코드 수입니다.
데이터 세트 필터링에 대한 자세한 내용은 데이터 세트 필터링을(를) 참조하십시오.
-
-
메시지
로드가 성공적으로 처리되지 않은 경우 오류 메시지를 표시합니다.
변경 처리 모니터링 세부 정보
변경 처리는 지난 CDC 실행 중 또는 아직 완료되지 않은 경우 현재 실행 중에 모든 테이블에 적용된 변경 사항 수를 표시합니다.작업이 시작된 이후 개별 데이터 집합에 적용된 변경 횟수를 확인하려면, 데이터 집합 테이블을 참조하십시오.
다음 변경 처리 통계를 볼 수 있습니다.
-
총 데이터 집합
로드된 데이터 집합의 수.
-
오류가 있는 데이터 집합
오류가 발생한 데이터세트 수입니다.
-
총 지연 시간
작업의 현재 지연 시간(hh:mm:ss)입니다.이 기간은 소스에서 변경 내용을 사용할 수 있을 때부터 변경 내용이 적용되고 대상 또는 랜딩에서 사용할 수 있을 때까지의 시간을 나타냅니다.
-
총 처리량
목표 처리량(KB/초)입니다.이는 변경 레코드가 대상 종료 지점에 로드되는 속도를 나타냅니다.
-
총 수신 변경 내용
소스에 존재하고 처리 대기 중인 변경 내용의 수입니다.소스에 누적된 횟수와 적용 중인 횟수를 확인할 수 있습니다.
-
총 적용된 변경 내용
대상 또는 랜딩에 적용된 변경 사항 수입니다.추가, 삭제 및 업데이트 수를 볼 수 있습니다.
데이터 작업의 각 테이블에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
랜딩 자산에 있는 대상 테이블의 이름입니다.
-
상태
테이블 상태는 다음 중 하나입니다. 변경 내용 누적 중, 오류 또는 완료됨(예약된 CDC 작업의 경우).
-
마지막으로 처리됨
테이블이 마지막으로 변경된 날짜 및 시간입니다.
-
삽입, 업데이트 및 삭제
정보 메모소스 데이터 세트가 필터링되면 삽입, 업데이트 및 삭제 열이 다음과 같이 그룹화됩니다.
-
읽기: 필터링 전에 소스 데이터 세트에서 읽은 변경 사항(삽입, 업데이트 및 삭제) 수입니다.
-
작성됨(필터링 후): 필터링 후 대상에 실제로 작성된 변경 사항(삽입, 업데이트 및 삭제) 수입니다.
데이터 세트 필터링에 대한 자세한 내용은 데이터 세트 필터링을(를) 참조하십시오.
-
삽입
삽입 작업 수입니다.
-
업데이트
업데이트 작업 수입니다.
정보 메모업데이트는 SaaS 응용 프로그램 소스에 대한 삽입으로 처리됩니다. -
삭제
삭제 작업 수입니다.
-
-
DML(삽입/업데이트)
정보 메모이 열은 SaaS 응용 프로그램 커넥터로 정의된 작업에 대해서만 표시됩니다.정보 메모소스 데이터 세트가 필터링되면 삽입, 업데이트 및 삭제 열이 다음과 같이 그룹화됩니다.
-
읽은 DML(삽입/업데이트): 필터링하기 전에 원본 데이터 세트에서 읽은 DML(삽입 및 업데이트) 수입니다.
-
작성된 DML(삽입/업데이트): 필터링 후 대상에 실제로 작성된 DML(삽입 및 업데이트) 수입니다.
데이터 세트 필터링에 대한 자세한 내용은 데이터 세트 필터링을(를) 참조하십시오.
-
-
DDL 작업
DDL 작업 수
정보 메모"데이터 복제" 작업에만 사용할 수 있습니다. -
메시지
테이블 변경이 실패하고 처리되지 않으면 오류 메시지를 표시합니다.
온프레미스 소스에서 데이터를 랜딩하고 전체 로드 모드를 선택한 경우 랜딩 자산이 실행일 때 테이블이 자동으로 다시 로드됩니다.
온프레미스 소스에서 데이터를 랜딩하고 전체 로드 및 CDC 모드를 선택한 경우 테이블은 초기 전체 로드 후 새 데이터로 계속 업데이트됩니다.
선택한 테이블을 다시 로드하는 중
소스에서 선택한 테이블을 수동으로 다시 로드할 수 있습니다.이는 오류가 발생한 단일 테이블을 복구하려는 경우에 유용합니다.테이블을 다시 로드해도 CDC 타임라인에는 영향을 미치지 않으며 테이블 다시 만들기를 사용하면 다시 설정됩니다.테이블을 다시 로드할 때 메타데이터 변경 내용이 전파되지 않습니다.
-
선택한 테이블을 다시 로드하려면 모니터링 하단에서 테이블을 선택하고 테이블 다시 로드를 클릭합니다.
데이터 작업을 실행하는 데 필요한 것과 동일한 권한, 즉 소유자 또는 작동할 수 있음 역할이 필요합니다.
테이블 다시 로드은 데이터 작업을 처음 실행한 후에 사용할 수 있습니다.업데이트 방법이 다시 로드 및 비교인 경우 데이터 작업이 실행 중일 때 테이블 다시 로드를 사용할 수 없습니다.
다운스트림 저장소 데이터 작업은 다음에 실행될 때 동기화됩니다.저장소 작업에 기록이 활성화되어 있으면 유지됩니다.
테이블을 다시 로드하여 복구할 수 없는 경우 다음 단계는 데이터 작업을 복구하는 것입니다.
모든 테이블을 대상으로 다시 로드
특정 테이블을 다시 로드하여 해결할 수 없는 CDC 문제가 발생하는 경우 모든 테이블을 대상에 다시 로드할 수 있습니다.문제의 예로 이벤트 누락, 소스 데이터베이스 재구성으로 인한 문제 또는 소스 데이터베이스 이벤트 읽기 실패 등이 있습니다.
- 데이터 작업과 이를 사용하는 모든 작업을 중지합니다.
-
데이터 작업을 열고 모니터링 탭을 선택합니다.
-
...를 클릭한 다음 대상 다시 로드를 클릭합니다.
그러면 Drop-Create를 사용하여 모든 테이블이 대상에 다시 로드되고 지금부터 모든 데이터 변경 내용 캡처가 다시 시작됩니다.
-
데이터 랜딩 작업을 소비하는 저장소 작업은 비교를 통해 다시 로드되고 다음 실행 시 적용되어 동기화됩니다. 기존 기록은 유지됩니다. 유형 2 기록은 다시 로드 및 비교 프로세스가 실행된 후 변경 내용을 반영하도록 업데이트됩니다.
유형 2 기록의 시작 날짜에 대한 타임스탬프는 다시 로드 날짜를 반영하며 반드시 소스에서 변경이 발생한 날짜는 아닙니다.
-
대상 다시 로드 작업 중에는 저장소가 동기화될 때까지 저장소 라이브 보기를 신뢰할 수 없습니다. 다음과 같은 경우 저장소가 완전히 동기화됩니다.
-
모든 테이블은 비교 및 적용을 사용하여 다시 로드됩니다.
-
각 테이블에 대해 한 번의 변경 주기가 수행됩니다.
-
저장소, 변환, 데이터 마트, 미러 및 지식 마트 작업 모니터링
저장소, 변환, 데이터 마트, 미러 또는 지식 마트 작업의 상태와 진행률을 모니터링할 수 있습니다.
다음 모니터링 세부 정보가 제공됩니다.
-
정보
-
전체 로드
-
배치
정보 모니터링 세부 정보
작업에 대한 일반 정보, 실행 ID 및 데이터가 업데이트된 시점을 볼 수 있습니다.
전체 로드 모니터링 세부 정보
데이터 작업에 대한 다음 통계를 전체 로드에서 볼 수 있습니다.
-
총 데이터 집합
로드된 데이터 집합의 수.
-
오류가 있는 데이터 집합
오류가 발생한 데이터세트 수입니다.
-
총 처리량
목표 처리량(KB/초)입니다.이는 변경 레코드가 대상 종료 지점에 로드되는 속도를 나타냅니다.
배치 모니터링 세부 정보
변경 일괄 처리의 통계를 볼 수 있습니다.
-
총 데이터 집합
로드된 데이터 집합의 수.
-
오류가 있는 데이터 집합
오류가 발생한 데이터세트 수입니다.
-
총 지연 시간
작업의 현재 지연 시간(hh:mm:ss)입니다.이 기간은 소스에서 변경 내용을 사용할 수 있을 때부터 변경 내용이 적용되고 대상 또는 랜딩에서 사용할 수 있을 때까지의 시간을 나타냅니다.
-
총 처리량
목표 처리량(KB/초)입니다.이는 변경 레코드가 대상 종료 지점에 로드되는 속도를 나타냅니다.
-
소스
소스에서 지연 시간 및 처리량.
-
대상
대상에서의 지연 시간 및 처리량
-
총 수신 변경 내용
소스에 존재하고 처리 대기 중인 변경 내용의 수입니다.소스에 누적된 횟수와 적용 중인 횟수를 확인할 수 있습니다.
-
총 적용된 변경 내용
대상 또는 랜딩에 적용된 변경 사항 수입니다.추가, 삭제 및 업데이트 수를 볼 수 있습니다.
상태 및 진행률 보기
Datasets에서 각 데이터 집합 또는 변경 내용에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
대상 데이터 집합 이름.
-
상태
테이블 상태는 대기 중, 로드 중, 완료 또는 오류 중 하나입니다.
-
시작됨
로드가 시작된 시간입니다.
-
종료됨
로드가 종료된 시간입니다.
-
기간
hh:mm:ss 서식의 로드 기간입니다.
-
기록
로드 중에 대상에 기록된 레코드 수입니다.
정보 메모원본 데이터 세트가 필터링되면 레코드가 다음 섹션으로 대체됩니다.
-
읽은 레코드 수: 필터링하기 전에 원본 데이터 세트에서 읽은 레코드 수입니다.
-
기록된 레코드(필터링 후): 필터링 후 대상에 실제로 기록된 레코드 수입니다.
데이터 세트 필터링에 대한 자세한 내용은 데이터 세트 필터링을(를) 참조하십시오.
-
-
메시지
로드가 성공적으로 처리되지 않은 경우 오류 메시지를 표시합니다.
데이터 작업이 다음으로 업데이트됨에 표시된 시간까지 모든 소스 트랜잭션의 데이터를 이 데이터 작업에서 사용할 수 있습니다.이 정보는 모든 테이블이 로드되고 첫 번째 변경 내용 집합이 적용된 후에 데이터 작업에 사용할 수 있습니다.라이브 보기 생성을 선택한 경우 라이브 보기가 업데이트될 때도 볼 수 있습니다.
초기 로드가 완료되기 전에 일괄 변경 내용이 있는 경우 초기 로드가 완료되고 첫 번째 변경 내용이 적용될 때까지 데이터 작업이 다음으로 업데이트됨이 업데이트되지 않습니다.예를 들어, 백만 개의 주문이 포함된 주문 데이터 집합과 천만 개의 주문 세부 정보가 포함된 주문 세부 정보 데이터 집합이 포함된 데이터 자산을 로드한다고 가정합니다.이러한 데이터 집합은 전체 로드를 수행하는 데 각각 10분과 20분이 걸립니다.주문 데이터 집합이 먼저 로드되고 그다음에 주문 세부 정보 데이터 집합이 로드됩니다.주문 데이터 집합이 로드되는 동안 새 주문이 삽입되었습니다.따라서 주문 세부 정보가 로드되면 주문 데이터 집합에 아직 존재하지 않는 새 주문 세부 정보가 포함될 수 있습니다.주문 및 주문 세부 정보 데이터 집합은 변경 사항의 첫 번째 배치가 적용된 후 동일한 시간에 동기화되고 완전히 업데이트됩니다.
세부 정보 보기
SQL 문 수준에 대한 자세한 정보를 볼 수 있습니다.
-
자세히 모니터링할 데이터 집합을 선택합니다.
-
세부 정보 모니터링을 클릭합니다.
세부 정보 모니터링이 표시되며 로드 또는 변경 프로세스의 각 단계에서 실행되는 명령을 볼 수 있습니다.명령을 클릭하면 실행된 전체 SQL 문을 볼 수 있습니다.
-
나열된 모든 명령에 대한 전체 SQL 문이 포함된 텍스트 파일을 내보내려면 CSV로 내보내기를 클릭합니다.
보기용 데이터 작업이 다음으로 업데이트됨
데이터 작업이 다음으로 업데이트됨 필드에는 가장 오래된 보기가 업데이트되는 시간이 표시됩니다.
-
표준 보기
데이터 작업이 다음으로 업데이트됨에 가장 오래된 표준 보기가 업데이트되는 시간이 표시됩니다.
예를 들어, 작업에 주문 및 주문 세부 정보라는 두 개의 테이블이 있다고 가정합니다.주문은 10:00와 10:01의 레코드로 10:01로 업데이트되며, 주문 세부 정보에는 10:00부터의 레코드만 있습니다.이 경우 데이터 작업은 10:00로 업데이트됩니다.이를 데이터 작업 로드의 시작 및 종료 시간(10:02~10:03)과 혼동해서는 안 됩니다.
-
라이브 보기(저장소 데이터 작업)
데이터 작업이 다음으로 업데이트됨에 가장 오래된 라이브 보기가 업데이트되는 시간이 표시됩니다.
예를 들어, 작업에 Orders 테이블이 있다고 가정합니다.랜딩 주문은 10:00과 10:01의 레코드로 10:01로 업데이트되지만 저장소 주문은 10:00의 레코드으로만 업데이트됩니다.이 경우 주문에 대한 실시간 보기는 10:01로 업데이트되고 표준 보기는 10:00으로 업데이트됩니다.
실행 기록 보기
태스크의 실행 기록을 보고 근본 원인을 파악하고 시간 경과에 따른 패턴을 이해할 수 있습니다.
-
태스크의 모니터 뷰에서 실행 기록을 클릭합니다.
-
모니터 뷰에 있는 태스크의 ... 메뉴에서 실행 기록을 클릭합니다.
필터 선택에 따라 실행 기록에 최대 100개의 실행이 표시됩니다. 다른 실행을 보려면 필터 기준을 세분화하십시오. 실행 종료일 및 태스크 상태를 기준으로 필터링할 수 있습니다. 실행 정보는 13개월 동안 보관됩니다. 실행의 데이터 세트 메타데이터는 30일 동안 보관됩니다.