개별 데이터 작업 모니터링
데이터 작업 창 왼쪽 위에 있는 드롭다운 메뉴에서 모니터링을 선택하여 데이터 작업의 상태와 진행률을 모니터링할 수 있습니다.
여러 데이터 작업을 모니터링하기 위해 모니터 보기를 만들 수도 있습니다. 자세한 내용은 데이터 작업 모니터링 및 운영을 참조하십시오.
랜딩 및 복제 작업 모니터링
랜딩 및 복제 작업 모니터링은 초기 로드와 CDC를 모두 모니터링할 수 있다는 점에서 비슷하지만 대조되는 사용 사례로 인해 몇 가지 눈에 띄는 차이점이 있습니다.
-
데이터 파이프라인 사용 사례: 랜딩 작업
모든 랜딩 작업은 소스 데이터를 대상에 완전히 로드하는 것으로 시작되어야 합니다. 초기 전체 로드가 완료되면 소스 데이터의 변경 내용으로 대상 데이터가 업데이트됩니다. 이는 작업 정의에 따라 다시 로드 및 비교 또는 데이터 변경 내용 캡처(CDC)를 사용하여 수행할 수 있습니다.
랜딩 작업에 대한 자세한 내용은 데이터 소스의 랜딩 데이터을 참조하십시오.
-
복제 사용 사례: "데이터 복제" 작업
"데이터 복제" 작업은 일반적으로 소스 데이터를 대상에 완전히 로드하는 것으로 시작됩니다. 이는 SaaS 응용 프로그램에서 복제할 때 필요하지만 데이터베이스에서 복제할 때는 선택 사항입니다. 데이터베이스에서 복제할 때 소스 데이터가 대상에 이미 존재하고 소스 변경 내용을 대상에만 적용하려는 경우(또는 나중에 적용하기 위해 저장하려는 경우), 복제 모드는 변경 내용 적용, 변경 내용 저장 또는 둘 다일 수 있습니다. 이러한 복제 모드는 모두 CDC 모니터링에 표시됩니다.
"데이터 복제" 작업에 대한 자세한 내용은 다음 항목을 참조하십시오.
-
복제 사용 사례: "데이터 레이크에 데이터 랜딩" 작업
"데이터 레이크의 데이터 랜딩" 작업은 전체 로드로 시작해야 한다는 점에서 랜딩 작업과 유사합니다. 초기 전체 로드가 완료되면 소스 데이터의 변경 내용으로 대상 데이터가 업데이트됩니다. 이는 다시 로드 또는 데이터 변경 내용 캡처(CDC)를 사용하여 수행할 수 있습니다. 랜딩 작업과의 유사성에도 불구하고 "데이터 레이크의 데이터 랜딩" 작업은 소스-대상 복제로만 구성되므로 복제 작업으로 간주됩니다. 데이터 파이프라인에서 사용할 수 있는 추가 다운스트림(예: 변환 및 데이터 마트 사용)을 조작할 수 있는 가능성은 제공하지 않습니다.
정보 메모별도의 "데이터 레이크의 데이터 랜딩" 작업을 만드는 단계는 Qlik Talend Cloud 시작 구독과 관련이 없습니다. Qlik Talend Cloud 시작 구독을 사용하면 클라우드 저장소 대상으로의 복제가 표준 "데이터 복제" 작업을 통해 수행됩니다."데이터 레이크의 데이터 랜딩" 작업에 대한 자세한 내용은 Standard, Premium 또는 Enterprise 구독을 통해 데이터 레이크에 데이터 랜딩를 참조하십시오.
모니터링 세부 정보
전체 로드 상태에서 데이터 작업에 대한 다음 세부 정보를 볼 수 있습니다.
-
대기 중 - 현재 대기 중인 테이블 수입니다.
-
로드 중 - 현재 로드 중인 테이블 수입니다.
-
완료됨 - 완료된 테이블 수입니다.
-
오류 - 오류가 발생한 테이블 수입니다.
데이터 작업의 각 테이블에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
대상 테이블의 이름입니다.
-
상태
테이블 상태는 대기 중, 로드 중, 완료 또는 오류 중 하나입니다.
-
시작됨
로드가 시작된 시간입니다.
-
종료됨
로드가 종료된 시간입니다.
-
기간
hh:mm:ss 서식의 로드 기간입니다.
-
레코드
로드 중에 복제된 레코드 수입니다.
-
캐시된 변경 내용
캐시된 변경 내용 수입니다.
-
메시지
로드가 성공적으로 처리되지 않은 경우 오류 메시지를 표시합니다.
데이터 변경 내용 캡처(CDC) 모니터링 세부 정보
데이터 작업에 대한 다음 CDC 세부 정보를 보고 CDC 상태의 변경 처리를 모니터링할 수 있습니다.
-
변경 내용 수신 중 - 소스에 존재하고 처리 대기 중인 변경 내용의 수입니다. 누적된 횟수와 적용 중인 항목을 확인할 수 있습니다.
-
변경 내용이 처리됨 - (지난 24시간 동안) 처리 및 적용된 변경 내용의 수입니다.
-
처리량 - 평균 목표 처리량(KB/초)입니다. 이는 변경 레코드가 대상 종료 지점에 로드되는 속도를 나타냅니다.
-
지연 - 데이터 자산의 현재 지연 시간(hh:mm:ss)입니다. 이 기간은 소스에서 변경 내용을 사용할 수 있을 때부터 변경 내용이 적용되고 대상 또는 랜딩 자산에서 사용할 수 있을 때까지의 시간을 나타냅니다.
데이터 작업의 각 테이블에 대해 다음 세부 정보를 볼 수 있습니다.
-
이름
랜딩 자산에 있는 대상 테이블의 이름입니다.
-
상태
테이블 상태는 변경 내용 누적 중 또는 오류 중 하나입니다.
-
마지막으로 처리됨
테이블이 마지막으로 변경된 날짜 및 시간입니다.
-
삽입
삽입 작업 수입니다.
-
업데이트
업데이트 작업 수입니다.
정보 메모업데이트는 SaaS 응용 프로그램 소스에 대한 삽입으로 처리됩니다. -
삭제
삭제 작업 수입니다.
-
DDL 작업
DDL 작업 수
정보 메모"데이터 복제" 작업에만 사용할 수 있습니다. -
메시지
테이블 변경이 실패하고 처리되지 않으면 오류 메시지를 표시합니다.
온프레미스 소스에서 데이터를 랜딩하고 전체 로드 모드를 선택한 경우 랜딩 자산이 실행일 때 테이블이 자동으로 다시 로드됩니다.
온프레미스 소스에서 데이터를 랜딩하고 전체 로드 및 CDC 모드를 선택한 경우 테이블은 초기 전체 로드 후 새 데이터로 계속 업데이트됩니다.
선택한 테이블을 다시 로드하는 중
소스에서 선택한 테이블을 수동으로 다시 로드할 수 있습니다. 이는 오류가 발생한 단일 테이블을 복구하려는 경우에 유용합니다. 테이블을 다시 로드해도 CDC 타임라인에는 영향을 미치지 않으며 테이블 다시 만들기를 사용하면 다시 설정됩니다. 테이블을 다시 로드할 때 메타데이터 변경 내용이 전파되지 않습니다.
-
선택한 테이블을 다시 로드하려면 모니터링 하단에서 테이블을 선택하고 테이블 다시 로드를 클릭합니다.
데이터 작업을 실행하는 데 필요한 것과 동일한 권한, 즉 소유자 또는 작동할 수 있음 역할이 필요합니다.
테이블 다시 로드은 데이터 작업을 처음 실행한 후에 사용할 수 있습니다. 업데이트 방법이 다시 로드 및 비교인 경우 데이터 작업이 실행 중일 때 테이블 다시 로드를 사용할 수 없습니다.
다운스트림 저장소 데이터 작업은 다음에 실행될 때 동기화됩니다. 저장소 작업에 기록이 활성화되어 있으면 유지됩니다.
테이블을 다시 로드하여 복구할 수 없는 경우 다음 단계는 데이터 작업을 복구하는 것입니다.
모든 테이블을 대상으로 다시 로드
특정 테이블을 다시 로드하여 해결할 수 없는 CDC 문제가 발생하는 경우 모든 테이블을 대상에 다시 로드할 수 있습니다. 문제의 예로 이벤트 누락, 소스 데이터베이스 재구성으로 인한 문제 또는 소스 데이터베이스 이벤트 읽기 실패 등이 있습니다.
- 데이터 작업과 이를 사용하는 모든 작업을 중지합니다.
-
데이터 작업을 열고 모니터링 탭을 선택합니다.
-
...를 클릭한 다음 대상 다시 로드를 클릭합니다.
그러면 Drop-Create를 사용하여 모든 테이블이 대상에 다시 로드되고 지금부터 모든 데이터 변경 내용 캡처가 다시 시작됩니다.
-
데이터 랜딩 작업을 소비하는 저장소 작업은 비교를 통해 다시 로드되고 다음 실행 시 적용되어 동기화됩니다. 기존 기록은 유지됩니다. 유형 2 기록은 다시 로드 및 비교 프로세스가 실행된 후 변경 내용을 반영하도록 업데이트됩니다.
유형 2 기록의 시작 날짜에 대한 타임스탬프는 다시 로드 날짜를 반영하며 반드시 소스에서 변경이 발생한 날짜는 아닙니다.
-
대상 다시 로드 작업 중에는 저장소가 동기화될 때까지 저장소 라이브 보기를 신뢰할 수 없습니다. 다음과 같은 경우 저장소가 완전히 동기화됩니다.
-
모든 테이블은 비교 및 적용을 사용하여 다시 로드됩니다.
-
각 테이블에 대해 한 번의 변경 주기가 수행됩니다.
-
저장소, 변환 및 데이터 마트 작업 모니터링
저장소, 변환 또는 데이터 마트 작업의 상태와 진행률을 모니터링할 수 있습니다.
-
첫 번째 로드가 실행 중이면 전체 로드 상태에서 진행률을 볼 수 있습니다.
-
변경 내용이 처리되는 동안 변경 내용의 현재 배치에서 상태 및 진행률을 볼 수 있습니다.
-
변경 내용이 처리되면 변경 내용의 마지막 배치에서 상태와 진행률을 볼 수 있습니다.
모니터의 하단에서 각 데이터 집합의 상태 및 진행률을 볼 수 있습니다.
SQL 문 수준에 대한 자세한 정보도 볼 수 있습니다.
상태 및 진행률 보기
각 데이터 집합 또는 변경 내용에 대해 다음 세부 정보를 볼 수 있습니다.
-
상태
이 데이터 집합 또는 변경 내용의 현재 상태를 보여 줍니다.
-
완료됨 - 로드 또는 변경이 성공적으로 완료되었습니다.
-
로드 중 - 테이블 또는 변경 사항이 처리 중입니다.
-
대기 중 - 테이블 또는 변경 사항이 처리되기를 기다리고 있습니다.
-
오류 - 테이블을 처리하거나 변경하는 동안 오류가 발생했습니다.
-
-
시작됨
로드 또는 변경 처리가 시작된 시간입니다.
-
종료됨
로드 또는 변경 처리가 종료된 시간입니다.
-
기간
hh:mm:ss 형식의 로드 또는 변경 처리 기간입니다.
-
처리된 레코드
로드 또는 변경 시 처리된 레코드 수입니다.
-
처리량(레코드/초)
처리량은 로드가 완료될 때까지 업데이트되지 않습니다.
-
메시지
로드 또는 변경이 성공적으로 처리되지 않은 경우 오류 메시지를 표시합니다.
데이터 집합은 복제 작업에 의해 랜딩 영역이 업데이트됨에 따라 새로운 데이터로 지속적으로 업데이트됩니다. 각 일괄 처리는 특정 시간 범위의 레코드와 관련됩니다. 마지막 변경 일괄 처리에서 가장 최근 일괄 처리의 시간 범위를 볼 수 있습니다.
데이터 작업이 다음으로 업데이트됨에 표시된 시간까지 모든 소스 트랜잭션의 데이터를 이 데이터 작업에서 사용할 수 있습니다. 이 정보는 모든 테이블이 로드되고 첫 번째 변경 내용 집합이 적용된 후에 데이터 작업에 사용할 수 있습니다. 라이브 보기 생성을 선택한 경우 라이브 보기가 업데이트될 때도 볼 수 있습니다.
초기 로드가 완료되기 전에 일괄 변경 내용이 있는 경우 초기 로드가 완료되고 첫 번째 변경 내용이 적용될 때까지 데이터 작업이 다음으로 업데이트됨이 업데이트되지 않습니다. 예를 들어, 백만 개의 주문이 포함된 주문 데이터 집합과 천만 개의 주문 세부 정보가 포함된 주문 세부 정보 데이터 집합이 포함된 데이터 자산을 로드한다고 가정합니다. 이러한 데이터 집합은 전체 로드를 수행하는 데 각각 10분과 20분이 걸립니다. 주문 데이터 집합이 먼저 로드되고 그다음에 주문 세부 정보 데이터 집합이 로드됩니다. 주문 데이터 집합이 로드되는 동안 새 주문이 삽입되었습니다. 따라서 주문 세부 정보가 로드되면 주문 데이터 집합에 아직 존재하지 않는 새 주문 세부 정보가 포함될 수 있습니다. 주문 및 주문 세부 정보 데이터 집합은 변경 사항의 첫 번째 배치가 적용된 후 동일한 시간에 동기화되고 완전히 업데이트됩니다.
세부 정보 보기
SQL 문 수준에 대한 자세한 정보를 볼 수 있습니다.
-
모니터링 하단의 드롭다운에서 전체 로드, 변경 내용의 현재 배치 또는 변경 내용의 마지막 배치를 선택합니다.
-
자세히 모니터링할 데이터 집합을 선택합니다.
-
세부 정보 모니터링을 클릭합니다.
세부 정보 모니터링이 표시되며 로드 또는 변경 프로세스의 각 단계에서 실행되는 명령을 볼 수 있습니다. 명령을 클릭하면 실행된 전체 SQL 문을 볼 수 있습니다.
-
나열된 모든 명령에 대한 전체 SQL 문이 포함된 텍스트 파일을 내보내려면 CSV로 내보내기를 클릭합니다.
보기용 데이터 작업이 다음으로 업데이트됨
데이터 작업이 다음으로 업데이트됨 필드에는 가장 오래된 보기가 업데이트되는 시간이 표시됩니다.
-
표준 보기
데이터 작업이 다음으로 업데이트됨에 가장 오래된 표준 보기가 업데이트되는 시간이 표시됩니다.
예를 들어, 작업에 주문 및 주문 세부 정보라는 두 개의 테이블이 있다고 가정합니다. 주문은 10:00와 10:01의 레코드로 10:01로 업데이트되며, 주문 세부 정보에는 10:00부터의 레코드만 있습니다. 이 경우 데이터 작업은 10:00로 업데이트됩니다. 이를 데이터 작업 로드의 시작 및 종료 시간(10:02~10:03)과 혼동해서는 안 됩니다.
-
라이브 보기(저장소 데이터 작업)
데이터 작업이 다음으로 업데이트됨에 가장 오래된 라이브 보기가 업데이트되는 시간이 표시됩니다.
예를 들어, 작업에 Orders 테이블이 있다고 가정합니다. 랜딩 주문은 10:00과 10:01의 레코드로 10:01로 업데이트되지만 저장소 주문은 10:00의 레코드으로만 업데이트됩니다. 이 경우 주문에 대한 실시간 보기는 10:01로 업데이트되고 표준 보기는 10:00으로 업데이트됩니다.