대상 업데이트 방법 개요

초기 작업 설정 중이나 나중에 데이터 작업 설정에서 사용할 업데이트 방법을 설정할 수 있습니다. 데이터 작업이 준비된 후에는 업데이트 방법을 변경할 수 없습니다. 사용할 수 있는 업데이트 방법은 작업 유형(데이터 레이크의 데이터 랜딩, 복제 또는 랜딩)에 따라 다릅니다.

데이터 랜딩 시 업데이트 방법

• 데이터 변경 내용 캡처(CDC)

  데이터 작업은 전체 로드로 시작됩니다. 그런 다음 날짜 필드를 기반으로 한 증분 로드를 사용하여 대상 데이터를 최신 상태로 유지합니다. CDC는 일부 데이터 소스에서는 지원되지 않을 수 있습니다.

  정보 메모DELETE 작업은 지원되지 않습니다. 즉, 소스에서 행을 삭제해도 랜딩 데이터에서는 삭제되지 않습니다. 삭제 처리가 중요한 경우 대신 다시 로드 및 비교를 사용합니다.

  데이터 이동 게이트웨이 작업을 하고 SaaS 응용 프로그램에서 데이터를 랜딩할 때 설정 > 런타임에서 소스의 변경 내용을 읽는 간격을 설정합니다. 데이터 이동 게이트웨이 없이 작업하는 경우 스케줄러를 사용하여 간격을 설정합니다. 자세한 내용은 데이터 이동 게이트웨이가 없을 때 CDC 작업 예약을 참조하십시오.

• 다시 로드 및 비교

  데이터 작업은 소스에서만 전체 로드를 수행합니다. 예를 들어, 소스가 CDC를 지원하지 않거나 DELETE 작업(CDC에서 지원하지 않음)을 대상에 전파하려는 경우에 유용합니다. 다시 로드 및 비교는 지원되는 모든 데이터 소스에서 사용할 수 있으며 주기적으로 발생하도록 예약할 수 있습니다.

데이터베이스 또는 데이터 웨어하우스 대상에 복제할 때 업데이트 방법

• 전체 로드: 선택한 소스 테이블의 데이터를 대상 플랫폼으로 로드하고 필요한 경우 대상 테이블을 만듭니다. 전체 로드는 작업이 시작될 때 자동으로 발생하지만 필요한 경우 수동으로 수행할 수도 있습니다.

• 변경 내용 적용: 소스 테이블에 대한 변경 내용으로 대상 테이블을 최신 상태로 유지합니다.

• 변경 내용 저장: 변경 테이블(소스 테이블당 하나)에 소스 테이블에 대한 변경 내용을 저장합니다.

  자세한 내용은 변경 내용 저장을 참조하십시오.

데이터 이동 게이트웨이 작업 시 변경 내용은 거의 실시간으로 소스에서 캡처됩니다. 데이터 이동 게이트웨이 없이 작업하는 경우(예: Qlik Talend Cloud 시작 구독을 사용하거나 없음을 선택하는 경우), 변경 내용은 스케줄러 설정에 따라 캡처됩니다. 자세한 내용은 데이터 이동 게이트웨이 없이 작업할 때 작업 예약을 참조하십시오.

클라우드 저장소(데이터 레이크)에 복제할 때 방법 업데이트

• 데이터 변경 내용 캡처(CDC): 데이터 레이크 랜딩 작업은 전체 로드로 시작됩니다(선택한 모든 테이블이 랜딩되는 동안). 랜딩된 데이터는 CDC(데이터 변경 내용 캡처) 기술을 사용하여 최신 상태로 유지됩니다.

  정보 메모DDL 작업의 CDC(데이터 변경 내용 캡처)는 지원되지 않습니다.

  데이터 이동 게이트웨이 작업 시 변경 내용은 거의 실시간으로 소스에서 캡처됩니다. 데이터 이동 게이트웨이 없이 작업하는 경우 스케줄러 설정에 따라 변경 내용이 캡처됩니다. 자세한 내용은 데이터 이동 게이트웨이 없이 작업할 때 작업 예약을 참조하십시오.

• 다시 로드: 선택한 소스 테이블의 데이터를 대상 플랫폼으로 전체 로드하고 필요한 경우 대상 테이블을 만듭니다. 전체 로드는 작업이 시작될 때 자동으로 발생하지만 수동으로 수행하거나 필요에 따라 주기적으로 발생하도록 예약할 수도 있습니다.

예약된 데이터 변경 내용 캡처(CDC) 이해

데이터 이동 게이트웨이 없이 작업하는 경우 예약된 간격에 따라 변경 내용이 캡처됩니다. 예를 통해 가장 잘 설명되는 스케줄링이 어떻게 작동하는지 아는 것이 중요합니다. 다음 예에서는 작업이 9시부터 30분마다 실행되도록 예약되었습니다.

• 작업은 전체 로드로 9시에 시작됩니다.
• 전체 로드는 9시 40분에 종료됩니다. 즉, 9시 30분 실행을 건너뜁니다.
• 다음 실행은 10시에 시작하고 10시까지 커밋된 모든 변경 내용을 캡처합니다.
• 10시 실행은 10시 15분에 종료됩니다.
• 다음 실행은 10시 30분에 시작하여 10시에서 10시 30분 사이에 발생한 모든 변경 내용을 캡처합니다.

제한 사항

SaaS 응용 프로그램에서 반환된 일부 테이블은 데이터 변경 내용 캡처(CDC)에서 지원되지 않습니다. 이 경우 유효성 검사 오류에 경고 메시지가 표시됩니다. 다음 중 하나를 수행할 수 있습니다.

• 데이터 작업에서 테이블을 삭제합니다.

• 데이터 작업의 업데이트 방법을 다시 로드 및 비교로 변경합니다.