레이크 랜딩 설정

다음 레이크 랜딩 작업 설정은 Qlik 오픈 레이크하우스 프로젝트에 적용됩니다.

레이크 랜딩 데이터 작업에 대한 설정을 구성할 수 있습니다.

• 랜딩 작업을 열고 도구 모음에서 설정을 클릭합니다.

설정: <작업 이름> 대화 상자가 열립니다. 사용할 수 있는 설정은 아래에 설명되어 있습니다.

일반

업데이트 방법

랜딩 작업은 항상 전체 로드로 시작됩니다. 전체 로드가 완료된 후 다음 방법 중 하나를 사용하여 랜딩된 데이터를 최신 상태로 유지할 수 있습니다.

정보 메모랜딩 데이터 작업 준비 작업이 완료된 후에는 업데이트 방법을 변경할 수 없습니다.

• 데이터 변경 내용 캡처(CDC)

  랜딩된 데이터는 CDC(데이터 변경 내용 캡처) 기술을 사용하여 최신 상태로 유지됩니다. CDC는 일부 데이터 소스에서는 지원되지 않을 수 있습니다. CDC는 열 이름 바꾸기 또는 메타데이터 변경과 같은 DDL 작업을 캡처하지 않습니다.

  데이터에 CDC를 지원하지 않는 뷰나 테이블도 포함되어 있는 경우 두 개의 데이터 파이프라인이 만들어집니다. CDC를 지원하는 모든 테이블이 있는 하나의 파이프라인과 다시 로드를 업데이트 메서드로 사용하는 다른 모든 테이블과 뷰가 있는 또 다른 파이프라인입니다.

• 다시 로드

  랜딩된 모든 데이터는 소스에서 다시 로드됩니다. 이는 소스가 CDC를 지원하지 않지만 지원되는 모든 데이터 소스와 함께 사용할 수 있는 경우에 유용합니다.

  주기적으로 다시 로드를 예약할 수 있습니다.

  정보 메모SaaS 응용 프로그램 미리 보기 커넥터를 사용하는 경우 이 설정을 사용할 수 없습니다. 미리 보기 커넥터는 연결 만들기 대화 상자와 온라인 도움말 모두에서 버튼으로 표시됩니다.

사용할 폴더

스테이징 영역에 데이터를 랜딩할 때 사용할 폴더를 선택합니다.

• 기본 폴더

  그러면 기본 이름이 <프로젝트 이름>/<데이터 작업 이름>인 폴더가 만들어집니다.

• 루트 폴더

  저장소의 루트 폴더에 데이터를 저장합니다.

• 폴더

  사용할 폴더 이름을 지정합니다.

데이터 업로드

파일 특성

데이터 업로드를 위한 파일 설정을 구성합니다.

• 필드 구분 기호

  소스 데이터 파일에서 사용되는 필드 구분 기호 문자. 기본값은 ","입니다.

• Null 값

  소스 데이터 파일에서 null 값을 바꾸기 위한 선택적 기본 문자열.

• 레코드 구분 기호

  소스 데이터 파일에서 사용되는 레코드 구분 기호 문자. 기본값은 "\n"입니다.

• 인용 문자

  소스 데이터 파일에서 사용된 인용 문자. 기본값은 """입니다.

• 인용 이스케이프 문자

  소스 데이터 파일에서 사용된 인용 이스케이프 문자. 기본값은 """입니다.

• 최대 파일 크기(KB)

  파일이 닫히기 전에 도달할 수 있는 최대 크기입니다. 병렬 실행 옵션과 함께 사용하면 더 작은 파일이 더 빠르게 업로드되고 네트워크에 따라 성능이 향상될 수 있습니다. 그러나 일반적으로 작은 파일로 데이터베이스를 복잡하게 만드는 것은 좋지 않습니다.

• 다음을 사용하여 파일 압축

  선택하면 CSV 파일이 GZIP을 사용하여 압축됩니다.

  정보 메모

  • 데이터 이동 게이트웨이 2023.5.16 이상이 필요합니다.

메타데이터

LOB 열

• LOB 열을 포함하고 열 크기(KB)를 제한합니다.

  작업에 LOB 열을 포함하도록 선택하고 최대 LOB 크기를 설정할 수 있습니다. 최대 크기보다 큰 LOB는 잘립니다.

전체 로드

성능 튜닝

• 병렬로 로드할 최대 테이블 수: 한 번에 대상에 로드할 최대 테이블 수를 입력합니다. 기본값은 5입니다.

• 트랜잭션 일관성 시간 초과(초): 전체 로드 작업을 시작하기 전에 열려 있는 트랜잭션이 닫힐 때까지 기다리는 시간(초)을 입력합니다. 기본값은 600(10분)입니다. 아직 열려 있는 트랜잭션이 있더라도 시간 초과 값에 도달하면 전체 로드가 시작됩니다.

  정보 메모전체 로드가 시작되었을 때 열려 있었지만 제한 시간 값에 도달한 후에만 커밋된 트랜잭션을 복제하려면 대상 테이블을 다시 로드해야 합니다.
• 전체 로드 중 커밋 속도: 함께 전송할 수 있는 최대 이벤트 수입니다. 기본값은 10000입니다.

전체 로드 완료 후

기본 키 또는 고유 인덱스 만들기: 전체 로드가 완료될 때까지 데이터 플랫폼에서 기본 키 또는 고유 인덱스 만들기를 지연하려면 이 옵션을 선택합니다.

오류 처리

데이터 잘림 오류: 하나 이상의 특정 레코드에서 잘림이 발생할 때 수행할 작업을 선택합니다. 목록에서 다음 중 하나를 선택할 수 있습니다.

• 무시: 작업은 계속되고 오류는 무시됩니다.
• 일시 중단 테이블: 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 전환되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

기타 데이터 오류의 경우: 하나 이상의 특정 레코드에서 오류가 발생할 때 수행할 작업을 선택합니다. 목록에서 다음 중 하나를 선택할 수 있습니다.

• 무시: 작업은 계속되고 오류는 무시됩니다.
• 일시 중단 테이블: 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 전환되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

다른 데이터 오류에 도달할 경우 오류 처리 에스컬레이션(테이블별): 잘림이 없는 데이터 오류 수(테이블별)가 지정된 양에 도달할 때 발생하는 오류 처리를 에스컬레이션하려면 이 확인란을 선택합니다. 유효한 값은 1~10,000입니다.

에스컬레이션 작업: 오류 처리가 에스컬레이션될 때 발생하는 상황을 선택합니다. 사용할 수 있는 작업은 위에 설명된 기타 데이터 오류의 경우 드롭다운 목록에서 선택한 작업에 따라 달라집니다.

• 테이블 일시 중단(기본값): 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 이동되고 해당 데이터는 landed되지 않습니다.

• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

테이블 오류

테이블 오류를 반환하기 전 재시도 횟수

이 옵션을 사용하면 테이블 오류 처리 정책이 언제 트리거될지 제어할 수 있습니다. 기본적으로 테이블 오류가 발생하면 세 번의 재시도 후 테이블이 일시 중단되거나 작업이 중지됩니다(선택한 작업에 따라). 때로는 SaaS 애플리케이션의 계획된 유지 관리로 인해 테이블 오류가 발생할 수 있습니다. 이러한 경우, 테이블 오류 처리 정책이 트리거되기 전에 유지 관리가 완료되기에 기본 재시도 횟수가 충분하지 않을 수 있습니다. 이는 작업이 실행될 때마다 재시도가 수행되므로 작업의 예약 간격에도 따라 달라집니다. 따라서 예를 들어, 작업을 매시간 실행하도록 예약하고 작업이 시작될 때 SaaS 애플리케이션이 유지 관리를 위해 오프라인 상태가 되면, 기본 세 번의 재시도는 테이블 오류 처리 정책이 트리거되지 않고 SaaS 애플리케이션이 최대 세 시간 동안 오프라인 상태를 유지하도록 허용합니다. 더 긴 유지 관리 기간에는 테이블 오류 처리 정책이 트리거되는 것을 방지하기 위해 재시도 횟수를 늘리거나(또는 예약을 변경) 해야 합니다.

요약하자면, SaaS 애플리케이션이 주기적인 유지 관리를 거친다는 것을 알고 있다면, 테이블 오류 처리 정책이 트리거되지 않고 유지 관리가 완료될 수 있도록 예약에 따라 재시도 횟수를 늘리는 것이 가장 좋습니다.

테이블 오류가 발생하는 경우: 드롭다운 목록에서 다음 중 하나를 선택합니다.

• 테이블 일시 중단(기본값): 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 이동되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

테이블 오류 도달 시 오류 처리 에스컬레이션(테이블별): 테이블 오류 수(테이블별)가 지정된 양에 도달할 때 발생하는 오류 처리를 에스컬레이션하려면 이 확인란을 선택합니다. 유효한 값은 1~10,000입니다.

에스컬레이션 작업: 테이블 오류에 대한 에스컬레이션 정책은 작업 중지로 설정되어 있으며 변경할 수 없습니다.

환경

• 최대 다시 시도 횟수: 이 옵션을 선택한 다음 복구 가능한 환경 오류가 발생할 때 작업을 다시 시도하는 최대 시도 횟수를 지정합니다. 작업이 지정된 횟수만큼 재시도되면 작업이 중지되고 수동 개입이 필요합니다.

  작업을 다시 시도하지 않으려면 확인란을 선택 해제하거나 "0"을 지정합니다.

  작업을 무제한 다시 시도하려면 "-1"을 지정합니다.

  • 다시 시도 간격(초): 카운터를 사용하여 시스템이 작업 다시 시도 사이에 대기하는 시간(초)을 선택하거나 입력합니다.

    유효한 값은 0~2,000입니다.

• 긴 중단에 대한 다시 시도 간격 늘리기: 긴 중단에 대한 다시 시도 간격을 늘리려면 이 확인란을 선택합니다. 이 옵션을 사용하면 최대 다시 시도 간격에 도달할 때까지 각 다음 시도 사이의 간격을 두 배로 늘립니다(지정된 최대 간격에 따라 계속 다시 시도함).
  • 최대 다시 시도 간격(초): 긴 중단에 대한 다시 시도 간격 늘리기 옵션이 활성화된 경우 카운터를 사용하여 작업 다시 시도 간격(초)을 선택하거나 입력합니다. 유효한 값은 0~2,000입니다.

변경 처리 튜닝

트랜잭션 오프로드 튜닝

다음과 같은 경우 진행 중인 트랜잭션을 디스크로 오프로드합니다.

트랜잭션 데이터는 일반적으로 소스나 대상에 완전히 커밋될 때까지 메모리에 보관됩니다. 그러나 할당된 메모리보다 크거나 지정된 시간 제한 내에 커밋되지 않은 트랜잭션은 디스크로 오프로드됩니다.

• 모든 트랜잭션의 총 메모리 크기 초과(MB): 모든 트랜잭션이 디스크에 오프로드되기 전에 메모리에서 차지할 수 있는 최대 크기입니다. 기본값은 1024입니다.
• 트랜잭션 기간 초과(초): 각 트랜잭션이 디스크에 오프로드되기 전에 메모리에 머무를 수 있는 최대 시간입니다. 기간은 Qlik Talend Data Integration가 트랜잭션 캡처를 시작한 시간부터 계산됩니다. 기본값은 60입니다.

일괄 튜닝

• 트랜잭션당 최소 변경 수: 각 트랜잭션에 포함할 최소 변경 수입니다. 기본값은 1000입니다.

  정보 메모

  변경 수가 트랜잭션당 최소 변경 수보다 크거나 같은 경우 또는 아래 설명된 적용 전 트랜잭션을 배치하는 최대 시간(초) 값에 도달하는 경우가 먼저 발생할 때 변경 내용이 대상에 적용됩니다. 대상에 적용되는 변경 빈도는 이 두 매개 변수에 의해 제어되므로 소스 레코드에 대한 변경 내용이 대상 레코드에 즉시 반영되지 않을 수 있습니다.

• 적용 전 트랜잭션을 배치하는 최대 시간(초): 시간 초과를 선언하기 전에 트랜잭션을 일괄 수집하는 최대 시간입니다. 기본값은 1입니다.

기타 튜닝

• 문 캐시 크기(문 수): 나중에 실행하기 위해 서버에 저장할 준비된 문의 최대 수입니다(대상에 변경 내용을 적용할 때). 기본값은 50입니다. 최댓값은 200입니다.

• 기본 키 열을 업데이트할 때의 DELETE 및 INSERT 이 옵션을 사용하려면 소스 데이터베이스에서 전체 보충 로깅을 켜야 합니다.

스키마 진화

스키마에서 다음 유형의 DDL 변경을 처리하는 방법을 선택합니다. 스키마 진화 설정을 변경한 경우 작업을 다시 준비해야 합니다. 아래 표에서는 지원되는 DDL 변경에 대해 사용할 수 있는 작업을 설명합니다.

문자 대체

대상 데이터베이스의 소스 문자를 대체하거나 삭제할 수 있으며/또는 선택한 문자 집합에서 지원하지 않는 소스 문자를 대체하거나 삭제할 수 있습니다.

소스 문자 대체 또는 삭제

특정 소스 문자에 대한 대체를 정의하려면 소스 문자 대체 또는 삭제 표를 사용하십시오. 예를 들어, 문자의 유니코드 표현이 소스 플랫폼과 대상 플랫폼에서 다를 때 유용할 수 있습니다. 예를 들어, Linux에서는 Shift_JIS 문자 집합의 빼기 문자가 U+2212로 표시되지만 Windows에서는 U+FF0D으로 표시됩니다.

선택한 문자 집합에서 지원하지 않는 소스 문자 대체 또는 삭제

선택한 문자 집합에서 지원하지 않는 모든 문자에 대해 단일 대체 문자를 정의하려면 문자 집합별로 지원되지 않는 소스 문자 표를 사용합니다.

추가 옵션

이러한 옵션은 특정 버전이나 환경에만 관련되므로 UI에 표시되지 않습니다. 따라서 Qlik 지원 또는 제품 설명서에서 명시적으로 지시하지 않는 한 이러한 옵션을 설정하지 마십시오.

옵션을 설정하려면 옵션을 기능 이름 추가 필드에 복사하고 추가를 클릭하면 됩니다. 그런 다음 받은 지침에 따라 값을 설정하거나 옵션을 활성화합니다.

병렬로 데이터 집합 세그먼트 로딩

전체 로드 중에 데이터 집합을 여러 세그먼트로 분할하여 병렬로 로드함으로써 대용량 데이터 집합의 로드 속도를 높일 수 있습니다. 테이블은 데이터 범위, 모든 파티션, 모든 하위 파티션 또는 특정 파티션별로 분할할 수 있습니다.

자세한 내용은 병렬로 랜딩 데이터 집합 세그먼트를 참조하십시오.

데이터 이동 게이트웨이가 없을 때 CDC 작업 예약

데이터 이동 게이트웨이는 Qlik Talend Cloud 시작 구독에서는 지원되지 않으며 다른 구독 계층에서는 선택 사항입니다. 데이터 이동 게이트웨이가 없는 경우 예약 간격을 설정하여 대상 데이터를 최신 상태로 유지합니다. 일정은 소스 데이터 집합의 변경 내용으로 대상 데이터 집합이 업데이트되는 빈도를 결정합니다. 일정에 따라 업데이트 빈도가 결정되는 반면 데이터 집합 유형에 따라 업데이트 방법이 결정됩니다. 소스 데이터 집합이 CDC(Change data Capture)를 지원하는 경우 소스 데이터의 변경 내용만 해당 대상 테이블에 복제되고 적용됩니다. 소스 데이터 집합이 CDC(예: 뷰)를 지원하지 않는 경우 모든 소스 데이터를 해당 대상 테이블에 다시 로드하여 변경 내용이 적용됩니다. 소스 데이터 집합 중 일부는 CDC를 지원하고 일부는 지원하지 않는 경우 두 개의 별도 하위 작업이 만들어집니다. 하나는 CDC를 지원하지 않는 데이터 집합을 다시 로드하기 위한 것이고 다른 하나는 CDC를 지원하는 데이터 집합에 대한 변경 내용을 캡처하기 위한 것입니다. 이 경우 데이터 일관성을 보장하기 위해 두 하위 작업에 대해 동일한 일정을 설정하는 것이 좋습니다.

데이터 소스 유형 및 구독 계층에 따른 최소 예약 간격에 대한 자세한 내용은 허용되는 최소 예약 간격을 참조하십시오.

일정을 변경하려면:

1. 데이터 프로젝트를 열고 다음 중 하나를 수행합니다.

   • 작업 보기에서 데이터 작업에 대한 를 클릭하고 예약을 선택합니다.
   • 파이프라인 보기에서 데이터 작업의 를 클릭하고 예약을 선택합니다.
   • 랜딩 작업을 열고 일정 도구 모음 버튼을 클릭합니다.
2. 필요에 따라 예약 설정을 변경한 다음 확인을 클릭합니다.