데이터 레이크에 랜딩 설정

필요에 따라 기본 데이터 레이크 랜딩 설정을 변경할 수 있습니다.

일반

업데이트 방법

두 가지 다른 모드에서 데이터를 랜딩할 수 있습니다. 데이터 레이크 랜딩 작업이 준비되면 모드를 변경할 수 없습니다.

• 데이터 변경 내용 캡처(CDC): 데이터 레이크 랜딩 작업은 전체 로드로 시작됩니다(선택한 모든 테이블이 랜딩되는 동안). 랜딩된 데이터는 CDC(데이터 변경 내용 캡처) 기술을 사용하여 최신 상태로 유지됩니다.

  정보 메모DDL 작업의 CDC(데이터 변경 내용 캡처)는 지원되지 않습니다.
• 다시 로드: 선택한 소스 테이블의 데이터를 대상 플랫폼으로 전체 로드하고 필요한 경우 대상 테이블을 만듭니다. 전체 로드는 작업이 시작될 때 자동으로 발생하지만 수동으로 수행하거나 필요에 따라 주기적으로 발생하도록 예약할 수도 있습니다.

사용할 폴더

파일을 쓰려는 버킷 폴더에 따라 다음 중 하나를 선택합니다.

• 기본 폴더: 기본 폴더 형식은 <프로젝트 이름>/<작업 이름>입니다.
• 루트 폴더: 파일을 버킷에 직접 기록합니다.

• 폴더: 폴더 이름을 입력합니다. 폴더가 없는 경우 데이터 레이크 랜딩 작업 중에 폴더가 만들어집니다.

  정보 메모 폴더 이름에는 특수 문자(예: @, #, ! 등)를 포함할 수 없습니다.

데이터 파티셔닝 변경

표준 랜딩 작업에서는 변경 내용이 특별한 순서 없이 대상에 랜딩됩니다. 데이터 파티션 변경을 사용하면 여러 테이블의 변경 데이터를 일관된 방식으로 처리할 수 있습니다. 파티션 기간과 파티션 기본 시간을 정의하여 파티셔닝된 데이터의 전반적인 일관성을 보장할 수 있습니다(예: 부분 트랜잭션 없음, 주문 행이 없는 주문 헤더 없음 등).

파티션에 대한 정보는 대상 데이터베이스의 attrep_cdc_partitions 제어 테이블에 기록됩니다. 이 정보는 추가 처리가 필요한 파티셔닝된 데이터를 식별하는 데 사용될 수 있습니다.

파티셔닝 옵션은 다음과 같습니다.

• 파티션 간격 - 각 파티션의 길이(시간 및 분 단위)를 지정합니다.

  정보 메모

  1시간을 초과하는 파티션 길이를 지정하는 것이 좋습니다. 파티션 길이를 1시간 미만으로 지정하면 지연 시간이 향상될 수 있지만 대상에 많은 파티션을 만들면(대상) 성능에도 영향을 미칠 수 있습니다(특히 변경량이 많은 시스템의 경우).

  마지막 파티션이 만들어지기 이전부터 작업을 재개하면 데이터 레이크 랜딩 작업은 이미 닫힌 파티션에 기록됩니다.

• 파티션 기본 시간 - 파티션은 24시간 동안 만들어지며, 이는 소스 데이터베이스에 지정된 "파티션 기본 시간"(UTC 시간)에 따라 계산됩니다. 예를 들어, "파티션 기본 시간" 시간이 02:00인 파티션 간격이 8시간이면 다음 파티션이 만들어집니다. 02:00-10:00, 10:00-18:00, 18:00-02:00(반드시 이 순서는 아님). 예를 들어, 작업이 01:00에 시작된 경우 첫 번째 파티션의 기간은 18:00-02:00입니다. 또한 작업이 파티션 중간에 시작된 경우(예: 04:00), 변경 데이터는 04:00 이전에 캡처된 변경 내용이 없더라도 02:00-10:00 파티션에 삽입됩니다.

데이터 업로드

파일 특성

필드 구분 기호

대상 파일에서 필드(열)를 구분하는 데 사용되는 구분 기호입니다. 기본값은 쉼표입니다.

쉼표를 구분 기호로 사용하는 예:

"mike","male"

구분 기호는 표준 문자이거나 16진수(hex) 값일 수 있습니다. 16진수 구분 기호(예: 0x01 = SOH)를 나타내려면 "0x" 접두사를 사용해야 합니다. 필드 구분 기호, 레코드 구분 기호 및 Null 값 필드에서 구분 기호는 연결된 16진수 값으로 구성될 수 있습니다(예: 0x0102 = SOHSTX), 반면에 인용 문자 및 인용 이스케이프 문자 필드에서는 단일 16진수 값만 가능합니다.

16진수 0x00은 지원되지 않습니다(즉, 0x01-0xFF만 지원됨).

Null 값

대상 파일에서 null 값을 나타내는 데 사용되는 문자열입니다.

예(\n은 레코드 구분 기호이고 @는 null 값임):

레코드 구분 기호

대상 파일에서 레코드(행)를 구분하는 데 사용되는 구분 기호입니다. 기본값은 줄바꿈(\n)입니다.

예:

인용 문자

텍스트 열의 시작과 끝 부분에 사용되는 문자입니다. 기본값은 큰따옴표 문자(")입니다. 열 구분 기호가 포함된 열을 큰따옴표로 묶으면 열 구분 기호 문자는 열 구분 기호가 아닌 실제 데이터로 해석됩니다.

예(@는 인용 문자임):

인용 이스케이프 문자

실제 데이터에서 인용 문자를 이스케이프하는 데 사용되는 문자입니다. 기본값은 큰따옴표 문자(")입니다.

예(여기서 "는 인용 문자이고 \는 이스케이프 문자임):

Parquet 버전

대상 플랫폼이 지원하는 버전에 따라 사용할 버전을 선택합니다. Parquet 버전 1.0은 MICRO 타임스탬프 단위만 지원하는 반면 Parquet 버전 2.6은 MICRO 및 NANO 타임스탬프 단위를 모두 지원합니다.

Parquet 타임스탬프 단위

Parquet 버전이 2.6으로 설정된 경우 MICRO 또는 NANO를 선택합니다. Parquet 버전이 1.0으로 설정된 경우 MICRO만 지원됩니다.

Parquet 최대 LOB 크기(KB)

기본 최대 LOB 크기는 64KB이고 이 필드에 입력할 수 있는 최댓값은 10,000KB입니다. LOB 열을 처리하려면 더 많은 리소스가 필요하며 이는 결과적으로 성능에 영향을 미칩니다. 64KB보다 큰 LOB 데이터를 복제하고 모든 LOB 데이터를 대상에 복제해야 하는 경우에만 이 값을 늘립니다.

최대 파일 크기

파일이 닫히기 전(선택적으로 압축되기 전)에 도달할 수 있는 최대 크기입니다.

파일이 닫히기 전에 도달할 수 있는 최대 크기입니다. 병렬 실행 옵션과 함께 사용하면 더 작은 파일이 더 빠르게 업로드되고 네트워크에 따라 성능이 향상될 수 있습니다. 그러나 일반적으로 작은 파일로 데이터베이스를 복잡하게 만드는 것은 좋지 않습니다.

다음을 사용하여 파일 압축

압축 옵션 중 하나를 선택하여 대상 파일을 압축하거나 NONE(기본값)을 선택하여 압축되지 않은 상태로 둡니다. 사용할 수 있는 압축 옵션은 선택한 파일 형식에 따라 결정됩니다.

메타데이터 헤더 추가

선택적으로 데이터 파일에 헤더 행을 추가할 수 있습니다. 헤더 행에는 소스 열 이름 및/또는 중간 항목(예: Data Movement gateway) 데이터 유형.

열 이름 포함 및 데이터 유형 포함을 모두 선택한 경우 헤더 행이 있는 대상 파일의 예:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

변경 처리 중

이 섹션에서는 변경 처리의 조건부 설정에 대해 설명합니다.

다음 경우에 변경 내용 적용/저장

• 파일 크기 도달: 파일을 대상에 업로드하기 전에 누적할 변경 데이터의 최대 크기를 지정합니다.
• 경과 시간 도달: 경과 시간이 x에 도달합니다.

메타데이터 파일

대상 폴더에 메타데이터 파일 만들기 옵션을 선택하면 각 데이터 파일에 대해 확장자가 .dfm인 일치하는 메타데이터 파일이 지정된 대상 폴더 아래에 만들어집니다. 메타데이터 파일은 소스 커넥터 유형, 소스 테이블 이름, 데이터 파일의 레코드 수 등과 같은 작업/데이터에 대한 추가 정보를 제공합니다.

메타데이터 파일에 대한 자세한 설명과 가능한 용도는 메타데이터 파일 설명 을 참조하십시오.

메타데이터

LOB 열

• LOB 열을 포함하고 열 크기(KB)를 제한합니다.

  작업에 LOB 열을 포함하도록 선택하고 최대 LOB 크기를 설정할 수 있습니다. 최대 크기보다 큰 LOB는 잘립니다.

제어 테이블

다음 중 대상 플랫폼에 만들려는 제어 테이블을 선택합니다.

• 랜딩 상태: 작업 상태, 작업에 사용된 메모리 양, 아직 데이터 플랫폼에 적용되지 않은 변경 내용 수, 데이터 이동 게이트웨이가 현재 읽고 있는 소스 종료 지점에서의 위치 등 현재 랜딩 작업에 대한 세부 정보를 제공합니다.
• 일시 중단된 테이블: 일시 중단된 테이블 목록과 일시 중단된 이유를 제공합니다.
• 랜딩 기록: 랜딩 작업 중에 처리된 레코드 수와 양, CDC 작업 종료 시 지연 시간 등을 포함한 작업 레코드에 대한 정보를 제공합니다.
• 데이터 파티션 변경: 데이터 파티셔닝 변경으로 인해 대상 데이터베이스에 만들어진 파티션의 레코드를 제공합니다. 이 정보를 사용하여 추가 처리가 필요한 분할된 데이터를 식별할 수 있습니다.

각 제어 테이블에 대한 자세한 설명은 제어 테이블를 참조하십시오.

전체 로드

성능 튜닝

• 병렬로 로드할 최대 테이블 수: 한 번에 대상에 로드할 최대 테이블 수를 입력합니다. 기본값은 5입니다.

• 트랜잭션 일관성 제한 시간(초): 전체 로드 작업을 시작하기 전에 열려 있는 트랜잭션이 닫힐 때까지 기다리는 시간(초)을 입력합니다. 기본값은 600(10분)입니다. 아직 열려 있는 트랜잭션이 있더라도 시간 초과 값에 도달하면 전체 로드가 시작됩니다.

  정보 메모전체 로드가 시작되었을 때 열려 있었지만 제한 시간 값에 도달한 후에만 커밋된 트랜잭션을 복제하려면 대상 테이블을 다시 로드해야 합니다.
• 전체 로드 중 커밋 비율: 함께 전송할 수 있는 최대 이벤트 수입니다. 기본값은 10000입니다.

전체 로드 완료 후

기본 키 또는 고유 인덱스 만들기: 전체 로드가 완료될 때까지 데이터 플랫폼에서 기본 키 또는 고유 인덱스 만들기를 지연하려면 이 옵션을 선택합니다.

오류 처리

데이터 오류

데이터 잘림 오류

데이터 잘림 오류: 하나 이상의 특정 레코드에서 잘림이 발생할 때 수행할 작업을 선택합니다. 목록에서 다음 중 하나를 선택할 수 있습니다.

• 무시: 작업은 계속되고 오류는 무시됩니다.
• 일시 중단 테이블: 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 전환되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

기타 데이터 오류

기타 데이터 오류의 경우: 하나 이상의 특정 레코드에서 오류가 발생할 때 수행할 작업을 선택합니다. 목록에서 다음 중 하나를 선택할 수 있습니다.

• 무시: 작업은 계속되고 오류는 무시됩니다.
• 일시 중단 테이블: 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 전환되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

데이터 오류 처리 에스컬레이션

다른 데이터 오류에 도달할 경우 오류 처리 에스컬레이션(테이블별): 잘림이 없는 데이터 오류 수(테이블별)가 지정된 양에 도달할 때 발생하는 오류 처리를 에스컬레이션하려면 이 확인란을 선택합니다. 유효한 값은 1~10,000입니다.

에스컬레이션 작업: 오류 처리가 에스컬레이션될 때 발생하는 상황을 선택합니다. 사용할 수 있는 작업은 위에 설명된 기타 데이터 오류의 경우 드롭다운 목록에서 선택한 작업에 따라 달라집니다.

• 테이블 일시 중단(기본값): 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 이동되고 해당 데이터는 landed되지 않습니다.

• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

테이블 오류

테이블 오류 발생 시: 드롭다운 목록에서 다음 중 하나를 선택합니다.

• 테이블 일시 중단(기본값): 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 전환되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

테이블 오류 도달 시 오류 처리 에스컬레이션(테이블별): 테이블 오류 수(테이블별)가 지정된 양에 도달할 때 발생하는 오류 처리를 에스컬레이션하려면 이 확인란을 선택합니다. 유효한 값은 1~10,000입니다.

에스컬레이션 작업: 테이블 오류에 대한 에스컬레이션 정책은 작업 중지로 설정되어 있으며 변경할 수 없습니다.

환경

• 최대 다시 시도 횟수: 이 옵션을 선택한 다음 복구 가능한 환경 오류가 발생할 때 작업을 다시 시도하는 최대 시도 횟수를 지정합니다. 작업이 지정된 횟수만큼 재시도되면 작업이 중지되고 수동 개입이 필요합니다.

  작업을 다시 시도하지 않으려면 확인란을 선택 해제하거나 "0"을 지정합니다.

  작업을 무제한 다시 시도하려면 "-1"을 지정합니다.

  • 다시 시도 간격(초): 카운터를 사용하여 시스템이 작업 다시 시도 사이에 대기하는 시간(초)을 선택하거나 입력합니다.

    유효한 값은 0~2,000입니다.

• 긴 중단에 대한 다시 시도 간격 늘리기: 긴 중단에 대한 다시 시도 간격을 늘리려면 이 확인란을 선택합니다. 이 옵션을 사용하면 최대 다시 시도 간격에 도달할 때까지 각 다음 시도 사이의 간격을 두 배로 늘립니다(지정된 최대 간격에 따라 계속 다시 시도함).
  • 최대 다시 시도 간격(초): 긴 중단에 대한 다시 시도 간격 늘리기 옵션이 활성화된 경우 카운터를 사용하여 작업 다시 시도 간격(초)을 선택하거나 입력합니다. 유효한 값은 0~2,000입니다.

변경 처리 튜닝

트랜잭션 오프로드 튜닝

• 다음과 같은 경우 진행 중인 트랜잭션을 디스크로 오프로드합니다.

  트랜잭션 데이터는 일반적으로 소스나 대상에 완전히 커밋될 때까지 메모리에 보관됩니다. 그러나 할당된 메모리보다 크거나 지정된 시간 제한 내에 커밋되지 않은 트랜잭션은 디스크로 오프로드됩니다.

  • 모든 트랜잭션의 총 메모리 크기가 다음을 초과합니다(MB): 모든 트랜잭션이 디스크로 오프로드되기 전에 메모리에서 차지할 수 있는 최대 크기입니다. 기본값은 1024입니다.
  • 트랜잭션 기간 초과(초): 각 트랜잭션이 디스크로 오프로드되기 전에 메모리에 남아 있을 수 있는 최대 시간입니다. 기간은 Data Movement gateway가 트랜잭션 캡처를 시작한 시간부터 계산됩니다. 기본값은 60입니다.

기타 튜닝

• 문 캐시 크기(문 수): 나중에 실행하기 위해 서버에 저장할 준비된 문의 최대 수입니다(대상에 변경 내용을 적용할 때). 기본값은 50입니다. 최댓값은 200입니다.

• 기본 키 열을 업데이트할 때의 DELETE 및 INSERT 이 옵션을 사용하려면 소스 데이터베이스에서 전체 보충 로깅을 켜야 합니다.

일괄 튜닝

• 트랜잭션당 최소 변경 수: 각 트랜잭션에 포함할 최소 변경 수입니다. 기본값은 1000입니다.

  정보 메모

  변경 수가 트랜잭션당 최소 변경 수보다 크거나 같은 경우 또는 아래 설명된 적용 전 트랜잭션을 배치하는 최대 시간(초) 값에 도달하는 경우가 먼저 발생할 때 변경 내용이 대상에 적용됩니다. 대상에 적용되는 변경 빈도는 이 두 매개 변수에 의해 제어되므로 소스 레코드에 대한 변경 내용이 대상 레코드에 즉시 반영되지 않을 수 있습니다.

• 적용 전 트랜잭션을 배치하는 최대 시간(초): 시간 초과를 선언하기 전에 트랜잭션을 일괄 수집하는 최대 시간입니다. 기본값은 1입니다.

문자 대체

대상 데이터베이스의 소스 문자를 대체하거나 삭제할 수 있으며/또는 선택한 문자 집합에서 지원하지 않는 소스 문자를 대체하거나 삭제할 수 있습니다.

소스 문자 대체 또는 삭제

특정 소스 문자에 대한 대체를 정의하려면 소스 문자 대체 또는 삭제 표를 사용하십시오. 예를 들어, 문자의 유니코드 표현이 소스 플랫폼과 대상 플랫폼에서 다를 때 유용할 수 있습니다. 예를 들어, Linux에서는 Shift_JIS 문자 집합의 빼기 문자가 U+2212로 표시되지만 Windows에서는 U+FF0D으로 표시됩니다.

선택한 문자 집합에서 지원하지 않는 소스 문자 대체 또는 삭제

선택한 문자 집합에서 지원하지 않는 모든 문자에 대해 단일 대체 문자를 정의하려면 문자 집합별로 지원되지 않는 소스 문자 표를 사용합니다.

추가 옵션

이러한 옵션은 특정 버전이나 환경에만 관련되므로 UI에 표시되지 않습니다. 따라서 Qlik 지원 또는 제품 설명서에서 명시적으로 지시하지 않는 한 이러한 옵션을 설정하지 마십시오.

옵션을 설정하려면 옵션을 기능 이름 추가 필드에 복사하고 추가를 클릭하면 됩니다. 그런 다음 받은 지침에 따라 값을 설정하거나 옵션을 활성화합니다.

SaaS 응용 프로그램

• 초기 로드의 경우

SaaS 응용 프로그램 소스에서 데이터를 이동할 때 초기 전체 로드를 수행하는 방법을 설정할 수 있습니다.

정보 메모이러한 설정에는 데이터 이동 게이트웨이 버전 2022.11.74 이상이 필요합니다.

캐시된 데이터 사용	이 옵션을 사용하면 전체 데이터 검색이 선택된 상태에서 메타데이터를 생성할 때 읽은 캐시된 데이터를 사용할 수 있습니다. 이렇게 하면 데이터가 이미 소스에서 읽히므로 API 사용 및 할당량과 관련된 오버헤드가 줄어듭니다. 초기 데이터 검색 이후의 모든 변경 내용은 데이터 변경 내용 캡처(CDC)에서 선택할 수 있습니다.
소스에서 데이터 로드	이 옵션은 데이터 소스에서 새 로드를 수행합니다. 이 옵션은 다음과 같은 경우에 유용합니다. 메타데이터 검색이 최근에 수행되지 않았습니다. 소스 데이터 집합은 작고 자주 변경되며 전체 변경 내역을 유지하고 싶지 않습니다.

• 변경 내용 읽기 간격(분)

  소스에서 변경 내용을 읽는 간격을 분 단위로 설정합니다. 유효한 범위는 1~1440입니다.

  정보 메모이 옵션은 업데이트 방법이 CDC(데이터 변경 내용 캡처)인 데이터 작업에만 사용할 수 있습니다.