랜딩 설정

랜딩 데이터 작업에 대한 설정을 구성할 수 있습니다.

• 랜딩 작업을 열고 도구 모음에서 설정을 클릭합니다.

설정: <작업 이름> 대화 상자가 열립니다. 사용할 수 있는 설정은 아래에 설명되어 있습니다.

일반

• 데이터베이스

  대상에서 사용할 데이터베이스입니다.

  정보 메모이 옵션은 데이터를 Qlik Cloud(Amazon S3을 통해)에 랜딩할 때 사용할 수 없습니다.

• 작업 스키마

  랜딩 데이터 작업 스키마의 이름을 변경할 수 있습니다. 기본 이름은 랜딩입니다.

  정보 메모이 옵션은 데이터를 Qlik Cloud(Amazon S3을 통해)에 랜딩할 때 사용할 수 없습니다.

• 모든 테이블 및 보기에 대한 접두사

  이 작업으로 만들어진 모든 테이블 및 뷰에 대한 접두사를 설정할 수 있습니다.

  정보 메모이 옵션은 데이터를 Qlik Cloud(Amazon S3을 통해)에 랜딩할 때 사용할 수 없습니다.
  정보 메모여러 데이터 작업에서 데이터베이스 스키마를 사용하려는 경우 고유한 접두사를 사용해야 합니다.

• 업데이트 방법

  랜딩 작업은 항상 전체 로드로 시작됩니다. 전체 로드가 완료된 후 다음 방법 중 하나를 사용하여 랜딩된 데이터를 최신 상태로 유지할 수 있습니다.

  정보 메모랜딩 데이터 작업 준비 작업이 완료된 후에는 업데이트 방법을 변경할 수 없습니다.

  • 데이터 변경 내용 캡처(CDC)

    랜딩된 데이터는 CDC(데이터 변경 내용 캡처) 기술을 사용하여 최신 상태로 유지됩니다. CDC는 일부 데이터 소스에서는 지원되지 않을 수 있습니다. CDC는 열 이름 바꾸기 또는 메타데이터 변경과 같은 DDL 작업을 캡처하지 않습니다.

    데이터에 CDC를 지원하지 않는 뷰나 테이블도 포함되어 있는 경우 두 개의 데이터 파이프라인이 만들어집니다. CDC를 지원하는 모든 테이블이 포함된 파이프라인 하나와 업데이트 방법으로 다시 로드 및 비교를 사용하는 다른 모든 테이블과 뷰가 포함된 또 다른 파이프라인입니다.

  • 다시 로드 및 비교

    랜딩된 모든 데이터는 소스에서 다시 로드됩니다. 이는 소스가 CDC를 지원하지 않지만 지원되는 모든 데이터 소스와 함께 사용할 수 있는 경우에 유용합니다.

    주기적으로 다시 로드를 예약할 수 있습니다.

• 스테이징 영역에서 사용할 폴더

  스테이징 영역이 필요한 데이터 플랫폼(예: Databricks 및 Azure Synapse Analytics)의 경우 데이터를 랜딩할 때 사용할 폴더를 선택할 수 있습니다.

  • 기본 폴더

    그러면 기본 이름이 <프로젝트 이름>/<데이터 작업 이름>인 폴더가 만들어집니다.

  • 루트 폴더

    저장소의 루트 폴더에 데이터를 저장합니다.

    정보 메모이 옵션은 데이터를 Qlik Cloud(Amazon S3을 통해)에 랜딩할 때만 사용할 수 있습니다.

  • 폴더

    사용할 폴더 이름을 지정합니다.

• 변경 처리 간격

  소스에서 변경 내용을 처리하는 간격을 설정할 수 있습니다.

  정보 메모이 옵션은 데이터를 Qlik Cloud(Amazon S3을 통해)에 랜딩할 때만 사용할 수 있습니다.

• 데이터 이동 게이트웨이 사용 시 프록시 서버

  정보 메모이 옵션은 Data Movement gateway를 통해 대상에 액세스하는 경우에만 사용할 수 있습니다.

  데이터 이동 게이트웨이가 클라우드 데이터 웨어하우스 및 저장소 영역에 연결할 때 프록시 서버를 사용하도록 선택할 수 있습니다.

  프록시 서버를 사용하도록 데이터 이동 게이트웨이를 구성하는 방법에 대한 자세한 내용은 Qlik Cloud 테넌트 및 프록시 서버 설정을 참조하십시오.

  • 프록시를 사용하여 클라우드 데이터 웨어하우스에 연결

    정보 메모Snowflake, Google BigQuery 및 Databricks를 사용할 때 사용할 수 있습니다.

  • 프록시를 사용하여 저장소에 연결

    정보 메모Azure Synapse Analytics, Amazon Redshift 및 Databricks를 사용할 때 사용할 수 있습니다.

데이터 업로드

• 최대 파일 크기(MB)

  파일이 닫히기 전에 도달할 수 있는 최대 크기입니다. 병렬 실행 옵션과 함께 사용하면 더 작은 파일이 더 빠르게 업로드되고 네트워크에 따라 성능이 향상될 수 있습니다. 그러나 일반적으로 작은 파일로 데이터베이스를 복잡하게 만드는 것은 좋지 않습니다.

  정보 메모이 설정은 Qlik Cloud를 제외한 모든 데이터 플랫폼과 관련됩니다.

• 압축 사용

  선택하면 Google BigQuery에 업로드되기 전에 CSV 파일이 압축됩니다(gzip 사용).

  정보 메모

  • 이 설정은 Google BigQuery에만 해당됩니다.
  • 데이터 이동 게이트웨이 2023.5.16 이상이 필요합니다.

메타데이터

LOB 열

• LOB 열을 포함하고 열 크기(KB)를 제한합니다.

  작업에 LOB 열을 포함하도록 선택하고 최대 LOB 크기를 설정할 수 있습니다. 최대 크기보다 큰 LOB는 잘립니다.

  정보 메모 Azure Synapse Analytics를 대상으로 사용하는 경우 최대 LOB 크기는 7MB를 초과할 수 없습니다.

제어 테이블

다음 중 대상 플랫폼에 만들려는 제어 테이블을 선택합니다.

• 랜딩 상태: 작업 상태, 작업에 사용된 메모리 양, 아직 데이터 플랫폼에 적용되지 않은 변경 내용 수, 데이터 이동 게이트웨이가 현재 읽고 있는 소스 종료 지점에서의 위치 등 현재 랜딩 작업에 대한 세부 정보를 제공합니다.
• 일시 중단된 테이블: 일시 중단된 테이블 목록과 일시 중단된 이유를 제공합니다.
• 랜딩 기록: 랜딩 작업 중에 처리된 레코드 수와 양, CDC 작업 종료 시 지연 시간 등을 포함한 작업 레코드에 대한 정보를 제공합니다.

• DDL 기록: 작업 중에 발생한 지원되는 모든 DDL 변경 기록이 포함되어 있습니다.

  정보 메모

  DDL 기록 테이블은 다음 대상 플랫폼에서만 지원됩니다.

  • Databricks

  • Microsoft Fabric

각 제어 테이블에 대한 자세한 설명은 제어 테이블를 참조하십시오.

전체 로드

성능 튜닝

• 병렬로 로드할 최대 테이블 수: 한 번에 대상에 로드할 최대 테이블 수를 입력합니다. 기본값은 5입니다.

• 트랜잭션 일관성 시간 초과(초): 전체 로드 작업을 시작하기 전에 열려 있는 트랜잭션이 닫힐 때까지 기다리는 시간(초)을 입력합니다. 기본값은 600(10분)입니다. 아직 열려 있는 트랜잭션이 있더라도 시간 초과 값에 도달하면 전체 로드가 시작됩니다.

  정보 메모전체 로드가 시작되었을 때 열려 있었지만 제한 시간 값에 도달한 후에만 커밋된 트랜잭션을 복제하려면 대상 테이블을 다시 로드해야 합니다.
• 전체 로드 중 커밋 속도: 함께 전송할 수 있는 최대 이벤트 수입니다. 기본값은 10000입니다.

전체 로드 완료 후

기본 키 또는 고유 인덱스 만들기: 전체 로드가 완료될 때까지 데이터 플랫폼에서 기본 키 또는 고유 인덱스 만들기를 지연하려면 이 옵션을 선택합니다.

초기 로드의 경우

SaaS 응용 프로그램 소스에서 데이터를 이동할 때 초기 전체 로드를 수행하는 방법을 설정할 수 있습니다.

오류 처리

데이터 오류

데이터 잘림 오류: 하나 이상의 특정 레코드에서 잘림이 발생할 때 수행할 작업을 선택합니다. 목록에서 다음 중 하나를 선택할 수 있습니다.

• 무시: 작업은 계속되고 오류는 무시됩니다.
• 일시 중단 테이블: 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 전환되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

기타 데이터 오류의 경우: 하나 이상의 특정 레코드에서 오류가 발생할 때 수행할 작업을 선택합니다. 목록에서 다음 중 하나를 선택할 수 있습니다.

• 무시: 작업은 계속되고 오류는 무시됩니다.
• 일시 중단 테이블: 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 전환되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

다른 데이터 오류에 도달할 경우 오류 처리 에스컬레이션(테이블별): 잘림이 없는 데이터 오류 수(테이블별)가 지정된 양에 도달할 때 발생하는 오류 처리를 에스컬레이션하려면 이 확인란을 선택합니다. 유효한 값은 1~10,000입니다.

에스컬레이션 작업: 오류 처리가 에스컬레이션될 때 발생하는 상황을 선택합니다. 사용할 수 있는 작업은 위에 설명된 기타 데이터 오류의 경우 드롭다운 목록에서 선택한 작업에 따라 달라집니다.

• 테이블 일시 중단(기본값): 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 이동되고 해당 데이터는 landed되지 않습니다.

• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

테이블 오류

테이블 오류 발생 시: 드롭다운 목록에서 다음 중 하나를 선택합니다.

• 테이블 일시 중단(기본값): 작업은 계속되지만 오류 레코드가 있는 테이블의 데이터는 오류 상태로 전환되고 해당 데이터는 복제되지 않습니다.
• 작업 중지: 작업이 중지되며 수동 개입이 필요합니다.

테이블 오류 도달 시 오류 처리 에스컬레이션(테이블별): 테이블 오류 수(테이블별)가 지정된 양에 도달할 때 발생하는 오류 처리를 에스컬레이션하려면 이 확인란을 선택합니다. 유효한 값은 1~10,000입니다.

에스컬레이션 작업: 테이블 오류에 대한 에스컬레이션 정책은 작업 중지로 설정되어 있으며 변경할 수 없습니다.

환경

• 최대 다시 시도 횟수: 이 옵션을 선택한 다음 복구 가능한 환경 오류가 발생할 때 작업을 다시 시도하는 최대 시도 횟수를 지정합니다. 작업이 지정된 횟수만큼 재시도되면 작업이 중지되고 수동 개입이 필요합니다.

  작업을 다시 시도하지 않으려면 확인란을 선택 해제하거나 "0"을 지정합니다.

  작업을 무제한 다시 시도하려면 "-1"을 지정합니다.

  • 다시 시도 간격(초): 카운터를 사용하여 시스템이 작업 다시 시도 사이에 대기하는 시간(초)을 선택하거나 입력합니다.

    유효한 값은 0~2,000입니다.

• 긴 중단에 대한 다시 시도 간격 늘리기: 긴 중단에 대한 다시 시도 간격을 늘리려면 이 확인란을 선택합니다. 이 옵션을 사용하면 최대 다시 시도 간격에 도달할 때까지 각 다음 시도 사이의 간격을 두 배로 늘립니다(지정된 최대 간격에 따라 계속 다시 시도함).
  • 최대 다시 시도 간격(초): 긴 중단에 대한 다시 시도 간격 늘리기 옵션이 활성화된 경우 카운터를 사용하여 작업 다시 시도 간격(초)을 선택하거나 입력합니다. 유효한 값은 0~2,000입니다.

변경 처리 튜닝

트랜잭션 오프로드 튜닝

• 다음과 같은 경우 진행 중인 트랜잭션을 디스크로 오프로드합니다.

  트랜잭션 데이터는 일반적으로 소스나 대상에 완전히 커밋될 때까지 메모리에 보관됩니다. 그러나 할당된 메모리보다 크거나 지정된 시간 제한 내에 커밋되지 않은 트랜잭션은 디스크로 오프로드됩니다.

  • 모든 트랜잭션의 총 메모리 크기 초과(MB): 모든 트랜잭션이 디스크에 오프로드되기 전에 메모리에서 차지할 수 있는 최대 크기입니다. 기본값은 1024입니다.
  • 트랜잭션 기간 초과(초): 각 트랜잭션이 디스크에 오프로드되기 전에 메모리에 머무를 수 있는 최대 시간입니다. 기간은 Qlik Talend Data Integration가 트랜잭션 캡처를 시작한 시간부터 계산됩니다. 기본값은 60입니다.

일괄 튜닝

이 탭의 일부 설정

Qlik Cloud를 제외한 모든 대상과 관련된 설정:

• 변경 내용 일괄 적용 간격:

• 초과: 각 일괄 변경 적용 사이에 대기하는 최소 시간입니다. 기본값은 1입니다.

  최소 시간 값을 늘리면 배치 크기가 늘어나면서 변경 내용이 대상에 적용되는 빈도가 줄어듭니다. 이렇게 하면 대규모 배치를 처리하는 데 최적화된 대상 데이터베이스에 변경 내용을 적용할 때 성능이 향상될 수 있습니다.

• 미만: 각 일괄 변경 적용(시간 초과를 선언하기 전) 사이에서 대기하는 최대 시간입니다.12-02-2024 08:56 즉, 허용 가능한 최대 지연 시간입니다. 기본값은 30입니다. 이 값은 최소 시간 값에 도달한 후 변경 내용을 적용하기 전에 기다려야 하는 최대 시간을 결정합니다.

• 처리 메모리가 MB를 초과할 때 일괄 적용 강제 적용: 사전 처리에 사용할 최대 메모리 양입니다. 기본값은 500MB입니다.

  최대 배치 크기의 경우 이 값을 데이터 작업에 할당할 수 있는 최대 메모리 양으로 설정합니다. 이렇게 하면 대규모 배치를 처리하는 데 최적화된 대상 데이터베이스에 변경 내용을 적용할 때 성능이 향상될 수 있습니다.

• 여러 테이블에 일괄 변경 내용을 동시에 적용: 이 옵션을 선택하면 여러 소스 테이블의 변경 내용을 적용할 때 성능이 향상됩니다.

  • 최대 테이블 수: 일괄 변경 내용을 동시에 적용할 최대 테이블 수입니다. 기본값은 5입니다.

  정보 메모Google BigQuery를 데이터 플랫폼으로 사용하는 경우 이 옵션은 지원되지 않습니다.

• 변경 처리 문당 적용되는 변경 수 제한: 단일 변경 처리 문에 적용되는 변경 수를 제한하려면 이 옵션을 선택합니다. 기본값은 10,000입니다.

  정보 메모이 옵션은 Google BigQuery를 데이터 플랫폼으로 사용하는 경우에만 지원됩니다.

Qlik Cloud에만 관련된 설정:

• 트랜잭션당 최소 변경 수: 각 트랜잭션에 포함할 최소 변경 수입니다. 기본값은 1000입니다.

  정보 메모

  변경 수가 트랜잭션당 최소 변경 수보다 크거나 같은 경우 또는 아래 설명된 적용 전 트랜잭션을 배치하는 최대 시간(초) 값에 도달하는 경우가 먼저 발생할 때 변경 내용이 대상에 적용됩니다. 대상에 적용되는 변경 빈도는 이 두 매개 변수에 의해 제어되므로 소스 레코드에 대한 변경 내용이 대상 레코드에 즉시 반영되지 않을 수 있습니다.

• 적용 전 트랜잭션을 배치하는 최대 시간(초): 시간 초과를 선언하기 전에 트랜잭션을 일괄 수집하는 최대 시간입니다. 기본값은 1입니다.

간격

• 변경 내용 읽기 간격(분)

  소스에서 변경 내용을 읽는 간격을 분 단위로 설정합니다. 유효한 범위는 1~1440입니다.

  정보 메모

  이 옵션은다음과 같은 경우에만 사용할 수 있습니다.

  • 데이터 이동 게이트웨이 사용
  • SaaS 응용 프로그램 소스에서 데이터 랜딩
  • 작업은 데이터 변경 내용 캡처(CDC) 업데이트 방법으로 정의됩니다.

기타 튜닝

• 문 캐시 크기(문 수): 나중에 실행하기 위해 서버에 저장할 준비된 문의 최대 수입니다(대상에 변경 내용을 적용할 때). 기본값은 50입니다. 최댓값은 200입니다.

• 기본 키 열을 업데이트할 때의 DELETE 및 INSERT 이 옵션을 사용하려면 소스 데이터베이스에서 전체 보충 로깅을 켜야 합니다.

문자 대체

대상 데이터베이스의 소스 문자를 대체하거나 삭제할 수 있으며/또는 선택한 문자 집합에서 지원하지 않는 소스 문자를 대체하거나 삭제할 수 있습니다.

소스 문자 대체 또는 삭제

특정 소스 문자에 대한 대체를 정의하려면 소스 문자 대체 또는 삭제 표를 사용하십시오. 예를 들어, 문자의 유니코드 표현이 소스 플랫폼과 대상 플랫폼에서 다를 때 유용할 수 있습니다. 예를 들어, Linux에서는 Shift_JIS 문자 집합의 빼기 문자가 U+2212로 표시되지만 Windows에서는 U+FF0D으로 표시됩니다.

선택한 문자 집합에서 지원하지 않는 소스 문자 대체 또는 삭제

선택한 문자 집합에서 지원하지 않는 모든 문자에 대해 단일 대체 문자를 정의하려면 문자 집합별로 지원되지 않는 소스 문자 표를 사용합니다.

추가 옵션

이러한 옵션은 특정 버전이나 환경에만 관련되므로 UI에 표시되지 않습니다. 따라서 Qlik 지원 또는 제품 설명서에서 명시적으로 지시하지 않는 한 이러한 옵션을 설정하지 마십시오.

옵션을 설정하려면 옵션을 기능 이름 추가 필드에 복사하고 추가를 클릭하면 됩니다. 그런 다음 받은 지침에 따라 값을 설정하거나 옵션을 활성화합니다.

데이터 이동 게이트웨이가 없을 때 CDC 작업 예약

데이터 이동 게이트웨이는 Qlik Talend Cloud 시작 구독에서는 지원되지 않으며 다른 구독 계층에서는 선택 사항입니다. 데이터 이동 게이트웨이가 없는 경우 예약 간격을 설정하여 대상 데이터를 최신 상태로 유지합니다. 일정은 소스 데이터 집합의 변경 내용으로 대상 데이터 집합이 업데이트되는 빈도를 결정합니다. 일정에 따라 업데이트 빈도가 결정되는 반면 데이터 집합 유형에 따라 업데이트 방법이 결정됩니다. 소스 데이터 집합이 CDC(Change data Capture)를 지원하는 경우 소스 데이터의 변경 내용만 해당 대상 테이블에 복제되고 적용됩니다. 소스 데이터 집합이 CDC(예: 뷰)를 지원하지 않는 경우 모든 소스 데이터를 해당 대상 테이블에 다시 로드하여 변경 내용이 적용됩니다. 소스 데이터 집합 중 일부는 CDC를 지원하고 일부는 지원하지 않는 경우 두 개의 별도 하위 작업이 만들어집니다. 하나는 CDC를 지원하지 않는 데이터 집합을 다시 로드하기 위한 것이고 다른 하나는 CDC를 지원하는 데이터 집합에 대한 변경 내용을 캡처하기 위한 것입니다. 이 경우 데이터 일관성을 보장하기 위해 두 하위 작업에 대해 동일한 일정을 설정하는 것이 좋습니다.

데이터 소스 유형 및 구독 계층에 따른 최소 예약 간격에 대한 자세한 내용은 허용되는 최소 예약 간격을 참조하십시오.

일정을 변경하려면:

1. 데이터 프로젝트를 열고 다음 중 하나를 수행합니다.

   • 작업 보기에서 데이터 작업에 대한 를 클릭하고 예약을 선택합니다.
   • 파이프라인 보기에서 데이터 작업의 를 클릭하고 예약을 선택합니다.
   • 랜딩 작업을 열고 일정 도구 모음 버튼을 클릭합니다.
2. 필요에 따라 예약 설정을 변경한 다음 확인을 클릭합니다.