Qlik Replicate에서 데이터 온보딩 | Qlik Cloud 도움말
기본 콘텐츠로 건너뛰기 보완적인 콘텐츠로 건너뛰기
Qlik 리소스
SearchUnify의 검색 로딩 제품에 대한 도움이 필요하면 Qlik 지원 센터에 문의하십시오.
Qlik 고객 포털
SearchUnify의 검색 로딩 제품에 대한 도움이 필요하면 Qlik 지원 센터에 문의하십시오.
Qlik 고객 포털

Qlik Replicate에서 데이터 온보딩

기존의 Replicate 인프라를 포기하지 않고도 Qlik 오픈 레이크하우스의 모든 기능을 활용할 수 있습니다.데이터 온보딩 마법사를 사용하여 Qlik Replicate Amazon S3 출력에서 데이터를 처리하고 Qlik 오픈 레이크하우스을(를) 사용하여 Iceberg 테이블로 저장하는 파이프라인을 생성합니다.

전제 조건

데이터 온보딩 마법사를 시작하기 전에 다음 전제 조건을 충족했는지 확인하십시오.

Qlik Replicate 사전 요구 사항

Amazon S3 버킷으로 데이터를 이동하도록 Qlik Replicate 작업을 설정합니다(Amazon S3 대상 엔드포인트를 통해).

Qlik Replicate 작업 사전 요구 사항

  • 전체 로드 및/또는 변경 내용 저장 (데이터를 최신 상태로 유지하는 데 필요) 복제 옵션만 활성화합니다.

  • 작업 설정의 변경 설정 저장 탭에서:

    • 다음과 같이 테이블 설정 변경을(를) 구성합니다.

      • 접미사: __ct

      • 헤더 열 접두사: header__

      • DDL 옵션: 변경 테이블에 적용

      • UPDATE 중: 이후 이미지만 저장

    • Change Data Partitioning(데이터 파티셔닝 변경)을 비활성화된 상태로 둡니다(기본값).

  • 작업 설정의 메타데이터 > 제어 테이블 탭에서 예외 적용 및 DDL 기록 제어 테이블이 선택되어 있는지 확인합니다.

이러한 설정에 대한 자세한 내용은 Qlik Replicate 작업 설정 도움말 (영어로만 제공)을 참조하십시오.

Qlik Replicate Amazon S3 대상 엔드포인트 사전 요구 사항

일반 탭에서:

  • 메타데이터 파일 섹션에서 대상 폴더에 메타데이터 파일 만들기 옵션 (Replicate 2025년 11월 또는 이전) 또는 각 데이터 파일에 대한 메타데이터 파일 만들기 옵션 (Replicate 2026년 5월 또는 이후)을 활성화합니다.S3 버킷에 .dfm 확장자를 가진 파일이 생성됩니다.
  • 파일 특성 섹션에서 다음 사항을 확인하십시오.
    • CSV 가 선택된 형식입니다(기본값)
    • 파일 압축 방식은 None (으)로 설정됨(기본값)
    • 메타데이터 헤더 추가 옵션이 모두 활성화되어 있습니다(열 이름 포함 및 데이터 유형 포함).
  • Amazon S3 저장소 설정을 구성할 때, 버킷에 Replicate되지 않은 파일이 포함되어 있는 경우, 대상 폴더를 지정하는 것이 좋습니다.그렇게 하면 Qlik 오픈 레이크하우스로 데이터를 온보딩할 때 필요한 출력을 더 쉽게 찾을 수 있습니다.

이러한 설정에 대한 자세한 내용은 Amazon S3 대상 엔드포인트 도움말 (영어로만 제공)을 참조하십시오.

Qlik 오픈 레이크하우스 전제 조건

Replicate Amazon S3 출력에 액세스하도록 구성된 AWS S3 데이터 스트림 커넥터.

자세한 내용은 다음을 참조하십시오. AWS S3 데이터 스트림.

Replicate이 S3에서 데이터를 구성하는 방법

Qlik Replicate이 S3에서 데이터를 구성하는 데 사용하는 구조에 익숙해지면 아래 온보딩 작업 생성에서 설명하는 디렉터리 브라우저에서 해당 파일을 더 쉽게 찾을 수 있습니다.

  • s3://bucket-name/target-path/schema.table/

    다음 예와 같이 전체 로드 파일 및 DFM 메타데이터 파일을 순차 형식으로 포함합니다.

    • LOAD00000001.csv

    • LOAD00000001.dfm

    • LOAD00000002.csv

    • LOAD00000002.dfm

  • s3://bucket-name/target-path/schema.table__ct/

    다음 예시와 같이 타임스탬프 형식의 변경 데이터 캡처 파일 및 DFM 메타데이터 파일을 포함합니다.

    • 20250121-083015000.csv

    • 20250121-083015000.dfm

    • 20250121-091522000.csv

    • 20250121-091522000.dfm

온보딩 작업을 생성합니다

Replicate 데이터에 대한 온보딩 작업을 구성하려면 다음 단계를 따르십시오.

  1. 온보딩 마법사를 다음과 같이 실행하십시오.

    • 새 프로젝트: 프로젝트 창 중앙에서 데이터 온보딩을 클릭합니다.

    • 기존 프로젝트: Qlik 오픈 레이크하우스 프로젝트의 오른쪽 상단에서 새로 만들기 > 데이터 온보딩을 클릭하여 온보딩 마법사를 시작합니다.

  2. 작업 이름 및 설명을 입력합니다.
  3. 데이터 원본 옵션에서 Qlik Replicate를 선택합니다.그런 후 다음을 클릭합니다.
  4. 이전에 구성한 AWS S3 데이터 스트림 커넥터를 선택합니다.그런 후 다음을 클릭합니다.

  5. 왼쪽의 디렉터리 브라우저 창에서 Replicate 출력이 포함된 루트 디렉터리를 선택합니다.

    팁 메모Replicate Amazon S3 대상 엔드포인트 설정에서 대상 폴더를 지정하지 않은 경우(위의 전제 조건에서 권장된 대로), 사용자의 버킷에 많은 관련 없는 파일이 포함될 수 있습니다.이 경우, 정확한 경로를 알고 있다면, Replicate 루트 디렉터리 경로 필드에 바로 붙여넣을 수 있습니다.
  6. 로드를 클릭하여 사용 가능한 테이블을 감지합니다.사용 가능한 테이블은 등록할 테이블 선택 목록에 표시됩니다.
  7. 오른쪽에 있는 테이블을 검색할 데이터 소스 선택 영역에서 다음 설정들을 사용할 수 있습니다.
    • 모든 현재 테이블 포함: 기존 테이블을 모두 랜딩하려면 토글을 켜세요.이 옵션이 꺼져 있으면 개별 테이블을 선택해야 합니다.

    • 수집 후 원본 파일 삭제: 활성화하면 파일이 성공적으로 처리된 후 Replicate S3 버킷에서 영구적으로 제거됩니다.

      S3 파일이 삭제되면, 동일한 S3 파일을 소스로 사용하는 연결된 모든 파이프라인은 비활성화되어 작동할 수 없게 됩니다.따라서 파일이 다른 파이프라인 프로세스에서 필요하지 않다고 확신하는 경우에만 이 옵션을 활성화해야 합니다.

  8. 다음을 클릭합니다.
  9. 콘텐츠 유형 단계에서 파일 형식(CSV)이 Replicate 데이터에서 자동으로 감지됩니다.다음 옵션도 이용 가능합니다:
    • 기록 데이터 저장소 (유형 2): 기록의 이전 버전을 유지하고 변경 사항을 보관해야 하는 경우 이 옵션을 켜세요.
    • 이벤트가 올바르게 로드되었는지 확인: 데이터 세트를 선택하여 올바른 데이터가 포함되어 있는지 확인할 수 있습니다.
  10. 다음을 클릭합니다.
  11. 작업 구성을 검토하고 Create를 클릭하여 온보딩 작업을 만듭니다.

  12. 준비를 클릭하여 데이터 작업을 분류하고 실행할 준비를 합니다.

    작업 타일에서 준비 진행률을 확인할 수 있습니다.완료 시, 준비: 성공이(가) 표시되어야 합니다.

  13. 데이터 온보딩을 시작할 준비가 되면 실행을 클릭합니다.

다음에는 어떻게 되나요

활성화되면, 온보딩 작업:

  1. 사용자의 Replicate S3 버킷에서 데이터 변경 사항 모니터링을 시작합니다.
  2. Replicate에서 전체 로드 및 CDC(데이터 변경 내용 캡처) 파일을 감지합니다.
  3. 파일을 처리하고 Qlik 오픈 레이크하우스에 Iceberg 테이블을 생성합니다.
  4. 새로운 데이터를 지속적으로 모니터링합니다.
  5. 활성화된 경우, 수집 성공 후 원본 파일을 자동으로 삭제합니다

작업 설정

작업 설정을 변경하려면 Onboarding_Qlik_Replicate (기본 이름) 작업을 열고 설정 도구 모음 버튼을 클릭합니다.

설정: <task name> 대화 상자가 열립니다.

일반 탭

이러한 옵션은 위에 있는 랜딩 작업 생성의 7단계에 설명되어 있습니다.

  • 현재 및 향후 모든 테이블 자동 포함

  • 수집 후 원본 파일 삭제

런타임 탭

레이크하우스 클러스터 변경

고려 사항 및 제한 사항

일반 고려 사항 및 제한 사항

  • 전체 로드 및 다시 로드 작업은 Iceberg 테이블에 데이터가 나타나기 전에 처리 지연이 발생할 수 있습니다.시스템은 파일이 완전한지 확인하기 위해 전체 로드 완료 후 최대 15분까지 기다립니다.결과적으로, Replicate에서 전체 로드를 (예약되거나 수동으로) 15분 미만의 간격으로 실행하는 것은 지원되지 않습니다.
  • 빈 Replicate 테이블(데이터 파일이 없는 테이블)은 시스템에서 감지되거나 등록되지 않습니다.
  • 수집 후 원본 파일 삭제를 활성화하는 경우, 랜딩 작업을 다시 로드할 수 없습니다.데이터를 다시 로드하려면, Replicate에서 다시 생성해야 합니다.
  • Qlik Replicate의 테이블이 이미 로드되었습니다. (영어로만 제공)변경 사항 처리 시작 (영어로만 제공) 고급 실행 옵션은 지원되지 않습니다.유형 2(기록 데이터)가 활성화된 경우, 이 옵션을 사용하면 기록 테이블이 손상됩니다.
  • 스키마 진화는 지원되지 않습니다.

CDC vs Replicate 파이프라인

CDC 소스에서 데이터를 수집하는 일반 파이프라인에서, 데이터 업데이트 날짜 지표는 데이터의 현재 최신성을 항상 나타냅니다(예: 1분 전).이는 파이프라인이 데이터베이스 트랜잭션 로그에 직접 액세스하여 모든 INSERT/UPDATE/DELETE 이벤트에 대한 실시간 정보를 제공하기 때문입니다.하지만, Replicate에서 데이터를 수집하는 파이프라인에서는, 데이터 업데이트 시간 메트릭은 데이터의 현재 최신성을 나타내지 않으며, 오히려 데이터가 오래되었다는 잘못된 인상을 줄 수 있습니다 (예를 들어, 8시간 전).이는 Replicate 파이프라인이 트랜잭션 로그에 직접 액세스할 수 없기 때문입니다.대신, Replicate는 파일을 S3 버킷에 쓰고, 파이프라인은 파일의 생성 타임스탬프를 확인하여 데이터 최신성을 결정합니다.따라서 한동안 소스 데이터베이스에 새로운 변경 사항이 없었다면, Replicate은 새 파일을 생성하지 않으며 데이터 업데이트 시점 타임스탬프는 오래될 것입니다 (데이터가 오래되었다는 잘못된 인상을 줄 수 있습니다).

이 페이지가 도움이 되었습니까?

이 페이지 또는 해당 콘텐츠에서 오타, 누락된 단계 또는 기술적 오류와 같은 문제를 발견하면 알려 주십시오!

여기에 피드백을 남겨주십시오.