# Qlik Replicate에서 데이터 온보딩 기존 Replicate 인프라를 포기하지 않고[Qlik 오픈 레이크하우스](https://help.qlik.com/ko-KR/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/lakehouse-pipeline-architecture.htm)의 모든 기능을 활용할 수 있습니다.온보딩 데이터 마법사를 사용하여 Qlik Replicate Amazon S3 출력에서 데이터를 처리하고 Qlik 오픈 레이크하우스을(를) 사용하여 Iceberg 테이블로 저장하는 파이프라인을 생성합니다. Govnote-not-inQlik Cloud 정부에서 지원되지 않습니다. ## 전제 조건 데이터 온보딩 마법사를 시작하기 전에 다음 전제 조건을 충족했는지 확인하십시오. ### Qlik Replicate 사전 요구 사항 Qlik Replicate 작업을 설정하여 데이터를 Amazon S3 버킷으로 이동합니다(Amazon S3 대상 엔드포인트를 통해). #### Qlik Replicate 작업 사전 요구 사항 * 전체 로드 및/또는 변경 내용 저장 (데이터를 최신 상태로 유지하는 데 필요함) 복제 옵션만 활성화합니다. * 작업 설정의 변경 설정 저장 탭에서: * 다음과 같이 테이블 설정 변경을(를) 구성합니다. * 접미사: \_\_ct * 헤더 열 접두사: header\_\_ * DDL 옵션: 변경 테이블에 적용 * UPDATE 중: 이후 이미지만 저장 * Change Data Partitioning(데이터 파티셔닝 변경)을 비활성화된 상태로 둡니다(기본값). * 작업 설정의 메타데이터 > 제어 테이블 탭에서 예외 적용 및 DDL 기록 제어 테이블이 선택되어 있는지 확인합니다. 이러한 설정에 대한 자세한 내용은 [Qlik Replicate 작업 설정 도움말](https://help.qlik.com/en-US/replicate/Content/Global_Common/Content/SharedEMReplicate/Customize%20Tasks/tasks_settings.htm) (영어로만 제공)을(를) 참조하십시오. #### Qlik Replicate Amazon S3 대상 엔드포인트 사전 요구 사항 일반 탭에서: * 메타데이터 파일 섹션에서 대상 폴더에 메타데이터 파일 만들기 (Replicate 2025년 11월 또는 이전) 또는 각 데이터 파일에 대한 메타데이터 파일 만들기 옵션 (Replicate 2026년 5월 또는 이후)을 활성화합니다.S3 버킷에 .dfm 확장자를 가진 파일이 생성됩니다. * 파일 특성 섹션에서 다음 사항을 확인하십시오. * CSV 가 선택된 형식 입니다(기본값) * 파일 압축 방식은 None (으)로 설정됨(기본값) * 메타데이터 헤더 추가 옵션이 모두 사용 설정되어 있습니다(열 이름 포함 및 데이터 유형 포함). * Amazon S3 저장소 설정을 구성할 때, 버킷에 Replicate가 아닌 파일이 포함되어 있는 경우, 대상 폴더를 지정하는 것이 좋습니다.이렇게 하면 Qlik 오픈 레이크하우스을(를) 사용하여 데이터를 온보딩할 때 필요한 출력을 더 쉽게 찾을 수 있습니다. 이러한 설정에 대한 자세한 내용은 [Amazon S3 대상 엔드포인트 도움말](https://help.qlik.com/en-US/replicate/Content/Replicate/Main/Amazon%20S3/set_up_file_as_target_in_tasks3.htm) (영어로만 제공)을 참조하십시오. ### Qlik 오픈 레이크하우스 전제 조건 Replicate Amazon S3 출력에 액세스하도록 구성된 AWS S3 데이터 스트림 커넥터. 자세한 내용은 다음을 참조하십시오. [AWS S3 데이터 스트림](https://help.qlik.com/ko-KR/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/SourcesConnections/Connecting-AWS-S3-Data-Stream.htm). ## Replicate이 S3에서 데이터를 구성하는 방법 Qlik Replicate이 S3에서 데이터를 구성하는 데 사용하는 구조에 익숙하면 아래 [온보딩 작업 생성](https://help.qlik.com/ko-KR/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Lakehouse/landing-data-replicate.htm#Create)에 설명된 디렉터리 브라우저에서 해당 파일을 더 쉽게 찾을 수 있습니다. * `s3://bucket-name/target-path/schema.table/` 다음 예와 같이 전체 로드 파일 및 DFM 메타데이터 파일을 순차 형식으로 포함합니다. * LOAD00000001.csv * LOAD00000001.dfm * LOAD00000002.csv * LOAD00000002.dfm * `s3://bucket-name/target-path/schema.table__ct/` 다음 예시와 같이 변경 데이터 캡처 파일과 DFM 메타데이터 파일을 타임스탬프 형식으로 포함합니다. * 20250121-083015000.csv * 20250121-083015000.dfm * 20250121-091522000.csv * 20250121-091522000.dfm ## 온보딩 작업 생성 Replicate 데이터에 대한 온보딩 작업을 구성하려면 다음 단계를 따르십시오. 1. 온보딩 마법사를 다음과 같이 실행하십시오. * 새 프로젝트: 프로젝트 창 중앙에서 데이터 온보딩을 클릭합니다. * 기존 프로젝트: 사용자의 Qlik 오픈 레이크하우스 프로젝트 오른쪽 상단에서 새로 만들기 > 데이터 온보딩을 클릭하여 온보딩 마법사를 시작합니다. 2. 작업 이름 및 설명을 입력합니다. 3. 데이터 원본 옵션에서 Qlik Replicate를 선택합니다.그런 후 다음을 클릭합니다. 4. 이전에 구성한 AWS S3 데이터 스트림 커넥터를 선택합니다.그런 후 다음을 클릭합니다. 5. 왼쪽의 디렉터리 브라우저 창에서 Replicate 출력을 포함하는 루트 디렉터리를 선택합니다. 팁 메모Replicate Amazon S3 대상 엔드포인트 설정에서 대상 폴더를 지정하지 않은 경우(위의 전제 조건에서 권장된 대로), 사용자의 버킷에 많은 관련 없는 파일이 포함될 수 있습니다.이 경우, 정확한 경로를 알고 있다면 Replicate 루트 디렉터리 경로 필드에 직접 붙여넣을 수 있습니다. 6. 로드를 클릭하여 사용 가능한 테이블을 감지합니다.사용 가능한 테이블은 등록할 테이블 선택 목록에 표시됩니다. 7. 오른쪽에 있는 테이블을 검색할 데이터 소스 선택 영역에서 다음 설정들을 사용할 수 있습니다. * 모든 현재 테이블 포함: 기존 테이블을 모두 랜딩하려면 토글을 켜세요.이 옵션이 꺼져 있으면 개별 테이블을 선택해야 합니다. * 수집 후 원본 파일 삭제: 이 옵션을 켜면 파일이 성공적으로 처리된 후 Replicate S3 버킷에서 영구적으로 제거됩니다. S3 파일이 삭제되면, 동일한 S3 파일을 소스로 사용하는 연결된 모든 파이프라인은 비활성화되고 작동할 수 없게 됩니다.따라서 파일이 다른 파이프라인 프로세스에서 필요하지 않다고 확신하는 경우에만 이 옵션을 활성화해야 합니다. 8. 다음을 클릭합니다. 9. 콘텐츠 유형 단계에서 파일 형식(CSV)이 Replicate 데이터에서 자동으로 감지됩니다.다음 옵션도 이용 가능합니다: * 기록 데이터 저장소 (유형 2): 기록의 이전 버전을 유지하고 변경 사항을 보관해야 하는 경우 이 옵션을 켜세요. * 이벤트가 올바르게 로드되었는지 확인: 데이터 세트를 선택하여 올바른 데이터가 포함되어 있는지 확인할 수 있습니다. 10. 다음을 클릭합니다. 11. 작업 구성을 검토하고 Create를 클릭하여 온보딩 작업을 만듭니다. 12. 준비를 클릭하여 데이터 작업을 분류하고 실행할 준비를 합니다. 작업 타일에서 준비 진행률을 확인할 수 있습니다.완료 시, 준비: 성공이(가) 표시되어야 합니다. 13. 데이터 온보딩을 시작할 준비가 되면 실행을 클릭합니다. ## 다음에는 어떻게 되나요 활성화되면, 온보딩 작업: 1. 사용자의 Replicate S3 버킷에서 데이터 변경 사항 모니터링을 시작합니다. 2. Replicate에서 전체 로드 및 데이터 변경 내용 캡처(CDC) 파일을 감지합니다. 3. 파일을 처리하고 Qlik 오픈 레이크하우스에 Iceberg 테이블을 생성합니다. 4. 새 데이터를 계속 모니터링합니다. 5. 활성화된 경우, 성공적인 수집 후 원본 파일을 자동으로 삭제합니다. ## 작업 설정 작업 설정을 변경하려면 Onboarding\_Qlik\_Replicate (기본 이름) 작업을 열고 설정 도구 모음 버튼을 클릭합니다. 설정: <task name> 대화 상자가 열립니다. #### 일반 탭 이러한 옵션은 위에 있는 랜딩 작업 생성의 7단계에 설명되어 있습니다. * 모든 현재 및 향후 테이블 자동 포함 * 수집 완료 후 원본 파일 삭제 #### 런타임 탭 레이크하우스 클러스터 변경 ## 고려 사항 및 제한 사항 ### 일반 고려 사항 및 제한 사항 * 전체 로드 및 다시 로드 작업은 Iceberg 테이블에 데이터가 나타나기 전에 처리 지연이 발생할 수 있습니다.시스템은 파일이 완전한지 확인하기 위해 전체 로드 완료 후 최대 15분까지 대기합니다.결과적으로, Replicate에서 전체 로드를 (예약되거나 수동으로) 15분 미만의 간격으로 실행하는 것은 지원되지 않습니다. * 비어 있는 Replicate 테이블(데이터 파일이 없는 테이블)은 시스템에서 감지되거나 등록되지 않습니다. * 수집 후 원본 파일 삭제를 활성화하는 경우, 랜딩 작업을 다시 로드할 수 없습니다.데이터를 다시 로드하려면, Replicate에서 다시 생성해야 합니다. * Qlik Replicate의 [테이블이 이미 로드되었습니다.](https://help.qlik.com/en-US/replicate/May2026/Content/Global_Common/Content/SharedEMReplicate/Tasks%20at%20Runtime/monitor_detailed_run_options.htm#:~:text=Tables%20are%20already%20loaded.%20Start%20processing%20changes%20from%3A) (영어로만 제공)[변경 사항 처리 시작](https://help.qlik.com/en-US/replicate/May2026/Content/Global_Common/Content/SharedEMReplicate/Tasks%20at%20Runtime/monitor_detailed_run_options.htm#:~:text=Tables%20are%20already%20loaded.%20Start%20processing%20changes%20from%3A) (영어로만 제공) 고급 실행 옵션은 지원되지 않습니다.유형 2(기록 데이터)가 활성화된 경우, 이 옵션을 사용하면 기록 테이블이 손상됩니다. * 스키마 진화는 지원되지 않습니다. ### CDC vs Replicate 파이프라인 CDC 소스에서 수집하는 일반 파이프라인에서, 데이터 업데이트됨 메트릭은 데이터의 현재 최신성을 항상 나타냅니다 (예를 들어, 1분 전).이는 파이프라인이 데이터베이스 트랜잭션 로그에 직접 액세스하여 모든 INSERT/UPDATE/DELETE 이벤트에 대한 실시간 정보를 제공하기 때문입니다.하지만, Replicate에서 데이터를 수집하는 파이프라인에서는, 데이터 업데이트 시간 메트릭은 데이터의 현재 최신성을 나타내지 않으며, 오히려 데이터가 오래되었다는 잘못된 인상을 줄 수 있습니다 (예를 들어, 8시간 전).이는 Replicate 파이프라인이 트랜잭션 로그에 직접 액세스할 수 없기 때문입니다.대신, Replicate는 파일을 S3 버킷에 쓰고, 파이프라인은 파일의 생성 타임스탬프를 확인하여 데이터 최신성을 결정합니다.따라서 한동안 소스 데이터베이스에 새로운 변경 사항이 없었다면, Replicate은 새 파일을 생성하지 않을 것이며, 데이터 업데이트 타임스탬프는 오래될 것입니다 (이는 데이터가 오래되었다는 잘못된 인상을 줄 수 있습니다).