데이터 온보딩
Qlik 오픈 레이크하우스 프로젝트에서 데이터 파이프라인을 만드는 첫 번째 단계는 데이터 온보딩입니다. 이 프로세스에는 소스에서 데이터를 전송하고 최적화된 Iceberg 테이블에 데이터 집합을 저장하는 작업이 포함됩니다. 데이터 소스의 변경 내용은 효율적인 미니 배치로 저장 테이블에 지속적으로 적용됩니다.
온보딩은 단일 작업으로 만들어지지만 두 단계로 수행됩니다.
-
데이터 랜딩
여기에는 랜딩 데이터 작업을 사용하여 온프레미스 데이터 소스에서 랜딩 영역으로 데이터를 지속적으로 전송하는 작업이 포함됩니다.
데이터를 레이크하우스에 저장할 수도 있고, 레이크하우스에서는 데이터를 S3 파일 저장소에 저장할 수도 있습니다.
-
데이터 집합 저장
여기에는 랜딩 데이터 또는 증분 로드의 초기 로드를 읽고 저장소 데이터 작업을 사용하여 읽기에 최적화된 형식으로 데이터를 적용하는 작업이 포함됩니다.
데이터를 온보딩하면 저장된 데이터 집합을 여러 가지 방법으로 사용할 수 있습니다.
-
분석 앱에서 데이터 집합을 사용할 수 있습니다.
-
저장소 데이터 작업에 직접 데이터 미러링 작업을 추가하여 Snowflake에 데이터를 미러링할 수 있습니다.
-
온보딩 프로젝트의 데이터를 사용하는 프로젝트 간 파이프라인을 만들어 Snowflake에서 데이터를 변환할 수 있습니다.
데이터 온보딩
프로젝트에서 데이터 온보딩을 시작합니다. 데이터 집합은 프로젝트에 정의된 S3 위치에 저장됩니다. 프로젝트에 대한 자세한 내용은 데이터 파이프라인 프로젝트 만들기을 참조하십시오.
-
프로젝트에서 만들기를 클릭한 다음 데이터 온보딩을 클릭합니다.
팁 메모프로젝트의 기존 소스에서
를 클릭한 다음 데이터 온보딩을 클릭할 수도 있습니다. -
온보딩에 대한 이름 및 설명을 추가합니다.
다음을 클릭합니다.
-
소스 연결을 선택합니다.
기존 소스 연결을 선택하거나 소스에 대한 새 연결을 만들 수 있습니다.
자세한 내용은 데이터 소스에 대한 연결 설정을 참조하십시오.
다음을 클릭합니다.
-
로드할 데이터를 선택합니다.
자세한 내용은 데이터 선택을 참조하십시오.
다음을 클릭합니다.
업데이트 방법 및 기록 설정을 선택할 수 있는 설정이 표시됩니다.
-
업데이트 방법에서 데이터를 업데이트하는 데 사용할 방법을 선택합니다.
-
데이터 변경 내용 캡처(CDC)
데이터에 CDC를 지원하지 않는 테이블이나 뷰가 포함된 경우 두 개의 데이터 파이프라인이 만들어집니다. 모든 테이블이 CDC를 지원하는 파이프라인 하나와 다시 로드 및 비교를 사용하는 다른 모든 테이블과 뷰가 포함된 파이프라인입니다.
-
다시 로드 및 비교
-
-
기록의 현재 데이터 외에 이전 데이터의 기록을 복제하려면 선택합니다.
-
준비가 되면 다음을 클릭합니다.
-
데이터를 온보딩하기 위해 만들어진 데이터 작업을 미리 보고 원하는 경우 이름을 바꿉니다.
팁 메모이름은 저장소 데이터 작업에서 데이터베이스 스키마의 이름을 지정할 때 사용됩니다. 동일한 데이터 플랫폼을 사용하는 다른 프로젝트의 데이터 작업과 충돌을 피하기 위해 고유한 이름을 사용하는 것이 좋습니다. -
만들어진 데이터 작업을 열거나 프로젝트로 돌아가려면 선택합니다.
준비가 되면 마침을 클릭합니다.
-
이제 데이터 온보딩 작업이 만들어졌습니다. 데이터 복제를 시작하려면 다음을 수행해야 합니다.
-
랜딩 데이터 작업을 준비하고 실행합니다.
자세한 내용은 데이터 소스의 랜딩 데이터을 참조하십시오.
-
저장소 데이터 작업을 준비하고 실행합니다.
자세한 내용은 데이터 집합 저장을 참조하십시오.
데이터 선택
특정 테이블 또는 보기를 선택하거나 선택 규칙을 사용하여 테이블 그룹을 포함하거나 제외할 수 있습니다.
%를 와일드카드로 사용하여 스키마 및 테이블에 대한 선택 기준을 정의합니다.
-
%.%는 모든 스키마의 모든 테이블을 정의합니다.
-
Public.%는 Public 스키마의 모든 테이블을 정의합니다.
선택 기준은 선택에 따라 미리 보기를 제공합니다.
이제 다음 중 하나를 수행할 수 있습니다.
-
선택 기준에 따라 테이블 그룹을 포함하거나 제외하는 규칙을 만듭니다.
선택 기준에서 규칙 추가를 클릭하여 규칙을 만들고 포함 또는 제외를 선택합니다.
선택 규칙에서 규칙을 볼 수 있습니다.
-
하나 이상의 데이터 집합을 선택하고 선택한 데이터 집합 추가를 클릭합니다.
명시적으로 선택된 데이터 집합에서 추가된 데이터 집합을 볼 수 있습니다.
선택 규칙은 현재 테이블 및 뷰 집합에만 적용되며 향후에 추가되는 테이블 및 뷰에는 적용되지 않습니다.