데이터 집합 저장

저장소 데이터 작업을 사용하여 데이터 집합을 저장할 수 있습니다. 저장소 데이터 작업은 랜딩 데이터 작업에 의해 클라우드 랜딩 영역에 랜딩된 데이터를 소비합니다. 예를 들어 분석 앱에서 테이블을 사용할 수 있습니다.

• 랜딩 데이터 작업의 상태가 최소한 준비됨인 경우 저장소 데이터 작업을 설계할 수 있습니다.

• 랜딩 데이터 작업의 상태가 최소한 즉시 실행 가능인 경우 저장소 데이터 작업을 준비할 수 있습니다.

저장소 데이터 작업은 소비된 랜딩 데이터 작업과 동일한 작동 모드(전체 로드 또는 전체 로드 및 CDC)를 사용합니다. 구성 속성은 두 가지 작동 모드와 모니터 및 제어 옵션 간에 다릅니다. 전체 로드 전용과 함께 클라우드 대상 랜딩 데이터 작업을 사용하는 경우 저장소 데이터 작업은 물리적 테이블을 생성하는 대신 랜딩 테이블에 대한 보기를 만듭니다.

저장소 데이터 작업 만들기

세 가지 방법으로 저장소 데이터 작업을 만들 수 있습니다.

• 랜딩 데이터 작업에서 ...을 클릭하고 데이터 저장을 선택하여 이 랜딩 데이터 자산을 기반으로 저장소 데이터 작업을 만듭니다.

• 새로 추가를 클릭한 다음 데이터 저장을 클릭합니다. 이 경우 사용할 랜딩 데이터 작업을 지정해야 합니다.

• 데이터를 온보딩하면 저장소 데이터 작업이 만들어집니다. 데이터를 온보딩할 때도 만들어지는 랜딩 데이터 작업과 연결됩니다.

  자세한 내용은 데이터 온보딩을 참조하십시오.

저장소 데이터 작업을 만든 경우:

1. ...을 클릭하고 열기를 선택하여 저장소 데이터 작업을 엽니다.
   저장소 데이터 작업이 열리고 랜딩 데이터 자산의 테이블을 기반으로 출력 데이터 집합을 미리 볼 수 있습니다.

2. 변환, 데이터 필터링 또는 열 추가와 같이 포함된 데이터 집합에 필요한 모든 변경을 수행합니다.

   자세한 내용은 데이터 집합 관리을 참조하십시오.

3. 원하는 변환을 추가했으면 데이터 집합 유효성 검사를 클릭하여 데이터 집합의 유효성을 검사할 수 있습니다. 유효성 검사에서 오류가 발견되면 계속하기 전에 오류를 수정합니다.

   자세한 내용은 데이터 집합 유효성 검사 및 조정을 참조하십시오.

4. 데이터 모델 만들기

   모델을 클릭하여 포함된 데이터 집합 간의 관계를 설정합니다.

   자세한 내용은 데이터 모델 만들기을 참조하십시오.

5. 준비를 클릭하여 데이터 작업 및 모든 필수 아티팩트를 준비합니다. 시간이 조금 걸릴 수 있습니다.

   화면 하단의 준비 진행률에서 진행률을 확인할 수 있습니다.

6. 상태가 즉시 실행 가능으로 표시되면 데이터 작업을 실행할 수 있습니다.

   실행을 클릭합니다.

   이제 데이터 작업이 데이터를 저장할 데이터 집합을 만들기 시작합니다.

기록 데이터 유지

유형 2 기록 변경 데이터를 유지하여 특정 시점에서 본 데이터를 쉽게 다시 만들 수 있습니다. 이렇게 하면 전체 HDS(기록 데이터 저장소)가 만들어집니다.

• 유형 2 천천히 변경되는 차원이 지원됩니다.

• 변경된 레코드가 병합되면 변경된 데이터를 저장하기 위해 새 레코드를 만들고 이전 레코드는 그대로 둡니다.

• 새로운 HDS 레코드에는 자동으로 타임스탬프가 지정되어 추세 분석 및 기타 시간 중심 분석 데이터 마트를 만들 수 있습니다.

다음을 클릭하여 기록 데이터를 활성화할 수 있습니다.

• 데이터를 온보딩할 때 설정에서 현재 데이터와 이전 데이터 기록을 모두 사용하여 복제합니다.

• 저장소 작업의 설정 대화 상자에서 기록 변경 레코드를 유지하고 레코드 보관 파일을 변경합니다.

HDS 데이터는 내부 데이터 스키마의 이전 테이블에 저장됩니다. 외부 데이터 스키마의 기록 보기 및 실시간 기록 보기를 사용하여 기록 데이터를 볼 수 있습니다.

• 기록 보기는 현재 테이블과 이전 테이블의 데이터를 병합합니다. 이 보기에는 병합된 모든 변경 내용이 포함됩니다.

• 실시간 기록 보기는 현재 테이블, 이전 테이블 및 변경 테이블의 데이터를 병합합니다. 이 보기에는 아직 병합되지 않은 모든 변경 내용도 포함됩니다.

자세한 내용은 클라우드 데이터 웨어하우스의 데이터 집합 아키텍처을 참조하십시오.

저장소 작업 예약

주기적으로 업데이트되도록 저장소 작업을 예약할 수 있습니다.

• 랜딩 데이터 입력 작업이 전체 로드 및 CDC를 사용하는 경우 시간 기반 일정만 설정할 수 있습니다.

• 랜딩 데이터 입력 작업이 전체 로드를 사용하는 경우 시간 기반 일정을 설정하거나 입력 랜딩 데이터 작업이 실행을 완료할 때 실행되도록 작업을 설정할 수 있습니다.

  정보 메모전체 로드를 사용하여 입력 랜딩 데이터 작업으로 시간 기반 일정을 실행할 때 랜딩 작업이 계속 실행되는 동안 랜딩에서 완료된 모든 테이블을 사용할 수 있다는 점을 고려하십시오. 이를 통해 랜딩 및 저장소를 동시에 실행할 수 있으므로 총 로드 시간을 개선할 수 있습니다.

데이터 작업에서 ...을 클릭하고 예약을 선택하여 일정을 만듭니다. 기본 일정 설정은 데이터 프로젝트의 설정에서 상속됩니다. 기본 설정에 대한 자세한 내용은 저장소 기본값을 참조하십시오. 일정을 사용하려면 항상 일정을 켜기로 설정해야 합니다.

시간 기반 일정

랜딩 유형에 관계없이 시간 기반 일정을 사용하여 저장소 데이터 작업을 실행할 수 있습니다.

• 데이터 작업 실행에서 특정 시간에를 선택합니다.

시간별, 일별, 주별 또는 월별 일정을 설정할 수 있습니다.

이벤트 기반 일정

• 데이터 작업 실행에서 입력 데이터 작업을 성공적으로 완료한 경우를 선택합니다.

저장소 작업은 랜딩 데이터 입력 작업이 성공적으로 완료될 때마다 실행됩니다.

저장소 작업 모니터링

모니터링을 클릭하여 저장소 작업의 상태와 진행률을 모니터링할 수 있습니다.

자세한 내용은 개별 데이터 작업 모니터링을 참조하십시오.

저장소 데이터 작업 문제 해결

저장소 데이터 작업에서 하나 이상의 테이블에 문제가 있는 경우 데이터를 다시 로드하거나 다시 만들어야 할 수 있습니다. 이를 수행하는 데 사용할 수 있는 몇 가지 옵션이 있습니다. 다음 순서로 사용할 옵션을 고려합니다.

1. 랜딩 시 데이터 집합을 다시 로드할 수 있습니다. 랜딩 시 데이터 집합을 다시 로드하면 유형 2 기록을 유지하는 동안 저장소의 비교 프로세스가 시작되고 데이터가 수정됩니다. 이 옵션은 다음과 같은 경우에도 고려해야 합니다.

   • 전체 로드가 오래전에 수행되어 변경된 부분이 많습니다.

   • 처리된 전체 로드 및 변경 테이블 레코드가 랜딩 영역 유지 관리의 일부이므로 삭제된 경우.

   데이터 소스의 랜딩 데이터

2. 저장소 데이터 작업에서 데이터를 다시 로드할 수 있습니다.

   기록 데이터가 활성화된 경우 저장소를 다시 로드하면 기록 데이터가 손실될 수 있습니다. 이것이 문제인 경우 대신 소스에서 랜딩을 다시 로드하는 것이 좋습니다.

   데이터 다시 로드

3. 테이블을 다시 만들 수 있습니다. 그러면 소스에서 데이터 집합이 다시 만들어집니다.

   • ...을 클릭한 다음 테이블 다시 만들기를 클릭합니다. 테이블을 다시 만들 때 다운스트림 작업은 소스 데이터 집합에서 자르기 및 다시 로드 작업이 발생한 것처럼 반응합니다.

데이터 다시 로드

테이블을 수동으로 다시 로드할 수 있습니다. 이는 하나 이상의 테이블에 문제가 있는 경우 유용합니다.

1. 데이터 작업을 열고 모니터링 탭을 선택합니다.

2. 다시 로드할 테이블을 선택합니다.

3. 테이블 다시 로드를 클릭합니다.

다시 로드는 다음에 작업이 실행될 때 발생하며 다음을 통해 수행됩니다.

1. 테이블을 자릅니다.

2. 랜딩 데이터를 테이블에 로드합니다.

3. 다시 로드 시간부터 누적된 변경 내용을 로드합니다.

변경 내용을 적용하고 소급 적용을 방지하기 위해 다운스트림 작업이 다시 로드됩니다. 자르고 다시 로드하여 다시 로드를 수행하면 모든 다운스트림 개체도 자르고 다시 로드하여 다시 로드됩니다.

다운스트림에 미치는 영향은 실행된 다시 로드 작업 유형과 즉각적인 다운스트림 데이터 집합의 유형에 따라 다릅니다. 표준 처리는 데이터 집합이 특정 데이터 집합에 대해 구성된 방법을 사용하여 데이터에 반응하고 처리한다는 것을 의미합니다.

• 다운스트림 변환 작업에서:

  데이터 집합 변환은 자르고 다시 로드하여 다시 로드됩니다.

  SQL 변환 및 transformation flow는 전체 로드와 비교하고 변경 내용을 적용하여 다시 로드됩니다.

• 저장소 작업 직후의 데이터 마트 작업은 자르기 및 로드를 통해 다시 로드됩니다.

다시 로드 취소를 클릭하면 다시 로드 대기 중인 테이블의 다시 로드를 취소할 수 있습니다. 이는 이미 다시 로드된 테이블에는 영향을 미치지 않으며 현재 실행 중인 다시 로드가 완료됩니다.

저장소 설정

데이터 플랫폼이 클라우드 데이터 웨어하우스인 경우 저장소 데이터 작업에 대한 속성을 설정할 수 있습니다. Qlik Cloud를 데이터 플랫폼으로 사용한다면 Qlik Cloud를 데이터 플랫폼으로 사용하는 데이터 프로젝트에 대한 저장소 설정을 참조하십시오.

• 설정을 클릭합니다.

일반 설정

• 데이터베이스

  데이터 소스에서 사용할 데이터베이스입니다.

• 작업 스키마

  저장소 데이터 작업 스키마의 이름을 변경할 수 있습니다. 기본 이름은 저장소 작업의 이름입니다.

• 내부 스키마

  내부 저장소 데이터 자산 스키마의 이름을 변경할 수 있습니다. 기본 이름은 _internal이 추가된 저장소 작업의 이름입니다.

• 모든 테이블 및 보기에 대한 접두사

  이 작업으로 만들어진 모든 테이블 및 뷰에 대한 접두사를 설정할 수 있습니다.

  정보 메모여러 데이터 작업에서 데이터베이스 스키마를 사용하려는 경우 고유한 접두사를 사용해야 합니다.

• 기록

  기록 변경 데이터를 유지하여 특정 시점에서 본 데이터를 쉽게 다시 만들 수 있습니다. 기록 보기 및 라이브 기록 보기를 사용하여 기록 데이터를 볼 수 있습니다. 기록 변경 데이터를 활성화하려면 기록 레코드 및 변경 레코드 보관 파일 유지를 선택합니다.

• 랜딩과 저장소를 비교할 때 랜딩에 존재하지 않는 레코드를 관리하는 방법을 선택할 수 있습니다.

  • 삭제된 것으로 표시

    이는 랜딩에 존재하지 않는 레코드의 일시 삭제를 수행합니다.

  • 유지

    이는 랜딩에 존재하지 않는 모든 레코드를 유지합니다.

  정보 메모저장소 데이터 작업의 데이터 집합에는 기본 키 집합이 있어야 합니다. 그렇지 않은 경우 랜딩 데이터가 다시 로드될 때마다 저장소 데이터 작업에서 초기 로드가 수행됩니다.

보기 설정

• 라이브 보기

  라이브 보기를 사용하여 대기 시간이 가장 짧은 테이블을 읽습니다.

  실시간 보기에 대한 자세한 내용은 라이브 보기 사용을 참조하십시오.

  정보 메모라이브 보기는 표준 보기보다 효율성이 떨어지고 적용된 데이터를 다시 계산해야 하므로 더 많은 리소스가 필요합니다.

런타임 설정

• 병렬 실행

  전체 로드에 대한 최대 연결 수를 1에서 5까지 설정할 수 있습니다.

• 웨어하우스

  클라우드 데이터 웨어하우스의 이름입니다. 이 설정은 Snowflake에만 적용됩니다.

카탈로그 설정

• 카탈로그에 게시

  이 버전의 데이터를 카탈로그에 데이터 집합으로 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비하면 카탈로그 콘텐츠가 업데이트됩니다.

카탈로그에 대한 자세한 내용은 카탈로그 도구를 사용하여 데이터 이해를 참조하십시오.

Qlik Cloud를 데이터 플랫폼으로 사용하는 데이터 프로젝트에 대한 저장소 설정

데이터 플랫폼이 Qlik Cloud인 경우 저장소에서 사용할 폴더를 데이터 플랫폼으로 설정할 수 있습니다.

1. 설정을 클릭합니다.

2. 저장소에서 사용할 폴더를 선택합니다.

3. 준비가 되면 확인을 클릭합니다.

저장소 데이터 작업에 대한 작업

작업 메뉴에서 저장소 데이터 작업에 대해 다음 작업을 수행할 수 있습니다.

• 열기

  이렇게 하면 저장소 데이터 작업이 열립니다. 데이터 작업에 대한 테이블 구조 및 세부 정보를 보고 전체 로드 및 일괄 변경에 대한 상태를 모니터링할 수 있습니다.

• 편집

  작업의 이름과 설명을 편집하고 태그를 추가할 수 있습니다.

• 삭제

  데이터 작업을 삭제할 수 있습니다.

• 준비

  이는 실행을 위한 작업을 준비합니다. 여기에는 다음이 포함됩니다.

  • 설계가 유효한지 유효성을 검사합니다.

  • 설계와 일치하도록 물리적 테이블과 뷰를 만들거나 변경합니다.

  • 데이터 작업을 위한 SQL 코드 생성

  • 작업 출력 데이터 집합에 대한 카탈로그 항목 만들기 또는 변경.

  화면 하단의 준비 진행률에서 진행률을 확인할 수 있습니다.

• 데이터 집합 유효성 검사

  이렇게 하면 데이터 작업에 포함된 모든 데이터 집합의 유효성을 검사합니다.

  모든 유효성 검사 오류와 설계 변경 내용을 보려면 유효성 검사 및 조정을 확장합니다.

• 테이블 다시 만들기

  그러면 소스에서 데이터 집합이 다시 만들어집니다. 테이블을 다시 만들 때 다운스트림 작업은 소스 데이터 집합에서 자르기 및 다시 로드 작업이 발생한 것처럼 반응합니다. 자세한 내용은 저장소 데이터 작업 문제 해결을 참조하십시오.

• 중지

  데이터 작업의 작동을 중지할 수 있습니다. 데이터 작업은 테이블 업데이트를 계속하지 않습니다.

  정보 메모이 옵션은 데이터 작업이 실행 중일 때 사용할 수 있습니다.

• 재개

  중지된 지점에서 데이터 작업의 작업을 재개할 수 있습니다.

  정보 메모이 옵션은 데이터 작업이 중지되었을 때 사용할 수 있습니다.

• 데이터 변환

  규칙 및 사용자 지정 SQL을 기반으로 재사용 가능한 행 수준 변환을 만듭니다. 이렇게 하면 데이터 변환 작업이 만들어집니다.

  데이터 변환

• 데이터 마트 만들기

  데이터 작업을 활용하기 위해 데이터 마트를 만듭니다. 이렇게 하면 데이터 마트 데이터 작업이 만들어집니다.

  데이터 마트 만들기 및 관리

제한 사항

• 데이터 작업에 데이터 집합이 포함되어 있고 연결의 매개 변수(예: 사용자 이름, 데이터베이스 또는 스키마)를 변경하는 경우 데이터가 새 위치에 있다고 가정합니다. 그렇지 않은 경우 다음 중 하나를 수행할 수 있습니다.

  • 소스의 데이터를 새 위치로 이동합니다.

  • 동일한 설정으로 새 데이터 작업을 만듭니다.

• Qlik Cloud(QVD)를 대상으로 하는 프로젝트의 저장소 작업에서 기본 키를 변경할 수 없습니다. 랜딩 작업에서 기본 키를 업데이트하고 랜딩 작업을 다시 만든 다음 저장소 작업을 다시 만듭니다.