스트림 데이터 집합 저장

다음 스트림 변환 작업 설정은 스트림 소스를 사용하는 Qlik 오픈 레이크하우스 프로젝트에 적용됩니다.

스트림 데이터 변환 작업을 사용하여 스트림 데이터를 저장하고 변환할 수 있습니다. 스트림 데이터는 종종 평탄화가 필요한 중첩된 구조와 배열을 포함하며, 저장 단계에서 변환 기능이 필요합니다. 이러한 기능은 스트림 변환 작업에서 사용할 수 있으며, 스트림 데이터를 랜딩한 직후에 변환을 적용할 수 있도록 합니다.

저장소 설정

데이터 플랫폼이 Qlik 오픈 레이크하우스인 경우 스트리밍 데이터 변환 작업에 대한 속성을 설정할 수 있습니다.

• 설정을 클릭합니다.

일반 설정

• 작업 스키마

  스트리밍 변환 작업 스키마의 이름을 변경할 수 있습니다. 기본 이름은 저장소 작업의 이름입니다.

• 내부 스키마

  내부 저장소 데이터 자산 스키마의 이름을 변경할 수 있습니다. 기본 이름은 _internal이 추가된 저장소 작업의 이름입니다.

• 모든 테이블 및 보기에 대한 접두사

  이 작업으로 만들어진 모든 테이블 및 뷰에 대한 접두사를 설정할 수 있습니다.

  정보 메모여러 데이터 작업에서 데이터베이스 스키마를 사용하려는 경우 고유한 접두사를 사용해야 합니다.

• 사용할 폴더

  스트리밍 변환 작업 저장소 폴더를 변경할 수 있습니다.

• 새 데이터 집합에 대한 설정 로드

  • 추가만

    기존 데이터를 수정하지 않고 새 레코드를 추가합니다.복제 레코드가 도착하면 키 제약 조건이 적용되지 않습니다.

  • 변경 내용 적용(병합)

    기존 레코드를 업데이트하고 키 필드를 기반으로 새 레코드를 삽입합니다.

    변경 내용을 병합하도록 선택하는 경우, 다음 항목도 선택할 수 있습니다.

    • 삭제 표현식 제공을 통해 레코드 소프트 삭제

      레코드를 삭제 대상으로 표시하려면 삭제 표현식을 정의합니다.

    • 이력 레코드 유지(유형 2)

      변경 레코드의 이전 버전을 유지합니다.

• 열 중첩 해제

  • 중첩된 열 보존

    중첩된 데이터를 보존하려면 선택합니다.

  • 별도의 열로 중첩 해제

    기본 동작은 별도의 열로 중첩 해제하는 것입니다.

• 대상 테이블 파티션

  • 파티션 없음

    새 테이블은 파티션 없이 생성됩니다.

  • 이벤트 날짜별 파티션

    새 테이블은 이벤트가 수집된 날짜에 따라 파티션됩니다.

런타임 설정

• 레이크하우스 클러스터

  레이크하우스 클러스터를 변경할 수 있지만, 이는 스트리밍 워크로드 또는 혼합 워크로드를 지원해야 합니다.

스키마 진화 설정

• 루트 수준에 열 추가

  이 설정은 새 열이 스트리밍 랜딩 작업의 루트 수준에 추가될 때 적용됩니다.

  • 대상에 적용

    스트리밍 랜딩 작업에서 스트리밍 변환 작업으로 새로운 루트 수준 열을 자동으로 추가합니다. 기본 설정입니다.

  • 무시

    새 루트 수준 열을 추가하지 않습니다.

  • 작업 중지

    스트리밍 랜딩 작업에서 새 루트 수준 열이 감지되면 변환 작업을 중지합니다.

• 구조에 열 추가

  이 설정은 스트리밍 랜딩 작업의 기존 중첩 구조 내에 새 필드가 추가될 때 적용됩니다.

  • 대상에 적용

    랜딩 구조에 새 필드가 추가되면 스트리밍 변환 작업의 기존 구조에 자동으로 새 필드를 추가합니다.

  • 무시

    기존 구조에 새 필드를 추가하지 않습니다.

  • 작업 중지

    스트리밍 랜딩 작업에서 구조에 새 필드가 추가되면 변환 작업을 중지합니다.

• 필드 데이터 유형 변경

  • 무시

    데이터 유형을 변경하지 않습니다.

  • 작업 중지

    스트리밍 랜딩 작업에서 데이터 유형 변경이 감지되면 변환 작업을 중지합니다.