데이터 파이프라인 프로젝트 설정

Qlik Talend Data Integration에서 데이터 파이프라인 프로젝트의 설정을 변경할 수 있습니다. 속성은 프로젝트 및 포함된 모든 데이터 작업에 공통으로 적용됩니다. 일부 설정은 특정 데이터 플랫폼에서만 사용할 수 있습니다.

• 프로젝트에서 설정을 클릭합니다.

데이터 웨어하우스 데이터 파이프라인 프로젝트 설정

데이터 플랫폼

다음 설정을 변경할 수 있습니다.

• 연결

  프로젝트에 대한 연결입니다.

• 스테이징 영역에 연결

  데이터 플랫폼이 Snowflake인 경우 이 옵션을 사용할 수 없습니다.

메타데이터

내부 아티팩트에 대한 접미사와 생성되는 뷰에 대한 기본 접미사를 설정할 수 있습니다.

• 아티팩트 기본 설정

  • 모든 스키마의 접두사: 프로젝트에서 생성된 데이터 스키마에 추가할 접두사입니다. 가져온 프로젝트가 내보낸 프로젝트와 동일한 클라우드 데이터 웨어하우스에 있는 경우에 유용합니다.

  • 내부 스키마의 접미사: 내부 아티팩트를 저장하는 데 사용되는 스키마에 사용할 접미사입니다.

  • 스키마 이름의 기본 대문자 표시: 모든 스키마 이름의 기본 대문자 표시입니다. 데이터베이스가 대문자 표시를 강제하도록 구성된 경우 이 옵션은 적용되지 않습니다.

• 외부 뷰의 접미사

  프로젝트에 포함된 데이터 작업에서 생성되는 뷰의 기본 접미사를 설정합니다.

새 작업에 대한 기본 설정

프로젝트에서 생성되는 데이터 작업에 대한 기본값을 설정할 수 있습니다. 데이터 작업을 생성할 때 값을 변경할 수 있습니다.

모든 유형의 데이터 작업에 대해 대상 아티팩트를 생성할 기본 데이터베이스를 설정할 수 있습니다.

랜딩 작업 기본값

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

데이터 이동 게이트웨이 사용 시 프록시를 통해 대상에 액세스

• Data Movement gateway를 사용할 때 다음으로 프록시를 통해 연결

  데이터 이동 게이트웨이를 사용할 때 프록시를 통해 대상 플랫폼 및 스테이징 플랫폼(영역)에 연결할 수 있습니다.

  프록시 서버를 사용하도록 데이터 이동 게이트웨이를 구성하는 방법에 대한 자세한 내용은 Qlik Cloud 테넌트 및 프록시 서버 설정를 참조하십시오.

  • 대상 플랫폼

    정보 메모Snowflake, Google BigQuery 및 Databricks를 사용할 때 사용할 수 있습니다.

  • 스테이징 플랫폼

    정보 메모Azure Synapse Analytics, Amazon Redshift 및 Databricks를 사용할 때 사용할 수 있습니다.

스토리지 작업 기본값

• 기록 데이터 저장소(유형 2)

  기록 변경 데이터를 유지하여 특정 시점의 데이터를 쉽게 다시 생성할 수 있습니다. 기록 뷰 및 라이브 기록 뷰를 사용하여 기록 데이터를 볼 수 있습니다.

• 라이브 뷰

  라이브 뷰는 선택한 각 원본 테이블에 대해 테이블을 변경 테이블의 변경 내용과 병합하는 뷰를 표시합니다. 이를 통해 다음 적용 주기를 기다릴 필요 없이 데이터의 라이브 뷰를 쿼리에 제공합니다.

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 데이터 세트로 카탈로그에 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

기본 뷰 유형

• 표준 뷰

  쿼리 결과를 마치 테이블인 것처럼 표시하려면 표준 뷰를 사용합니다.

• Snowflake 보안 뷰

  데이터 개인 정보 보호 또는 민감한 정보 보호를 위해 지정된 뷰(예: 기본 테이블의 모든 사용자에게 노출되어서는 안 되는 민감한 데이터에 대한 액세스를 제한하기 위해 생성된 뷰)에는 Snowflake 보안 뷰를 사용합니다. Snowflake 보안 뷰는 표준 뷰보다 실행 속도가 느릴 수 있습니다.

등록된 데이터 작업 기본값

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 데이터 세트로 카탈로그에 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

증분 로드 설정

이 설정은 상위 워터마크를 사용한 증분을 선택한 경우 사용할 수 있습니다.

• 변경 테이블

  변경 내용이 동일한 테이블에 있는 경우 변경 내용이 동일한 테이블 내에 있음을 선택합니다.

  그렇지 않은 경우 변경 내용이 동일한 테이블 내에 있음을 선택 해제하고 변경 테이블 패턴을 지정합니다.

• 워터마크 열

  이름에서 워터마크 열의 이름을 설정합니다.

• "시작 날짜" 열

  시작 시간으로 또는 선택한 열을 사용하여 "시작 날짜"를 나타낼 수 있습니다.

  선택한 "시작 날짜" 열을 선택하는 경우 "시작 날짜" 패턴을 정의해야 합니다.

• 소프트 삭제

  변경 내용에 소프트 삭제 포함을 선택하고 표시 표현식을 정의하여 변경 내용에 소프트 삭제를 포함할 수 있습니다.

  변경 내용이 소프트 삭제인 경우 표시 표현식은 True로 평가되어야 합니다.

  예: ${is_deleted} = 1

• 이전 이미지

  이전 이미지를 선택하고 표시 표현식을 정의하여 변경 테이블 변경 내용에서 이전 이미지 레코드를 필터링할 수 있습니다.

  행에 업데이트 전 이미지가 포함된 경우 표시 표현식은 True로 평가되어야 합니다.

  예: ${header__change_oper} = 'B'

변환 작업 기본값

• 기록 데이터 저장소(유형 2)

  기록 변경 데이터를 유지하여 특정 시점의 데이터를 쉽게 다시 생성할 수 있습니다. 기록 뷰 및 라이브 기록 뷰를 사용하여 기록 데이터를 볼 수 있습니다.

구체화

• 비구체화(뷰만 해당)

  즉석에서 변환을 수행하는 뷰만 생성하려면 이 옵션을 선택합니다.

• 구체화(테이블 및 뷰)

  테이블과 뷰를 모두 생성하려면 이 옵션을 선택합니다.

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 데이터 세트로 카탈로그에 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

기본 뷰 유형

• 표준 뷰

  쿼리 결과를 마치 테이블인 것처럼 표시하려면 표준 뷰를 사용합니다.

• Snowflake 보안 뷰

  데이터 개인 정보 보호 또는 민감한 정보 보호를 위해 지정된 뷰(예: 기본 테이블의 모든 사용자에게 노출되어서는 안 되는 민감한 데이터에 대한 액세스를 제한하기 위해 생성된 뷰)에는 Snowflake 보안 뷰를 사용합니다. Snowflake 보안 뷰는 표준 뷰보다 실행 속도가 느릴 수 있습니다.

기본 테이블 유형

이러한 설정은 Snowflake를 데이터 플랫폼으로 사용하는 프로젝트에서만 사용할 수 있습니다.

• 테이블 유형

  사용할 테이블 유형을 선택할 수 있습니다.

  • Snowflake 테이블

  • Snowflake 관리 Iceberg 테이블

    Snowflake 외부 볼륨에서 외부 볼륨의 기본 이름을 설정해야 합니다.

• 사용할 클라우드 저장소 폴더

  스테이징 영역에 데이터를 랜딩할 때 사용할 폴더를 선택합니다.

  • 기본 폴더

    그러면 기본 이름이 <프로젝트 이름>/<데이터 작업 이름>인 폴더가 만들어집니다.

  • 루트 폴더

    저장소의 루트 폴더에 데이터를 저장합니다.

  • 폴더

    사용할 폴더 이름을 지정합니다.

• Snowflake Open Catalog와 동기화

  이 기능을 활성화하면 Snowflake Open 카탈로그가 클라우드 파일 저장소에 있는 파일을 관리할 수 있습니다.

데이터 마트 작업 기본값

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 데이터 세트로 카탈로그에 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

런타임 기본값

프로젝트에 포함된 데이터 자산에 대한 기본 런타임 성능 설정을 정의할 수 있습니다.

랜딩 기본값

• 병렬 실행에서 최대 데이터베이스 연결 수를 설정할 수 있습니다.

스토리지 기본값

• 기본 일정 설정을 시간 기반 일정으로 설정할 수 있습니다. 이는 생성된 각 스토리지 작업의 기본값이 됩니다.

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.

변환 기본값

• 기본 일정 설정을 시간 기반 일정 또는 입력 데이터 작업이 성공적으로 완료된 경우로 설정할 수 있습니다. 이는 생성된 각 변환 작업의 기본값이 됩니다.

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.

데이터 마트 기본값

• 기본 일정 설정을 시간 기반 일정 또는 입력 데이터 작업이 성공적으로 완료된 경우로 설정할 수 있습니다. 이는 생성된 각 데이터 마트 작업의 기본값이 됩니다.

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.

미러 기본값

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.

Qlik 오픈 레이크하우스 데이터 파이프라인 프로젝트 설정

데이터 플랫폼

다음 설정을 변경할 수 있습니다.

• 데이터 카탈로그 연결: 기존 연결을 선택하거나 새로 만들기를 클릭하여 새 데이터 카탈로그 연결을 추가합니다. 또한 기존 연결을 편집하고 연결 테스트를 클릭하여 연결이 작동하는지 확인할 수 있습니다.

• 랜딩 대상 연결: 데이터를 랜딩할 S3 버킷을 선택하거나 새로 만들기를 클릭하여 새 버킷 위치를 추가합니다. 또한 기존 연결을 편집하고 연결 테스트를 클릭하여 연결이 작동하는지 확인할 수 있습니다.

메타데이터

내부 아티팩트에 대한 접미사와 생성되는 뷰에 대한 기본 접미사를 설정할 수 있습니다.

• 아티팩트 기본 설정

  • 모든 스키마의 접두사: 프로젝트에서 생성된 데이터 스키마에 추가할 접두사입니다. 가져온 프로젝트가 내보낸 프로젝트와 동일한 클라우드 데이터 웨어하우스에 있는 경우에 유용합니다.

  • 내부 스키마의 접미사: 내부 아티팩트를 저장하는 데 사용되는 스키마에 사용할 접미사입니다.

  • 스키마 이름의 기본 대문자 표시: 모든 스키마 이름의 기본 대문자 표시입니다. 데이터베이스가 대문자 표시를 강제하도록 구성된 경우 이 옵션은 적용되지 않습니다.

• 외부 뷰의 접미사

  프로젝트에 포함된 데이터 작업에서 생성되는 뷰의 기본 접미사를 설정합니다.

• 해시

  열을 해싱할 때 사용할 해시 솔트 문자열을 설정할 수 있습니다(예: 민감한 정보 마스킹). 이렇게 하면 해시 솔트 문자열과 연결한 후 입력 열의 SHA-256 해시가 생성됩니다.

  프로젝트 ID를 솔트 문자열로 사용하거나 사용자 지정 솔트 문자열을 설정할 수 있습니다.

새 작업에 대한 기본 설정

프로젝트에서 생성되는 데이터 작업에 대한 기본값을 설정할 수 있습니다. 데이터 작업을 생성할 때 값을 변경할 수 있습니다.

모든 유형의 데이터 작업에 대해 대상 아티팩트를 생성할 기본 데이터베이스를 설정할 수 있습니다.

레이크 랜딩 작업 기본값

사용할 폴더

파일을 기록할 버킷 폴더에 따라 다음 중 하나를 선택합니다.

• 기본 폴더

  기본 폴더 형식은 <your-project-name>/<your-task-name>입니다.

• 루트 폴더

  파일이 루트 버킷 폴더에 기록됩니다.

• 폴더

  폴더 이름을 지정합니다. 폴더가 아직 없는 경우 데이터 작업 중에 폴더가 생성됩니다.

  정보 메모 폴더 이름에는 특수 문자(예: @, #, ! 등)를 포함할 수 없습니다.

스토리지 작업 기본값

• 기록 데이터 저장소(유형 2)

  기록 변경 데이터를 유지하여 특정 시점의 데이터를 쉽게 다시 생성할 수 있습니다. 기록 뷰 및 라이브 기록 뷰를 사용하여 기록 데이터를 볼 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 데이터 세트로 카탈로그에 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

스테이징 영역에서 사용할 폴더

파일을 기록할 버킷 폴더에 따라 다음 중 하나를 선택합니다.

• 기본 폴더

  기본 폴더 형식은 <your-project-name>/<your-task-name>입니다.

• 루트 폴더

  파일이 루트 버킷 폴더에 기록됩니다.

• 폴더

  폴더 이름을 지정합니다. 폴더가 아직 없는 경우 데이터 작업 중에 폴더가 생성됩니다.

  정보 메모 폴더 이름에는 특수 문자(예: @, #, ! 등)를 포함할 수 없습니다.

스트리밍 랜딩 작업 기본값

프로젝트에서 생성된 스트리밍 랜딩 작업에 대한 기본값을 설정할 수 있습니다.

사용할 폴더

파일을 기록할 버킷 폴더에 따라 다음 중 하나를 선택합니다.

• 기본 폴더

  기본 폴더 형식은 <your-project-name>/<your-task-name>입니다.

• 루트 폴더

  파일이 루트 버킷 폴더에 기록됩니다.

• 폴더

  폴더 이름을 지정합니다. 폴더가 아직 없는 경우 데이터 작업 중에 폴더가 생성됩니다.

  정보 메모 폴더 이름에는 특수 문자(예: @, #, ! 등)를 포함할 수 없습니다.

폴더 보존

데이터 보존 기간을 선택합니다.

• 데이터 및 메타데이터가 삭제되지 않음

  데이터와 메타데이터 모두 삭제되지 않습니다.

• 보존 기간 후 데이터 및 메타데이터 삭제

  보존 기간이 경과하면 데이터 및 메타데이터가 삭제됩니다.

• 보존 기간 후 메타데이터 삭제. 데이터는 외부 시스템에 의해 삭제됩니다.

  이 기간이 경과하면 메타데이터가 제거됩니다. 기본 데이터(예: S3 개체)는 Qlik에서 삭제하지 않지만 외부 시스템에서 삭제합니다.

스트리밍 변환 작업 기본값

프로젝트에서 생성된 스트리밍 변환 작업에 대한 기본값을 설정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 데이터 세트로 카탈로그에 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

사용할 폴더

파일을 기록할 버킷 폴더에 따라 다음 중 하나를 선택합니다.

• 기본 폴더

  기본 폴더 형식은 <your-project-name>/<your-task-name>입니다.

• 루트 폴더

  파일이 루트 버킷 폴더에 기록됩니다.

• 폴더

  폴더 이름을 지정합니다. 폴더가 아직 없는 경우 데이터 작업 중에 폴더가 생성됩니다.

  정보 메모 폴더 이름에는 특수 문자(예: @, #, ! 등)를 포함할 수 없습니다.

테이블 정의

이 프로젝트의 모든 스트리밍 변환 작업에 대한 표준 뷰에 기본적으로 표시되는 표준 뷰 헤더 열을 구성합니다.

• hdr__from_timestamp

  이 옵션을 활성화하면 표준 보기에 hdr__from_timestamp 헤더 열이 나타납니다. 또한 온보딩 마법사에서 이벤트 수집 날짜별 파티션을 선택하면 hdr__from_timestamp가 기본 파티션 열로 사용됩니다. 작업 또는 데이터 집합 수준에서 이 설정을 재정의할 수 있습니다.

  정보 메모이 설정과 관계없이 기록 보기에는 항상 모든 표준 보기 헤더 열이 포함됩니다.

런타임

프로젝트에 포함된 데이터 작업에 대한 기본 런타임 성능 설정을 정의할 수 있습니다.

레이크 랜딩 작업 기본값

• 병렬 실행에서 최대 데이터베이스 연결 수를 설정할 수 있습니다.

스토리지 작업 기본값

Lakehouse 클러스터

선택적으로 스토리지 작업을 위한 전용 Lakehouse 클러스터를 선택합니다.

스트리밍 랜딩 작업 기본값

판독기 수

사용할 판독기 수를 선택합니다. 값은 1에서 1,000 사이여야 합니다.

Lakehouse 클러스터

선택적으로 스토리지 작업을 위한 전용 Lakehouse 클러스터를 선택합니다.

스트리밍 변환 작업 기본값

Lakehouse 클러스터

선택적으로 스토리지 작업을 위한 전용 Lakehouse 클러스터를 선택합니다.

미러 기본값

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.