데이터 파이프라인 프로젝트 설정

Qlik Talend Data Integration에서 데이터 파이프라인 프로젝트의 설정을 변경할 수 있습니다. 속성은 프로젝트 및 포함된 모든 데이터 작업에 공통으로 적용됩니다. 일부 설정은 특정 데이터 플랫폼에서만 사용할 수 있습니다.

• 프로젝트에서 설정을 클릭합니다.

데이터 플랫폼

다음 설정을 변경할 수 있습니다.

• 연결

  프로젝트의 연결입니다.

• 스테이징 영역에 연결

  데이터 플랫폼이 Snowflake인 경우 이 옵션을 사용할 수 없습니다.

메타데이터

내부 아티팩트의 접미사와 생성되는 뷰의 기본 접미사를 설정할 수 있습니다.

• 내부 아티팩트 기본 설정

  스키마 접미사에서 내부 아티팩트를 저장하는 데 사용되는 스키마에 사용할 접미사를 설정합니다.

• 외부 뷰 접미사

  프로젝트에 포함된 데이터 작업에서 생성되는 뷰의 기본 접미사를 설정합니다.

• 해시

  예를 들어 민감한 정보를 마스킹하기 위해 열을 해싱할 때 사용할 해시 솔트 문자열을 설정할 수 있습니다. 이렇게 하면 입력 열을 해시 솔트 문자열과 연결한 후 SHA-256 해시가 생성됩니다.

  프로젝트 ID를 솔트 문자열로 사용하거나 사용자 지정 솔트 문자열을 설정할 수 있습니다.

  정보 메모이 설정은 Qlik 오픈 레이크하우스 프로젝트에서만 사용할 수 있습니다. 해시 함수는 스트리밍 랜딩 작업에서 사용할 수 있습니다.

새 작업의 기본 설정

프로젝트에서 생성되는 데이터 작업의 기본값을 설정할 수 있습니다. 데이터 작업을 생성할 때 값을 변경할 수 있습니다.

모든 유형의 데이터 작업에 대한 대상 아티팩트를 생성할 기본 데이터베이스를 설정할 수 있습니다.

랜딩 기본 설정

• Data Movement gateway를 사용할 때 프록시를 통해 다음에 연결

  데이터 이동 게이트웨이를 사용할 때 프록시를 통해 대상 플랫폼 및 스테이징 플랫폼(영역)에 연결할 수 있습니다.

  프록시 서버를 사용하도록 데이터 이동 게이트웨이를 구성하는 방법에 대한 자세한 내용은 Qlik Cloud 테넌트 및 프록시 서버 설정참조하십시오.

  • 대상 플랫폼

    정보 메모Snowflake, Google BigQuery 및 Databricks를 사용할 때 사용할 수 있습니다.

  • 스테이징 플랫폼

    정보 메모Azure Synapse Analytics, Amazon Redshift 및 Databricks를 사용할 때 사용할 수 있습니다.

스토리지 기본 설정

• 기록 데이터 저장소(유형 2)

  기록 변경 데이터를 유지하여 특정 시점의 데이터를 쉽게 다시 생성할 수 있습니다. 기록 뷰 및 라이브 기록 뷰를 사용하여 기록 데이터를 볼 수 있습니다.

• 라이브 뷰

  라이브 뷰는 선택한 각 원본 테이블에 대해 테이블을 변경 테이블의 변경 내용과 병합하는 뷰를 표시합니다. 이를 통해 다음 적용 주기를 기다릴 필요 없이 데이터의 라이브 뷰를 쿼리에 제공합니다.

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 카탈로그에 데이터 세트로 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

변환 기본 설정

• 기록 데이터 저장소(유형 2)

  기록 변경 데이터를 유지하여 특정 시점의 데이터를 쉽게 다시 생성할 수 있습니다. 기록 뷰 및 라이브 기록 뷰를 사용하여 기록 데이터를 볼 수 있습니다.

구체화

• 비구체화(뷰만 해당)

  즉석에서 변환을 수행하는 뷰만 생성하려면 이 옵션을 선택합니다.

• 구체화(테이블 및 뷰)

  테이블과 뷰를 모두 생성하려면 이 옵션을 선택합니다.

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 카탈로그에 데이터 세트로 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

데이터 마트 기본 설정

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 카탈로그에 데이터 세트로 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

등록된 데이터 기본 설정

기본 데이터베이스

프로젝트의 기본 데이터베이스를 사용하거나 다른 데이터베이스를 지정할 수 있습니다.

카탈로그

• 카탈로그에 게시

  이 데이터 버전을 카탈로그에 데이터 세트로 게시하려면 이 옵션을 선택합니다. 다음에 이 작업을 준비할 때 카탈로그 콘텐츠가 업데이트됩니다.

증분 로드 설정

상위 워터마크를 사용한 증분을 선택한 경우 이 설정을 사용할 수 있습니다.

• 변경 테이블

  변경 내용이 동일한 테이블에 있는 경우 변경 내용이 동일한 테이블 내에 있음을 선택합니다.

  그렇지 않은 경우 변경 내용이 동일한 테이블 내에 있음을 선택 취소하고 변경 테이블 패턴을 지정합니다.

• 워터마크 열

  이름에서 워터마크 열의 이름을 설정합니다.

• "시작 날짜" 열

  시작 시간 또는 선택한 열을 사용하여 "시작 날짜"를 나타낼 수 있습니다.

  선택한 "시작 날짜" 열을 선택하는 경우 "시작 날짜" 패턴을 정의해야 합니다.

• 소프트 삭제

  변경 내용에 소프트 삭제 포함을 선택하고 표시 표현식을 정의하여 변경 내용에 소프트 삭제를 포함할 수 있습니다.

  변경 내용이 소프트 삭제인 경우 표시 표현식은 True로 평가되어야 합니다.

  예: ${is_deleted} = 1

• 이전 이미지

  이전 이미지를 선택하고 표시 표현식을 정의하여 변경 테이블 변경 내용에서 이전 이미지 레코드를 필터링할 수 있습니다.

  행에 업데이트 전 이미지가 포함된 경우 표시 표현식은 True로 평가되어야 합니다.

  예: ${header__change_oper} = 'B'

런타임

프로젝트에 포함된 데이터 자산에 대한 기본 런타임 성능 설정을 정의할 수 있습니다.

랜딩 기본값

• 병렬 실행에서 최대 데이터베이스 연결 수를 설정할 수 있습니다.

스토리지 기본값

• 기본 일정 설정을 시간 기반 일정으로 설정할 수 있습니다. 이는 생성된 각 스토리지 작업의 기본값이 됩니다.

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.

변환 기본값

• 기본 일정 설정을 시간 기반 일정 또는 입력 데이터 작업이 성공적으로 완료된 경우로 설정할 수 있습니다. 이는 생성된 각 변환 작업의 기본값이 됩니다.

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.

데이터 마트 기본값

• 기본 일정 설정을 시간 기반 일정 또는 입력 데이터 작업이 성공적으로 완료된 경우로 설정할 수 있습니다. 이는 생성된 각 데이터 마트 작업의 기본값이 됩니다.

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.

미러 기본값

• 프로젝트 플랫폼이 Snowflake인 경우 기본 데이터 웨어하우스를 설정할 수 있습니다.