데이터 변환

데이터 파이프라인의 일부로 재사용 가능한 규칙 기반 데이터 변환을 만들 수 있습니다. 데이터 온보딩의 일부로 변환을 수행하거나 재사용 가능한 변환 데이터 작업을 만들 수 있습니다. 행 수준 변환을 수행하고 테이블로 구체화되거나 즉석에서 변환을 수행하는 보기로 만들어지는 데이터 집합을 만들 수 있습니다.

데이터 집합마다 명시적 변환을 수행하거나 여러 데이터 집합을 변환하는 전역 규칙을 만들 수 있습니다. 데이터 집합을 필터링하여 행의 하위 집합을 만들 수도 있습니다.

변환 데이터 자산 만들기

변환 데이터 작업을 만드는 가장 쉬운 방법은 저장소 데이터 작업에서 ...을 클릭한 다음 데이터 변환을 선택하는 것입니다.

데이터 프로젝트에서 새로 추가를 클릭하고 데이터 변환을 선택할 수도 있습니다. 이 경우 사용할 소스 데이터 작업을 정의해야 합니다.

1. 데이터 집합 변환에서 소스 데이터를 정의합니다.

   소스 데이터 집합을 선택하고 추가를 클릭하여 출력에 추가합니다.

   데이터 집합을 선택하고 SQL 기반 데이터 집합 추가를 클릭하여 SQL 기반 데이터 집합을 추가할 수 있습니다.

   SQL 기반 데이터 집합 추가

   팁 메모소스 데이터 선택을 클릭하여 다른 저장소 데이터 자산에서 더 많은 데이터 집합을 추가할 수도 있습니다.

2. 변환, 데이터 필터링 또는 열 추가와 같이 포함된 데이터 집합에 필요한 모든 변경을 수행합니다.

   자세한 내용은 데이터 집합 관리을 참조하십시오.

3. 원하는 변환을 추가했으면 데이터 집합 유효성 검사를 클릭하여 데이터 집합의 유효성을 검사할 수 있습니다. 유효성 검사에서 오류가 발견되면 계속하기 전에 오류를 수정합니다.

   자세한 내용은 데이터 집합 유효성 검사 및 조정을 참조하십시오.

4. 데이터 모델 만들기

   모델을 클릭하여 포함된 데이터 집합 간의 관계를 설정합니다.

   자세한 내용은 데이터 모델 만들기을 참조하십시오.

5. 준비를 클릭하여 데이터 작업 및 모든 필수 아티팩트를 준비합니다. 시간이 조금 걸릴 수 있습니다.

6. 상태가 준비됨으로 표시되면 데이터 작업을 실행할 수 있습니다.

   ...을 클릭한 다음 실행을 클릭합니다.

이제 데이터 작업이 데이터를 변환하기 위한 데이터 집합 만들기를 시작합니다.

SQL 기반 데이터 집합 추가

데이터 집합 변환에서 쿼리에 포함할 데이터 집합을 선택하고 SQL 기반 테이블 추가를 클릭합니다.

1. 데이터 집합 이름에 데이터 집합의 이름을 입력합니다.

   설명에 더 긴 설명을 추가할 수도 있습니다.

2. SELECT 쿼리에서 SQL 기반 테이블을 반환하는 쿼리를 입력합니다.

   쿼리는 소스 데이터 집합에서만 읽을 수 있습니다. 이 데이터 자산에서 추가된 다른 SQL 기반 테이블 또는 출력 테이블을 참조할 수 없습니다.

   데이터 집합 및 열에서 선택할 수 있습니다.

3. 구문 분석을 클릭하여 SELECT 쿼리의 매개 변수를 구문 분석합니다.

   팁 메모매개 변수를 참조로 바꿔 더 읽기 쉬운 쿼리를 만들 수 있습니다. 매개 변수의 값을 변경하면 SELECT 쿼리의 참조도 변경됩니다.

4. 테이블 설명을 클릭하여 쿼리 출력 메타데이터를 미리 봅니다.

5. 쿼리 결과에 만족하면 확인을 클릭합니다. 이제 데이터 집합이 데이터 집합 목록에 추가되었으며 미리 볼 수 있습니다.

SQL 기반 데이터 집합을 추가할 때 기본 키가 자동으로 정의되지 않습니다. 데이터 집합 탭에서 데이터 집합에 키를 추가합니다.

변환 작업 예약

정기적으로 업데이트되도록 변환 작업을 예약할 수 있습니다. 시간 기반 일정을 설정하거나, 입력 데이터 작업 실행이 완료되면 실행되도록 작업을 설정할 수 있습니다.

데이터 작업에서 ...을 클릭하고 예약을 선택하여 일정을 만듭니다. 기본 일정 설정은 데이터 프로젝트의 설정에서 상속됩니다. 기본 설정에 대한 자세한 내용은 기본값 변환을 참조하십시오.

일정을 사용하려면 항상 일정을 켜기로 설정해야 합니다.

시간 기반 일정

시간 기반 일정을 사용하여 다른 입력 소스가 업데이트되는 시기에 관계없이 작업을 실행할 수 있습니다.

• 데이터 작업 실행에서 특정 시간에를 선택합니다.

시간별, 일별, 주별 또는 월별 일정을 설정할 수 있습니다.

이벤트 기반 일정

입력 데이터 작업 실행이 완료되면 이벤트 기반 일정을 사용하여 작업을 실행할 수 있습니다.

• 데이터 작업 실행에서 특정 이벤트에를 선택합니다.

입력 작업이 성공적으로 완료된 경우 또는 선택한 입력 작업이 성공적으로 완료된 경우 작업을 실행할지 여부를 선택할 수 있습니다.

변환 작업 모니터링

모니터링을 클릭하여 변환 작업의 상태 및 진행률을 모니터링할 수 있습니다.

자세한 내용은 데이터 작업 모니터링을 참조하십시오.

변환 설정

변환 데이터 작업의 속성을 설정할 수 있습니다.

• 설정을 클릭합니다.

일반 설정

• 데이터베이스

  데이터 소스에서 사용할 데이터베이스입니다.

• 데이터 자산 스키마

  저장소 데이터 자산 스키마의 이름을 변경할 수 있습니다. 기본 이름은 store입니다.

• 내부 스키마

  내부 저장소 스키마의 이름을 변경할 수 있습니다. 기본 이름은 store__internal입니다.

• 구체화됨

  테이블 만들려면 구체화됨을 선택하거나, 즉석에서 변환을 수행하는 보기만 만들려면 구체화되지 않음을 선택할 수 있습니다.

• 기록

  기록 변경 데이터를 유지하여 특정 시점에서 본 데이터를 쉽게 다시 만들 수 있습니다. 기록 보기 및 라이브 기록 보기를 사용하여 기록 데이터를 볼 수 있습니다.

런타임 설정

• 병렬 실행

  전체 로드에 대한 최대 데이터 연결 수를 1에서 5 사이의 숫자로 설정할 수 있습니다.

• 웨어하우스

  클라우드 데이터 웨어하우스의 이름입니다.

제한 사항

• 구체화되지 않음 옵션을 선택한 경우 변환 데이터 작업의 데이터 유형을 변경할 수 없습니다.

• SQL 기반 데이터 집합은 현재 전체 로드만 지원합니다. 즉, 변환 작업을 실행할 때마다 데이터가 다시 로드됩니다. SQL 기반 데이터 집합은 또한 현재 데이터만 제공하고 기록 레코드를 보관하지 않습니다.