기본 콘텐츠로 건너뛰기

메타데이터 파일 설명

대상 폴더에 메타데이터 파일 만들기 옵션을 선택하면 각 CSV/JSON/Parquet 파일에 대해 데이터 레이크 랜딩 작업이 지정된 대상 폴더 아래에 해당 메타데이터 파일을 만듭니다.

메타데이터 파일은 사용자 지정 배치 프로세스를 통해 더 나은 유효성 검사를 수행하고, 심층적인 자동화를 지원하고, 계보 정보를 제공하고, 처리 안정성을 향상시키는 등 여러 가지 이점을 제공합니다.

메타데이터 파일은 아래 표에 설명되어 있습니다.

정보 메모

모든 타임스탬프는 ISO-8601 형식입니다(예: 2016-08-02T10:05:04.802).

작업 정보 파일
필드 설명

이름

데이터 레이크 랜딩 작업의 이름입니다.

원본 엔드포인트

소스 종료 지점 설정에 정의된 이름입니다.

원본 엔드포인트 유형

소스 커넥터 유형(예: Oracle, MySQL 등)입니다.

원본 엔드포인트 사용자

소스 종료 지점 설정에 정의된 사용자입니다.

복제 서버

데이터 이동 게이트웨이가 설치된 컴퓨터의 호스트 이름입니다.

작업

대상 데이터 파일이 만들어진 경우 이 필드에는 다음 값이 포함됩니다. dataProduced

파일 정보 파일
필드 설명

이름

확장자가 없는 데이터 파일의 이름입니다.

확장

데이터 파일의 확장자(선택한 대상 파일 형식에 따라 .csv 또는 .json)입니다.

위치

데이터 파일의 위치입니다.

쓰기 시작 타임스탬프

파일 쓰기가 시작된 시점을 나타내는 UTC 타임스탬프입니다.

쓰기 종료 타임스탬프

파일 쓰기가 종료되었음을 나타내는 UTC 타임스탬프입니다.

첫 번째 트랜잭션 타임스탬프

파일의 첫 번째 레코드에 대한 UTC 타임스탬프입니다.

마지막 트랜잭션 타임스탬프

파일의 마지막 레코드에 대한 UTC 타임스탬프입니다.

콘텐츠

해당 CSV 파일의 데이터에 따라 이 값은 data(전체 로드 랜딩의 경우) 또는 changes(CDC 랜딩의 경우)일 수 있습니다.

레코드 수

파일의 레코드 수입니다.

오류 수

파일 만들기 중에 발생한 데이터 오류 수입니다.

정보 파일 형식 지정
필드 설명

서식

선택한 대상 파일 형식에 따라 delimited 또는 json 입니다.

옵션

delimited 파일 형식에 대한 옵션입니다. 이러한 옵션은 관련이 없으므로 json 형식에는 표시되지 않습니다.

레코드 구분 기호

대상 파일에서 레코드(행)를 구분하는 데 사용되는 구분 기호입니다. 기본값은 줄 바꿈(\n)입니다.

필드 구분 기호

대상 파일에서 필드(열)를 구분하는 데 사용되는 구분 기호입니다. 기본값은 쉼표입니다.

null 값

대상 파일에서 null 값을 나타내는 데 사용되는 문자열입니다.

인용 문자

열의 시작과 끝 부분에 사용되는 문자입니다. 기본값은 큰따옴표 문자(")입니다.

이스케이프 문자

문자열과 문자열을 포함하는 열이 모두 큰따옴표로 묶인 경우 문자열을 이스케이프하는 데 사용되는 문자입니다. 문자열의 따옴표는 이스케이프 처리하지 않는 한 제거됩니다.

예(여기서 "는 인용 문자이고 \는 이스케이프 문자임):

1955,"오래된, \"희귀한\", 쉐보레",$1000

사용자 지정 정보 파일
필드 설명

사용자 지정 정보

이 섹션에는 dfmCustomProperties 내부 속성을 사용하여 설정된 모든 사용자 지정 속성이 포함되어 있습니다.

dfmCustomProperties 내부 매개 변수는 다음 형식으로 지정되어야 합니다.

Parameter1=Value1;Parameter2=Value2;Parameter3=Value3

예:

Color=Blue;Size=Large;Season=Spring

내부 속성을 설정하는 방법에 대한 설명은 Amazon S3을 참조하십시오.

데이터 정보 파일
필드 설명

원본 스키마

소스 테이블을 포함하는 스키마입니다.

원본 테이블

소스 테이블의 이름입니다.

대상 스키마

대상 테이블 스키마의 이름입니다(소스 스키마 이름이 변경된 경우).

대상 테이블

대상 테이블의 이름입니다(소스 테이블 이름이 변경된 경우).

테이블 버전

데이터 레이크 랜딩 작업은 테이블에 내부 버전 번호를 할당합니다. 버전 번호는 소스 테이블에서 DDL 변경이 발생할 때마다 증가합니다.

테이블 열에 대한 정보입니다.

순서

레코드의 열 위치입니다(1, 2, 3 등).

이름

열 이름입니다.

유형

열 데이터 유형입니다. 자세한 내용은 Supported data types을 참조하십시오.

너비

열에 허용되는 데이터의 최대 크기(바이트)입니다.

배율

숫자에 허용되는 소수점 오른쪽의 최대 자릿수입니다.

기본 키 위치

테이블의 기본 키 또는 고유 인덱스에 있는 열의 위치입니다. 열이 테이블의 기본 키의 일부가 아닌 경우 값은 0입니다.

이 페이지가 도움이 되었습니까?

이 페이지 또는 해당 콘텐츠에서 오타, 누락된 단계 또는 기술적 오류와 같은 문제를 발견하면 알려 주십시오!