메타데이터 파일 설명

대상 폴더에 메타데이터 파일 만들기 옵션을 선택하면 각 CSV/JSON/Parquet 파일에 대해 데이터 레이크 랜딩 작업이 지정된 대상 폴더 아래에 해당 메타데이터 파일을 만듭니다.

메타데이터 파일은 사용자 지정 배치 프로세스를 통해 더 나은 유효성 검사를 수행하고, 심층적인 자동화를 지원하고, 계보 정보를 제공하고, 처리 안정성을 향상시키는 등 여러 가지 이점을 제공합니다.

메타데이터 파일은 아래 표에 설명되어 있습니다.

모든 타임스탬프는 ISO-8601 형식입니다(예: 2016-08-02T10:05:04.802).

작업 정보 파일
필드	설명
name	데이터 레이크 랜딩 작업의 이름입니다.
sourceEndpoint	소스 종료 지점 설정에 정의된 이름입니다.
sourceEndpointType	소스 커넥터 유형(예: Oracle, MySQL 등)입니다.
sourceEndpointUser	소스 종료 지점 설정에 정의된 사용자입니다.
replicationServer	데이터 이동 게이트웨이가 설치된 컴퓨터의 호스트 이름입니다.
operation	대상 데이터 파일이 만들어진 경우 이 필드에는 다음 값이 포함됩니다. dataProduced

파일 정보 파일
필드	설명
name	확장자가 없는 데이터 파일의 이름입니다.
extension	데이터 파일의 확장자(선택한 대상 파일 형식에 따라 .csv 또는 .json)입니다.
location	데이터 파일의 위치입니다.
startWriteTimestamp	파일 쓰기가 시작된 시점을 나타내는 UTC 타임스탬프입니다.
endWriteTimestamp	파일 쓰기가 종료되었음을 나타내는 UTC 타임스탬프입니다.
firstTransactionTimestamp	파일의 첫 번째 레코드에 대한 UTC 타임스탬프입니다.
lastTransactionTimestamp	파일의 마지막 레코드에 대한 UTC 타임스탬프입니다.
content	해당 CSV 파일의 데이터에 따라 이 값은 data(전체 로드 랜딩의 경우) 또는 changes(CDC 랜딩의 경우)일 수 있습니다.
recordCount	파일의 레코드 수입니다.
errorCount	파일 만들기 중에 발생한 데이터 오류 수입니다.

정보 파일 형식 지정
필드	설명
format	선택한 대상 파일 형식에 따라 delimited 또는 json 입니다.
options	delimited 파일 형식에 대한 옵션입니다. 이러한 옵션은 관련이 없으므로 json 형식에는 표시되지 않습니다.
recordDelimiter	대상 파일에서 레코드(행)를 구분하는 데 사용되는 구분 기호입니다. 기본값은 줄 바꿈(\n)입니다.
fieldDelimiter	대상 파일에서 필드(열)를 구분하는 데 사용되는 구분 기호입니다. 기본값은 쉼표입니다.
nullValue	대상 파일에서 null 값을 나타내는 데 사용되는 문자열입니다.
quoteChar	열의 시작과 끝 부분에 사용되는 문자입니다. 기본값은 큰따옴표 문자(")입니다.
escapeChar	문자열과 문자열을 포함하는 열이 모두 큰따옴표로 묶인 경우 문자열을 이스케이프하는 데 사용되는 문자입니다. 문자열의 따옴표는 이스케이프 처리하지 않는 한 제거됩니다. 예(여기서 "는 인용 문자이고 \는 이스케이프 문자임): 1955,"old, \"rare\", Chevrolet",$1000

사용자 지정 정보 파일
필드	설명
customInfo	이 섹션에는 dfmCustomProperties 내부 매개 변수를 사용하여 설정된 모든 사용자 지정 매개 변수가 포함되어 있습니다. dfmCustomProperties 내부 매개 변수는 다음 형식으로 지정되어야 합니다. Parameter1=Value1;Parameter2=Value2;Parameter3=Value3 예: Color=Blue;Size=Large;Season=Spring 내부 매개 변수 설정 방법에 대한 설명은 Amazon S3을 참조하십시오.

데이터 정보 파일
필드	설명
sourceSchema	소스 테이블을 포함하는 스키마입니다.
sourceTable	소스 테이블의 이름입니다.
targetSchema	대상 테이블 스키마의 이름입니다(소스 스키마 이름이 변경된 경우).
targetTable	대상 테이블의 이름입니다(소스 테이블 이름이 변경된 경우).
tableVersion	데이터 레이크 랜딩 작업은 테이블에 내부 버전 번호를 할당합니다. 버전 번호는 소스 테이블에서 DDL 변경이 발생할 때마다 증가합니다.
columns	테이블 열에 대한 정보입니다.
ordinal	레코드의 열 위치입니다(1, 2, 3 등).
name	열 이름입니다.
type	열 데이터 유형입니다. 자세한 내용은 Supported data types을 참조하십시오.
width	열에 허용되는 데이터의 최대 크기(바이트)입니다.
scale	숫자에 허용되는 소수점 오른쪽의 최대 자릿수입니다.
primaryKeyPos	테이블의 기본 키 또는 고유 인덱스에 있는 열의 위치입니다. 열이 테이블의 기본 키의 일부가 아닌 경우 값은 0입니다.

이 페이지가 도움이 되었습니까?

이 페이지 또는 해당 콘텐츠에서 오타, 누락된 단계 또는 기술적 오류와 같은 문제를 발견하면 개선 방법을 알려 주십시오!