Store

Parquet 파일에 저장

Parquet는 각 필드에 단일 특정 유형의 데이터(예: in32, double, 타임스탬프 또는 텍스트)가 포함된 강력한 유형의 파일 형식입니다. Qlik Sense는 내부 데이터를 느슨한 유형의 이중으로 저장합니다. 여기서 서로 다른 소스의 데이터가 동일한 필드에 혼합될 수 있습니다. Parquet의 각 필드에는 이중의 한 부분만 저장할 수 있으므로 각 필드에 무엇이 포함되어 있는지 알아야 합니다. 기본적으로 Qlik Sense는 필드 유형을 사용하여 필드 저장 방법을 결정합니다. Parquet 파일에 데이터를 특정 형식으로 저장하는 경우 필드를 로드할 때 필드의 데이터 유형을 지정해야 합니다. 텍스트 필드의 숫자나 타임스탬프 필드의 텍스트 등 Parquet 파일의 호환되지 않는 필드에 데이터를 저장하려고 하면 null 값이 발생하게 됩니다.

Parquet에 저장하려는 데이터를 로드할 때 기본 동작을 변경할 수 있습니다. 형식을 지정하여 데이터 유형을 변경하거나 태그를 지정하여 Parquet에서 특정 열 유형을 적용할 수 있습니다.

Parquet에 저장할 데이터 형식 지정

Qlik Sense 형식 지정 함수를 사용하여 데이터를 분류할 수 있습니다. 예를 들어, Text(), Num(), Interval() 또는 Timestamp()는 데이터를 Parquet에 저장할 때 데이터 형식을 적용할 수 있습니다. Qlik Sense은 필드 특성 및 자동 필드 태그에 따라 거의 20가지 데이터 유형으로 데이터를 저장할 수 있습니다. 자세한 내용은 해석 함수을 참조하십시오.

Num() 및 Text()를 사용하여 데이터 형식 지정

다음 예에서는 Parquet에 저장할 데이터를 준비하는 방법을 보여 줍니다. Num()은 숫자 필드에 적용됩니다. Text()는 텍스트와 혼합 모두에 적용됩니다. 혼합의 경우 Text()는 Parquet의 숫자 필드처럼 처리되어 텍스트 값이 null 값으로 변경되는 것을 방지합니다.

Parquet에 저장하기 위한 데이터 태그 지정

Parquet에 데이터를 저장할 때 특정 열 유형을 강제 적용하려면 데이터에 $parquet 태그를 지정합니다. 각 데이터 유형은 해당 제어 태그를 추가하여 적용할 수 있습니다. 예를 들어, 필드를 Parquet에 INT32로 저장하려면 로드 스크립트에서 $parquet-int32 태그를 지정합니다. 데이터 유형에 따라 이중 데이터의 문자열 또는 숫자 표현이 저장됩니다.

다음 Parquet 제어 태그는 Parquet 파일에 저장하기 위해 필드에 태그를 지정하는 데 사용할 수 있습니다.

Parquet에 저장하기 위한 데이터 태그 지정

이 예에서는 Parquet에 대한 데이터를 정의하는 데 두 개의 태그가 사용됩니다. num 필드에는 $parquet-int32 태그가 지정되어 Parquet에서 INT32로 설정될 숫자 필드로 정의됩니다.

중첩된 데이터를 Parquet 파일에 저장

여러 테이블을 구조화된 데이터에 중첩하여 Parquet 파일에 저장할 수 있습니다. Store는 별표 스키마의 구조화된 노드와 목록 노드를 지원합니다. 단일 테이블은 Delimiter is 지정자를 사용하여 중첩 모드로 저장할 수도 있습니다.

테이블을 저장할 때 포함하려는 테이블을 쉼표로 구분하여 지정합니다. 예: STORE Table1, Table2, Table3 INTO [lib://<file location>/<file name>.parquet] (parquet);. Store 문의 필드 목록을 사용하여 저장되는 필드를 제어할 수 있습니다. 예: STORE Field1, Field2, FROM Table1, Table2 INTO [lib://<file location>/<file name>.parquet] (parquet);. 필드 목록의 모든 필드는 나열된 테이블 중 하나 이상에 있어야 합니다. Store 문의 첫 번째 테이블은 별표 스키마의 팩트 테이블로 사용됩니다.

필드 이름은 그룹을 만들고 중첩하는 방법을 제어하는 데 사용됩니다. 기본적으로 필드 이름은 마침표(.)를 사용하여 노드로 분할됩니다. 구분 기호는 시스템 변수 FieldName Delimiter를 설정하거나 Delimiter is 지정자를 사용하여 변경할 수 있습니다. 지정자는 시스템 변수를 재정의합니다. 자세한 내용은 데이터 로드 편집기에서 변수를 사용하여 작업을 참조하십시오.

필드 이름은 구분 기호로 분할되며 해당 부분은 중첩된 그룹이 있는 스키마를 만드는 데 사용됩니다. 예를 들어, STORE Field1, Field1.Field2, Field1.Field3, Field1.Field4 FROM Table1 INTO [nested.parquet] (parquet, delimiter is '.');는 Fields1, Field2 및 Field3, Field4를 사용하여 두 그룹(Group1 및 Group2)을 만듭니다.

Parquet에 중첩된 데이터를 저장하면 테이블 사이의 키가 스키마의 링크 노드로 변환됩니다. 테이블은 스키마의 구조화된 노드로 변환됩니다. 필드 이름을 사용하여 기본 변환을 재정의할 수 있습니다.

중첩된 데이터를 Parquet 파일에 저장

결과 Parquet 파일에는 다음과 같은 스키마가 있습니다.

제한 사항

중첩된 데이터를 Parquet에 저장하는 데에는 다음과 같은 제한 사항이 있습니다.

• 저장은 맵 노드를 지원하지 않습니다.

• 저장에는 중첩된 Parquet 파일을 로드하여 생성된 키 필드가 포함되지 않습니다.

• 키 필드와 연결되지 않은 테이블의 데이터를 함께 저장할 수 없습니다.

• 중첩된 파일은 데이터 모델을 비정규화합니다. 참조되지 않은 값은 저장되지 않으며 여러 번 참조된 값은 복사됩니다.

Qlik Cloud의 로드 스크립트에서 Store 문을 사용하면 만들어진 파일을 저장할 공간의 정확한 폴더를 참조할 수 있습니다. 유효한 공간 폴더 경로에 대한 규칙을 따르십시오. 또한 다음 동작도 적용되며 Store 문에만 고유합니다.

• 공간이 존재하지만 지정된 폴더 경로가 없는 경우 경로는 공간에 만들어집니다. 정의된 폴더 구조에 따라 하나 이상의 폴더가 만들어질 수 있습니다. 해당 파일이 생성되어 저장됩니다.

• 공간이 있지만 지정된 폴더 경로가 잘못된 폴더 구분 기호(예: \, \\, //, /./ 또는 /../)를 사용하는 경우 Store 문은 계속 실행됩니다. 대신 출력 파일은 대상 공간의 최상위 경로에 저장되고, 지정된 이름뿐만 아니라 전체 경로를 포함하는 이름을 갖게 됩니다.

• 공간이 존재하지 않으면 Store 문을 실행할 수 없으며 오류가 반환됩니다.

다음 예에서는 Store 문 내에서 공간의 특정 폴더 경로를 참조하는 방법을 보여 줍니다.

공간의 최상위 경로에 파일 저장

이 예에서 전체 테이블 mytable은 myfile.qvd라는 이름의 파일로 Qlik Cloud 분석로 내보내집니다. 파일이 공유 공간 TeamSharedSpace에 추가되었습니다. 해당 파일은 특정 폴더 내에 위치하지 않고, 대신 공간의 최상위 경로에 위치합니다.

Store * from mytable into [lib://TeamSharedSpace:DataFiles/myfile.qvd];

공간 내의 특정 폴더 경로에 파일 저장

이 예에서 전체 테이블 mytable은 myfile.qvd라는 이름의 파일로 Qlik Cloud 분석로 내보내집니다. 파일은 공간 TeamSharedSpace 내의 폴더 SalesData에 추가됩니다.

Store * from mytable into [lib://TeamSharedSpace:DataFiles/SalesData/myfile.qvd];