Azure Data Lake Storage
Azure Data Lake Storage는 다음과 같이 사용될 수 있습니다.
- Databricks, Microsoft Fabric 또는 Azure Synapse Analytics를 데이터 파이프라인 대상으로 사용하는 경우의 클라우드 스테이징 영역입니다. 클라우드 스테이징 영역에서 데이터와 변경 내용이 적용 및 저장되기 전에 스테이징됩니다.
-
복제 작업의 대상입니다.
- Standard, Premium 및 Enterprise 구독을 사용하여 Azure Data Lake Storage에 데이터를 복제하는 방법에 대한 설명은 Standard, Premium 또는 Enterprise 구독을 통해 데이터 레이크에 데이터 랜딩을 참조하십시오.
- 별표터 구독을 사용하여 Azure Data Lake Storage에 데이터를 복제하는 방법에 대한 설명은 Qlik Talend Cloud 시작 구독으로 데이터 복제를 참조하십시오.
제한 사항 및 고려 사항
다음 제한 사항이 적용됩니다.
- 전체 LOB 모드는 지원되지 않습니다.
- 슬래시(/) 또는 백슬래시(\) 문자가 포함된 데이터베이스 이름, 스키마 이름 또는 테이블 이름은 지원되지 않습니다.
저장소 권한
커넥터 설정에 지정된 Azure Active Directory 테넌트에는 다음 ADLS Gen2 저장소 권한이 부여되어야 합니다.
- 저장소 컨테이너에서: LIST
- 저장소 디렉터리에서: READ, WRITE 및 DELETE
- ADLS Gen2 파일 시스템에 대한 액세스 제어(IAM) 설정에서 복제할 "저장소 Blob 데이터 기여자" 역할(AD 앱 ID)을 할당합니다. 역할이 적용되는 데 몇 분 정도 걸릴 수 있습니다.
Azure Data Lake Storage 연결 속성 설정
커넥터를 구성하려면 다음을 수행합니다.
-
연결에서 연결 만들기를 클릭합니다.
-
Azure Data Lake Storage 대상 커넥터를 선택한 후 다음 설정을 제공합니다.
데이터 대상
데이터 게이트웨이: ADLS에 대한 연결을 테스트하는 데 사용할 데이터 이동 게이트웨이를 선택합니다. 이는 데이터 소스의 데이터 랜딩에 배포된 것과 동일한 데이터 이동 게이트웨이여야 합니다.
연결 속성
-
저장소 계정
저장소 계정의 이름입니다.
-
컨테이너 이름
클라우드 스테이징 영역으로 사용할 컨테이너의 이름입니다.
-
Azure Active Directory 테넌트 ID
Azure Active Directory에 있는 구독의 테넌트 ID입니다.
-
Azure 응용 프로그램 등록 클라이언트 ID
Azure Active Directory에 있는 응용 프로그램의 클라이언트 ID입니다.
-
Azure 응용 프로그램 등록 비밀
Azure Active Directory의 응용 프로그램 비밀
이름
연결의 표시 이름입니다.
데이터 유형 매핑
다음 표에서는 Qlik Cloud 데이터 유형에서 Azure Data Lake Storage 데이터 유형으로의 기본 매핑을 보여 줍니다.
Qlik Cloud 데이터 유형에서 Azure Data Lake Storage로 매핑
Qlik Cloud 데이터 유형 | Azure Data Lake Storage 대상 데이터 유형 |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES(길이) |
BLOB |
BLOB |
REAL4 |
REAL4(7) |
REAL8 |
REAL8(14) |
INT1 |
INT1(3) |
INT2 |
INT2(5) |
INT4 |
INT4(10) |
INT8 |
INT8(19) |
UINT1 |
UINT1(3) |
UINT2 |
UINT2(5) |
UINT4 |
UINT4(10) |
UINT8 |
UINT8(20) |
NUMERIC |
NUMERIC(p,s) |
STRING |
STRING(길이) |
WSTRING |
STRING(길이) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN(1) |
Qlik Cloud 데이터 유형에서 Parquet로 매핑
Parquet가 파일 형식으로 설정된 경우 Parquet에서 지원하는 데이터 유형의 수가 제한되어 있으므로 데이터 유형 매핑은 다음과 같습니다.
Qlik Cloud 데이터 유형 | Parquet 기본 유형 | 논리적 유형 |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY(16) |
DECIMAL(정밀도, 배율) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME(UTC=true, 단위=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP(UTC=true, 단위=MICROS) |