Azure Data Lake Storage
Azure Data Lake Storage kan användas som:
- Ett molnförberedelseområde när Databricks, Microsoft Fabric eller Azure Synapse Analytics som en datapipelineplattform. I molnförberedelseområdet förbereds data och ändringar innan de tillämpas och lagras.
- Ett mål i en "Mellanlagra data i datasjö"-replikeringsuppgift.
Begränsningar och överväganden
Följande begränsningar gäller:
- Fullständigt LOB-läge stöds inte.
- Databasnamn, schemanamn eller tabellnamn som innehåller snedstreck (/) eller omvända snedstreck (\) stöds inte.
Lagringsbehörigheter
Azure Active Directory-klientorganisationen som anges i kopplingsinställningarna måste beviljas följande ADLS Gen2-lagringsbehörigheter.
- På lagringsbehållaren: LIST
- På lagringskatalogen: READ, WRITE och DELETE
- I inställningarna för åtkomstkontroll (IAM) för ADLS Gen2-filsystemet tilldelar du rollen "Storage Blob Data Contributor" till Replicate (AD-app-ID). Det kan ta några minuter innan rollen träder i kraft.
Ställa in anslutningsegenskaper för Azure Data Lake Storage
Välj kopplingen Azure Data Lake StorageTarget och tillhandahåll följande inställningar:
Datamål
Data gateway: Välj den Gateway för dataflytt som kommer att användas för att testa kopplingen till ADLS Den ska vara samma Gateway för dataflytt som distribueras för att mellanlagra data från datakällan.
Anslutningsegenskaper
-
Lagringskonto
Namnet på lagringskontot.
-
Behållarnamn
Namnet på den behållare som ska användas som molnförberedelseområde.
-
Klientgrupps-ID för Azure Active Directory
Klientgrupps-ID för prenumerationen i Azure Active Directory.
-
Klient-ID för registrering av Azure-applikation
Klient-ID för applikationen i Azure Active Directory.
-
Hemlighet för registrering av Azure-applikation
Hemlighet för applikationen i Azure Active Directory
Namn
Visningsnamnet för anslutningen.
Datatypsmappning
Följande tabell visar standardmappningen från Qlik Cloud-datatyper till Azure Data Lake Storage-datatyper.
Mappning från Qlik Cloud-datatyper till Azure Data Lake Storage
Qlik Cloud-datatyper | Azure Data Lake Storage-måldatatyper |
---|---|
Datum |
Datum |
Tid |
Tid |
Datum och tid: |
Datum och tid: |
Byte |
BYTES (längd) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
Numerisk |
NUMERIC (p,s) |
sträng |
STRING (längd) |
WSTRING |
STRING (längd) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Mappning från Qlik Cloud-datatyper till Parquet
När Parquet ställs in som filformat kommer datatypsmappningarna att se ut som följer på grund av det begränsade antalet datatyper som stöds av Parquet:
Qlik Cloud-datatyp | Primitive Parquettyp | Logisk typ |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
Numerisk |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (precision, skala) |
sträng |
BYTE_ARRAY |
sträng |
WSTRING |
BYTE_ARRAY |
sträng |
Byte |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
sträng |
NCLOB |
BYTE_ARRAY |
sträng |
Datum |
INT32 |
Datum |
Tid |
INT32 |
TIME (UTC=true, unit=MILLIS) |
Datum och tid: |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |