Azure Data Lake Storage
È possibile utilizzare Azure Data Lake Storage nei seguenti modi:
- Come un'area di staging cloud quando si utilizza Databricks, Microsoft Fabric o Azure Synapse Analytics come piattaforma della pipeline di dati. L'area di staging cloud è il luogo in cui i dati e le modifiche vengono organizzati prima di essere applicati e archiviati.
- Come una destinazione in un'attività di replica "Trasferisci dati su data lake".
Limiti e considerazioni
Si applicano i seguenti limiti:
- La modalità LOB completa non è supportata.
- I nomi di database, schemi o tabelle contenenti un carattere barra (/) o barra rovesciata (\) non sono supportati.
Autorizzazioni di archiviazione
Per il tenant Azure Active Directory specificato nelle impostazioni del connettore Azure Synapse Analytics è necessario concedere le autorizzazioni di archiviazione ADLS Gen2.
- Nel contenitore di archiviazione: LIST
- Nella directory di archiviazione: READ, WRITE e DELETE
- Nelle impostazioni di controllo degli accessi (IAM) per il file system ADLS Gen2, assegnare il ruolo "Collaboratore dati BLOB di archiviazione" a Replicate (ID app AD). Potrebbero essere necessari alcuni minuti prima che il ruolo abbia effetto.
Impostazione delle proprietà di connessioneAzure Data Lake Storage
Selezionare il connettore alla destinazione Azure Data Lake Storage, quindi fornire le seguenti impostazioni:
Destinazione dati
Gateway dati: selezionare il Gateway di Data Movement che verrà usato per testare la connessione a ADLS. Questo dovrebbe essere lo stesso Gateway di Data Movement distribuito per trasferire i dati dalla sorgente dati.
Proprietà di connessione
-
Account di archiviazione
Nome dell'account di archiviazione.
-
Nome del contenitore
Nome del contenitore da utilizzare come area di gestione temporanea del cloud.
-
ID tenant di Azure Active Directory
ID tenant della sottoscrizione in Azure Active Directory.
-
ID client di registrazione dell'applicazione Azure
ID client dell'applicazione in Azure Active Directory.
-
ID client di registrazione dell'applicazione Azure
Segreto dell'applicazione in Azure Active Directory
Nome
Il nome visualizzato per la connessione.
Mappatura del tipo di dati
La seguente tabella mostra la mappatura predefinita dai tipi di dati Qlik Cloud ai tipi di dati Azure Data Lake Storage.
Mappatura dai tipi di dati Qlik Cloud a Azure Data Lake Storage
Tipi di dati Qlik Cloud | Tipi dati di destinazione Azure Data Lake Storage |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (lunghezza) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
INT1 (3) |
UINT2 |
INT2 (5) |
UINT4 |
INT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (Lunghezza) |
WSTRING |
STRING (Lunghezza) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Mappatura dai tipi di dati di Qlik Cloud su Parquet
Quando Parquet è impostato come formato file, a causa del numero limitato di dati supportati da Parquet, le mappature del tipo di dati sono le seguenti:
Tipo dati Qlik Cloud | Tipo primitivo di Parquet | Tipo logico |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (precisione, scala) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |