Azure Data Lake Storage
È possibile utilizzare Azure Data Lake Storage nei seguenti modi:
- Un'area di staging nel cloud quando si utilizzano Databricks, Microsoft Fabric o Azure Synapse Analytics come target della pipeline di dati. L'area di staging cloud è il luogo in cui i dati e le modifiche vengono organizzati prima di essere applicati e archiviati.
-
Una destinazione in un'attività di replica.
- Per una spiegazione su come replicare i dati su Data Lake Storage con le sottoscrizioni Standard, Premium ed Enterprise, vedere Trasferimento dei dati in un data lake con una sottoscrizione Standard, Premium o Enterprise.
- Per una spiegazione su come replicare i dati su Data Lake Storage con la sottoscrizione Starter, vedere Replica dei dati con una sottoscrizione Avvio Qlik Talend Cloud.
Limiti e considerazioni
Si applicano i seguenti limiti:
- La modalità LOB completa non è supportata.
- I nomi di database, schemi o tabelle contenenti un carattere barra (/) o barra rovesciata (\) non sono supportati.
Autorizzazioni di archiviazione
Per il tenant Azure Active Directory specificato nelle impostazioni del connettore Azure Synapse Analytics è necessario concedere le autorizzazioni di archiviazione ADLS Gen2.
- Sul contenitore di storage: LIST
- Sulla directory di storage: READ, WRITE e DELETE
- Nelle impostazioni di controllo degli accessi (IAM) per il file system ADLS Gen2, assegnare il ruolo "Collaboratore dati BLOB di archiviazione" a Replicate (ID app AD). Potrebbero essere necessari alcuni minuti prima che il ruolo abbia effetto.
Impostazione delle proprietà di connessioneAzure Data Lake Storage
Per configurare il connettore, procedere come segue:
-
In Connessioni, fare clic su Crea connessione.
-
Selezionare il connettore Azure Data Lake Storage di destinazione, quindi fornire le seguenti impostazioni:
Destinazione dati
Gateway dati: selezionare il Gateway di Data Movement che verrà usato per testare la connessione a ADLS. Questo dovrebbe essere lo stesso Gateway di Data Movement distribuito per trasferire i dati dalla sorgente dati.
Proprietà di connessione
-
Account di archiviazione
Nome dell'account di archiviazione.
-
Nome del contenitore
Nome del contenitore da utilizzare come area di gestione temporanea del cloud.
-
ID tenant di Azure Active Directory
ID tenant della sottoscrizione in Azure Active Directory.
-
ID client di registrazione dell'applicazione Azure
ID client dell'applicazione in Azure Active Directory.
-
ID client di registrazione dell'applicazione Azure
Segreto dell'applicazione in Azure Active Directory
Nome
Il nome visualizzato per la connessione.
Mappatura del tipo di dati
La seguente tabella mostra la mappatura predefinita dai tipi di dati Qlik Cloud ai tipi di dati Azure Data Lake Storage.
Mappatura dai tipi di dati Qlik Cloud a Azure Data Lake Storage
Tipi di dati Qlik Cloud | Tipi dati di destinazione Azure Data Lake Storage |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (lunghezza) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
INT1 (3) |
UINT2 |
INT2 (5) |
UINT4 |
INT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (Lunghezza) |
WSTRING |
STRING (Lunghezza) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Mappatura dai tipi di dati di Qlik Cloud su Parquet
Quando Parquet è impostato come formato file, a causa del numero limitato di dati supportati da Parquet, le mappature del tipo di dati sono le seguenti:
Tipo dati Qlik Cloud | Tipo primitivo di Parquet | Tipo logico |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (precisione, scala) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |