Azure Data Lake Storage
Azure Data Lake Storage se puede utilizar como:
- Un área de preparación en la nube cuando se utilizan Databricks, Microsoft Fabric o Azure Synapse Analytics como plataforma de canalización de datos. El área de ensayo o preparación en la nube es donde se organizan los datos y los cambios antes de aplicarlos y almacenarlos.
- Un destino en una tarea de replicación de datos: "Aterrizar datos en un lago de datos".
Limitaciones y consideraciones
Hemos de tener en cuenta las siguientes limitaciones:
- No se admite el modo LOB completo.
- No se admiten nombres de bases de datos, nombres de esquemas o nombres de tablas que contengan caracteres de barra diagonal (/) o barra invertida (\).
Permisos de almacenamiento
Al espacio empresarial inquilino de Azure Active Directory especificado en la configuración del conector se le deben conceder los siguientes permisos de almacenamiento ADLS Gen2.
- En el contenedor de almacenamiento: LIST
- En el directorio de almacenamiento: READ, WRITE y DELETE
- En la configuración de Control de acceso (IAM) para el sistema de archivos ADLS Gen2, asigne la función "Colaborador de datos de blobs de almacenamiento" a Replicate (ID de aplicación AD). El rol puede tardar unos minutos en surtir efecto.
Configurar las propiedades de la conexión Azure Data Lake Storage
Seleccione el conector Azure Data Lake Storage Target y proporcione la siguiente configuración:
Destino de datos
Pasarela de datos: Seleccione la pasarela Pasarela de datos de movimiento de datos que se utilizará para probar la conexión a ADLS. Esta debería ser la misma Pasarela de datos de movimiento de datos implementada para aterrizar datos desde la fuente de datos.
Propiedades de conexión
-
Storage Account
Nombre de la cuenta de almacenamiento.
-
Container name
Nombre del contenedor que se usará como área de ensayo en la nube.
-
Azure Active Directory Tenant ID
ID de espacio empresarial inquilino de la suscripción en Azure Active Directory.
-
Azure Application Registration Client ID
ID de cliente de la aplicación en Azure Active Directory.
-
Azure Application Registration Secret
Secreto de la aplicación en Azure Active Directory.
Nombre
El nombre que mostrará la conexión.
Mapeo de tipos de datos
La siguiente tabla muestra la asignación predeterminada de tipos de datos de Qlik Cloud a tipos de datos de Azure Data Lake Storage.
Correspondencias de datos e tipos de datos de Qlik Cloud a Azure Data Lake Storage
Tipos de datos de Qlik Cloud | Tipo de datos de destino Azure Data Lake Storage |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (length) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (Length) |
WSTRING |
STRING (Length) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Asignación de tipos de datos de Qlik Cloud a Parquet
Cuando se establece Parquet como formato de archivo, debido al número limitado de tipos de datos compatibles con Parquet, las asignaciones de tipos de datos serán como se muestra en la siguiente tabla.
Tipo de datos de Qlik Cloud | Tipo primitivo de Parquet | Tipo lógico |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (precisión, escala) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |