Azure Data Lake Storage
Azure Data Lake Storage se puede utilizar como:
- Un área de preparación en la nube cuando se utilizan Databricks, Microsoft Fabric o Azure Synapse Analytics como destino de canalización de datos. El área de ensayo o preparación en la nube es donde se organizan los datos y los cambios antes de aplicarlos y almacenarlos.
- Un destino en una tarea de replicación de datos: "Aterrizar datos en un lago de datos".
Limitaciones y consideraciones
Hemos de tener en cuenta las siguientes limitaciones:
- No se admite el modo LOB completo.
- No se admiten nombres de bases de datos, nombres de esquemas o nombres de tablas que contengan caracteres de barra diagonal (/) o barra invertida (\).
Permisos de almacenamiento
Al espacio empresarial inquilino de Azure Active Directory especificado en la configuración del conector se le deben conceder los siguientes permisos de almacenamiento de ADLS Gen2.
- En el contenedor de almacenamiento: LIST
- En el directorio de almacenamiento: READ, WRITE y DELETE
- En la configuración de Control de acceso (IAM) para el sistema de archivos ADLS Gen2, asigne la función "Colaborador de datos de blobs de almacenamiento" a Replicate (ID de aplicación AD). El rol puede tardar unos minutos en surtir efecto.
Configurar las propiedades de la conexión de Azure Data Lake Storage
Para configurar el conector, haga lo siguiente:
-
Seleccione el conector de destino Azure Data Lake Storage y luego proporcione la siguiente configuración:
Destino de datos
Pasarela de datos: Seleccione la pasarela Pasarela de datos de movimiento de datos que se utilizará para probar la conexión a ADLS. Esta debería ser la misma Pasarela de datos de movimiento de datos implementada para aterrizar datos desde la fuente de datos.
Propiedades de conexión
-
Cuenta de almacenamiento
Nombre de la cuenta de almacenamiento.
-
Nombre del contenedor
Nombre del contenedor que se usará como área de ensayo en la nube.
-
ID de inquilino de Azure Active Directory
ID del espacio empresarial inquilino de la suscripción en Azure Active Directory.
-
ID de cliente de registro de aplicaciones de Azure
ID de cliente de la aplicación en Azure Active Directory.
-
ID de cliente de registro de aplicaciones de Azure
Secreto de la aplicación en Azure Active Directory.
Nombre
El nombre que mostrará la conexión.
Correspondencias entre tipos de datos
La tabla siguiente muestra la asignación predeterminada de correspondencias entre tipos de datos de Qlik Cloud y tipos de datos de Azure Data Lake Storage.
Correspondencias entre tipos de datos de Qlik Cloud y de Azure Data Lake Storage
Tipos de datos de Qlik Cloud | Tipos de datos de destino Azure Data Lake Storage |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (length) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (Length) |
WSTRING |
STRING (Length) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Correspondencias entre tipos de datos de Qlik Cloud y Parquet
Cuando se establece Parquet como formato de archivo, debido al número limitado de tipos de datos compatibles con Parquet, las asignaciones de tipos de datos serán como se muestra en la siguiente tabla.
Tipo de datos de Qlik Cloud | Tipo primitivo de Parquet | Tipo lógico |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (precisión, escala) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |