Saltar al contenido principal Saltar al contenido complementario

Azure Data Lake Storage

Azure Data Lake Storage se puede utilizar como:

  • Un área de preparación en la nube cuando se utilizan Databricks, Microsoft Fabric o Azure Synapse Analytics como plataforma de canalización de datos. El área de ensayo o preparación en la nube es donde se organizan los datos y los cambios antes de aplicarlos y almacenarlos.
  • Un destino en una tarea de replicación de datos: "Aterrizar datos en un lago de datos".

Limitaciones y consideraciones

Hemos de tener en cuenta las siguientes limitaciones:

  • No se admite el modo LOB completo.
  • No se admiten nombres de bases de datos, nombres de esquemas o nombres de tablas que contengan caracteres de barra diagonal (/) o barra invertida (\).

Permisos de almacenamiento

Al espacio empresarial inquilino de Azure Active Directory especificado en la configuración del conector se le deben conceder los siguientes permisos de almacenamiento ADLS Gen2.

  • En el contenedor de almacenamiento: LIST
  • En el directorio de almacenamiento: READ, WRITE y DELETE
  • En la configuración de Control de acceso (IAM) para el sistema de archivos ADLS Gen2, asigne la función "Colaborador de datos de blobs de almacenamiento" a Replicate (ID de aplicación AD). El rol puede tardar unos minutos en surtir efecto.

Configurar las propiedades de la conexión Azure Data Lake Storage

Seleccione el conector Azure Data Lake Storage Target y proporcione la siguiente configuración:

Destino de datos

Pasarela de datos: Seleccione la pasarela Pasarela de datos de movimiento de datos que se utilizará para probar la conexión a ADLS. Esta debería ser la misma Pasarela de datos de movimiento de datos implementada para aterrizar datos desde la fuente de datos.

Propiedades de conexión

  • Storage Account

    Nombre de la cuenta de almacenamiento.

  • Container name

    Nombre del contenedor que se usará como área de ensayo en la nube.

  • Azure Active Directory Tenant ID

    ID de espacio empresarial inquilino de la suscripción en Azure Active Directory.

  • Azure Application Registration Client ID

    ID de cliente de la aplicación en Azure Active Directory.

  • Azure Application Registration Secret

    Secreto de la aplicación en Azure Active Directory.

Nombre

El nombre que mostrará la conexión.

Mapeo de tipos de datos

La siguiente tabla muestra la asignación predeterminada de tipos de datos de Qlik Cloud a tipos de datos de Azure Data Lake Storage.

Nota informativaLas asignaciones de tipos de datos solo son relevantes si la opción Crear archivos de metadatos en la carpeta de destino en la configuración de la tarea "Aterrizar datos en el lago de datos" está habilitada.

Correspondencias de datos e tipos de datos de Qlik Cloud a Azure Data Lake Storage

Tipos de datos de Qlik Cloud y Azure Data Lake Storage
Tipos de datos de Qlik Cloud Tipo de datos de destino Azure Data Lake Storage

DATE

DATE

TIME

TIME

DATETIME

DATETIME

BYTES

BYTES (length)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

NUMERIC

NUMERIC (p,s)

STRING

STRING (Length)

WSTRING

STRING (Length)

CLOB

CLOB

NCLOB

NCLOB

BOOLEAN

BOOLEAN (1)

Asignación de tipos de datos de Qlik Cloud a Parquet

Cuando se establece Parquet como formato de archivo, debido al número limitado de tipos de datos compatibles con Parquet, las asignaciones de tipos de datos serán como se muestra en la siguiente tabla.

Asignaciones de tipos de datos de Parquet
Tipo de datos de Qlik Cloud Tipo primitivo de Parquet Tipo lógico

BOOLEAN

BOOLEAN

 

INT1

INT32

INT(8, true)

INT2

INT32

INT(16, true)

INT4

INT32

 

INT8

INT64

 

UINT1

INT32

INT(8, false)

UINT2

INT32

INT(16, false)

UINT4

INT64

 

UINT8

INT64

INT(64, false)

REAL4

FLOAT

 

REAL8

DOUBLE

 

NUMERIC

FIXED_LEN_BYTE_ARRAY (16)

DECIMAL (precisión, escala)

STRING

BYTE_ARRAY

STRING

WSTRING

BYTE_ARRAY

STRING

BYTES

BYTE_ARRAY

 

BLOB

BYTE_ARRAY

 

CLOB

BYTE_ARRAY

STRING

NCLOB

BYTE_ARRAY

STRING

DATE

INT32

DATE

TIME

INT32

TIME (UTC=true, unit=MILLIS)

DATETIME

INT64

TIMESTAMP (UTC=true, unit=MICROS)

¿Esta página le ha sido útil?

No dude en indicarnos en qué podemos mejorar si encuentra algún problema en esta página o su contenido, como, por ejemplo, errores tipográficos, pasos que falta o errores técnicos.