Azure Data Lake Storage

Azure Data Lake Storage se puede utilizar como:

• Un área de preparación en la nube cuando se utilizan Databricks, Microsoft Fabric o Azure Synapse Analytics como destino de canalización de datos. El área de ensayo o preparación en la nube es donde se organizan los datos y los cambios antes de aplicarlos y almacenarlos.

• Un destino en una tarea de replicación.

  • Para obtener una explicación sobre cómo replicar datos en Azure Data Lake Storage con suscripciones Estándar, Premium y Enterprise, consulte Aterrizaje de datos en un data lake con una suscripción Estándar, Premium o Enterprise.
  • Para obtener una explicación sobre cómo replicar datos en Azure Data Lake Storage con la suscripción Starter, consulte Replicar datos con una suscripción Qlik Talend Cloud Starter.

Limitaciones y consideraciones

Hemos de tener en cuenta las siguientes limitaciones:

• No se admite el modo LOB completo.
• No se admiten nombres de bases de datos, nombres de esquemas o nombres de tablas que contengan caracteres de barra diagonal (/) o barra invertida (\).

Permisos de almacenamiento

Al espacio empresarial inquilino de Azure Active Directory especificado en la configuración del conector se le deben conceder los siguientes permisos de almacenamiento de ADLS Gen2.

• En el contenedor de almacenamiento: LIST
• En el directorio de almacenamiento: READ, WRITE y DELETE
• En la configuración de Control de acceso (IAM) para el sistema de archivos ADLS Gen2, asigne la función "Colaborador de datos de blobs de almacenamiento" a Replicate (ID de app AD). El rol puede tardar unos minutos en surtir efecto.

Configurar las propiedades de la conexión de Azure Data Lake Storage

Para configurar el conector, haga lo siguiente:

1. En Conexiones, haga clic en Crear conexión.

2. Seleccione el conector de destino Azure Data Lake Storage y luego proporcione la siguiente configuración:

Destino de datos

Pasarela de datos: Seleccione la pasarela Pasarela Data Movement que se utilizará para probar la conexión a ADLS. Esta debería ser la misma Pasarela Data Movement implementada para aterrizar datos desde la fuente de datos.

Propiedades de conexión

• Cuenta de almacenamiento

  Nombre de la cuenta de almacenamiento.

• Nombre del contenedor

  Nombre del contenedor que se usará como área de ensayo en la nube.

• ID de inquilino de Azure Active Directory

  ID del espacio empresarial inquilino de la suscripción en Azure Active Directory.

• ID de cliente de registro de aplicaciones de Azure

  ID de cliente de la aplicación en Azure Active Directory.

• Secreto de registro de aplicaciones de Azure

  Secreto de la aplicación en Azure Active Directory.

Nombre

El nombre que mostrará la conexión.

Correspondencias entre tipos de datos

La tabla siguiente muestra la asignación predeterminada de correspondencias entre tipos de datos de Qlik Cloud y tipos de datos de Azure Data Lake Storage.

Correspondencias entre tipos de datos de Qlik Cloud y de Azure Data Lake Storage

Correspondencias entre tipos de datos de Qlik Cloud y Parquet

Cuando se establece Parquet como formato de archivo, debido al número limitado de tipos de datos compatibles con Parquet, las asignaciones de tipos de datos serán como se muestra en la siguiente tabla.