Azure Data Lake Storage

Azure Data Lake Storage peut être utilisé comme suit :

• Une zone intermédiaire Cloud lors de l'utilisation de Databricks, Microsoft Fabric ou Azure Synapse Analytics comme cible de pipelines de base de données. La zone intermédiaire cloud correspond à l'emplacement dans lequel les données et les modifications sont placés temporairement avant leur application et stockage.

• Une cible dans une tâche de réplication.

  • Pour savoir comment répliquer des données dans Azure Data Lake Storage avec des abonnements Standard, Premium et Enterprise, consultez Dépôt temporaire de données dans un lac de données avec un abonnement Standard, Premium ou Enterprise.
  • Pour savoir comment répliquer des données dans Azure Data Lake Storage avec l'abonnement Starter (Débutant), consultez Réplication de données avec un abonnement Démarreur Qlik Talend Cloud.

Limitations et considérations générales

Les limitations suivantes s'appliquent :

• Le mode LOB complet n'est pas pris en charge.
• Les noms de base de données, les noms de schéma ou les noms de table contenant une barre oblique (/) ou une barre oblique inversée (\) ne sont pas pris en charge.

Autorisations de stockage

Le client Azure Active Directory spécifié dans les paramètres de connecteur doit recevoir les autorisations de stockage ADLS Gen2 suivantes.

• Sur le conteneur de stockage : LIST
• Sur le répertoire de stockage : READ, WRITE et DELETE
• Dans les paramètres de contrôle d'accès (IAM) du système de fichiers ADLS Gen2, attribuez le rôle "Contributeur de données de blob de stockage" à Replicate (ID d'application AD). L'application de ce rôle peut demander quelques minutes.

Définition des propriétés de connexion Azure Data Lake Storage

Pour configurer le connecteur, procédez comme suit :

1. Dans Connexions, cliquez sur Créer une connexion.

2. Sélectionnez le connecteur cible Azure Data Lake Storage et fournissez les paramètres suivants :

Cible de données

Passerelle de données : Sélectionnez la Data Movement gateway qui sera utilisée pour tester la connexion à ADLS. Il doit s'agir de la même passerelle que la Data Movement gateway déployée pour déposer temporairement les données de la source de données.

Propriétés de connexion

• Compte de stockage

  Nom du compte de stockage.

• Nom de conteneur

  Nom du conteneur à utiliser comme zone intermédiaire cloud.

• ID du client Azure Active Directory

  ID du client de l'abonnement dans Azure Active Directory.

• ID du client pour l'enregistrement de l'application Azure

  ID du client de l'application dans Azure Active Directory.

• Secret d'enregistrement de l'application Azure

  Secret de l'application dans Azure Active Directory.

Nom

Nom d'affichage de la connexion.

Mappage de types de données

Le tableau suivant indique le mappage par défaut des types de données Qlik Cloud vers les types de données Azure Data Lake Storage.

Mappage de types de données Qlik Cloud vers Azure Data Lake Storage

Mappage de types de données Qlik Cloud vers Parquet

Lorsque le format de fichier défini est le format Parquet, en raison du nombre limité de types de données pris en charge par Parquet, les mappages de types de données sont les suivants :