Azure Data Lake Storage

Azure Data Lake Storage kan användas som:

• Ett molnförberedelseområde när Databricks, Microsoft Fabric eller Azure Synapse Analytics som en datapipelinemål. I molnförberedelseområdet förbereds data och ändringar innan de tillämpas och lagras.

• Ett mål i en replikeringsuppgift.

  • En förklaring av hur du replikerar data till Azure Data Lake Storage med Standard-, Premium- och Enterprise-prenumerationer finns i Mellanlagring av data i en datasjö med en Standard-, Premium- eller Enterprise-prenumeration.
  • En förklaring av hur du replikerar data till Azure Data Lake Storage med Starter-prenumerationen finns i Replikera data med en Qlik Talend Cloud Starter-prenumeration.

Begränsningar och överväganden

Följande begränsningar gäller:

• Fullständigt LOB-läge stöds inte.
• Databasnamn, schemanamn eller tabellnamn som innehåller snedstreck (/) eller omvända snedstreck (\) stöds inte.

Lagringsbehörigheter

Azure Active Directory-klientorganisationen som anges i kopplingsinställningarna måste beviljas följande ADLS Gen2-lagringsbehörigheter.

• På lagringsbehållaren: LIST
• På lagringskatalogen: READ, WRITE och DELETE
• I inställningarna för åtkomstkontroll (IAM) för ADLS Gen2-filsystemet tilldelar du rollen "Storage Blob Data Contributor" till Replicate (AD-app-ID). Det kan ta några minuter innan rollen träder i kraft.

Ställa in anslutningsegenskaper för Azure Data Lake Storage

Gör så här för att konfigurera kopplingen:

1. I Kopplingar klickar du på Skapa koppling.

2. Välj Azure Data Lake Storage -målkopplingen och ange följande inställningar:

Datamål

Datagateway: Välj den Gateway för dataflytt som kommer att användas för att testa kopplingen till ADLS Den ska vara samma Gateway för dataflytt som distribueras för att mellanlagra data från datakällan.

Anslutningsegenskaper

• Lagringskonto

  Namnet på lagringskontot.

• Behållarnamn

  Namnet på den behållare som ska användas som molnförberedelseområde.

• Klientgrupps-ID för Azure Active Directory

  Klientgrupps-ID för prenumerationen i Azure Active Directory.

• Klient-ID för registrering av Azure-applikation

  Klient-ID för applikationen i Azure Active Directory.

• Hemlighet för registrering av Azure-applikation

  Hemlighet för applikationen i Azure Active Directory

Namn

Visningsnamnet för anslutningen.

Datatypsmappning

Följande tabell visar standardmappningen från Qlik Cloud-datatyper till Azure Data Lake Storage-datatyper.

Mappning från Qlik Cloud-datatyper till Azure Data Lake Storage

Mappning från Qlik Cloud-datatyper till Parquet

När Parquet ställs in som filformat kommer datatypsmappningarna att se ut som följer på grund av det begränsade antalet datatyper som stöds av Parquet: