Azure Data Lake Storage

Azure Data Lake Storage можно использовать как:

• облачную промежуточную область при использовании Databricks, Microsoft Fabric или Azure Synapse Analytics в качестве платформы конвейера данных; Облачная промежуточная область — место, куда помещаются данные и изменения до того, как они будут применены и сохранены.
• цель в задаче репликации «Промежуточное хранение данных в озере данных»

Ограничения и замечания

Действуют следующие ограничения:

• Режим LOB без ограничений не поддерживается.
• Имена баз данных, схем или таблиц, содержащие косую черту (/) или обратную косую черту (\), не поддерживаются.

Разрешения для хранилища

Клиент Azure Active Directory, указанный в параметрах коннектора должен иметь следующие разрешения для хранилища ADLS Gen2.

• В контейнере хранилища: LIST
• В каталоге хранилища: READ, WRITE и DELETE
• В настройках доступа (IAM) к файловой системе ADLS Gen2 необходимо присвоить Replicate (AD App ID) роль «Storage Blob Data Contributor» (Донор данных Blob хранилища). Обработка роли может занять несколько минут.

Настройка свойств подключения Azure Data Lake Storage

Выберите коннектор Цель Azure Data Lake Storage, а затем задайте следующие настройки.

Цель данных

Шлюз данных: Выберите шлюз Data Movement Gateway, который будет использоваться для тестирования подключения к ADLS. Это должен быть тот же Data Movement Gateway, который был развернут для промежуточного хранения данных из источника.

Свойства подключения

• Учетная запись хранилища (Storage Account)

  Имя учетной записи хранилища.

• Имя контейнера (Container name)

  Имя контейнера, который будет использоваться как облачная промежуточная область.

• Идентификатор клиента активного директория Azure (Azure Active Directory Tenant ID)

  Идентификатор клиента в подписке в Azure Active Directory.

• Идентификатор зарегистрированного клиента в приложении Azure (Azure Application Registration Client ID)

  Идентификатор клиента в приложении в Azure Active Directory.

• Секретное слово для приложения Azure (Azure Application Registration Secret)

  Секретное слово в приложении в Azure Active Directory

Name

Отображаемое имя подключения.

Сопоставление типов данных

В следующей таблице показано используемое по умолчанию сопоставление типов данных Qlik Cloud типам данных Azure Data Lake Storage.

Сопоставление типов данных Qlik Cloud типам данных Azure Data Lake Storage

Сопоставление типов данных Qlik Cloud типам данных Parquet

Когда Parquet задается в качестве формата файла, вследствие ограниченного количества типов данных, поддерживаемых Parquet, используются сопоставления типов данных, приведенные ниже.