# Azure Data Lake Storage

Azure Data Lake Storage можно использовать как:

* облачную промежуточную область при использовании Databricks, Microsoft Fabric или Azure Synapse Analytics в качестве цели конвейера данных; Облачная промежуточная область — место, куда помещаются данные и изменения до того, как они будут применены и сохранены.

* Цель в задаче репликации.

  * Для получения инструкций по репликации данных в Azure Data Lake Storage с использованием подписок Standard, Premium и Enterprise см. раздел [Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm).
  * Для получения инструкций по репликации данных в Azure Data Lake Storage с использованием подписки Starter см. раздел [Репликация данных с использованием подписки Qlik Talend Cloud Starter](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/replicating-starter-subscription.htm).

## Ограничения и замечания

Действуют следующие ограничения:

* Режим LOB без ограничений не поддерживается.
* Имена баз данных, схем или таблиц, содержащие косую черту (/) или обратную косую черту (\), не поддерживаются.

## Разрешения для хранилища

Клиент Azure Active Directory, указанный в параметрах коннектора должен иметь следующие разрешения для хранилища ADLS Gen2.

* В контейнере хранилища: LIST
* В папке хранилищ: READ, WRITE и DELETE
* В настройках доступа (IAM) к файловой системе ADLS Gen2 необходимо присвоить Replicate (AD App ID) роль «Storage Blob Data Contributor» (Донор данных Blob хранилища). Назначение роли может занять несколько минут.

## Настройка свойств подключения Azure Data Lake Storage

Чтобы настроить коннектор, выполните следующие действия:

1. В виде Подключения нажмите Создать подключение.

2. Выберите коннектор цели Azure Data Lake Storage , а затем задайте следующие настройки.

### Цель данных

Шлюз данных: Выберите шлюз Шлюз движения данных, который будет использоваться для тестирования подключения к ADLS. Это должен быть тот же Шлюз движения данных, который был развернут для промежуточного хранения данных из источника.

### Свойства подключения

* Учетная запись хранилища (Storage Account)

  Имя учетной записи хранилища.

* Имя контейнера (Container name)

  Имя контейнера, который будет использоваться как облачная промежуточная область.

* Идентификатор клиента Active Directory Azure (Azure Active Directory Tenant ID)

  Идентификатор клиента в подписке в Azure Active Directory.

* Идентификатор клиента регистрации приложения Azure (Azure Application Registration Client ID)

  Идентификатор клиента приложения в Azure Active Directory.

* Секрет регистрации приложения Azure (Azure Application Registration Secret)

  Секрет приложения в Azure Active Directory

### Имя

Отображаемое имя подключения.

## Сопоставление типов данных

В следующей таблице показано используемое по умолчанию сопоставление типов данных Qlik Cloud типам данных Azure Data Lake Storage.

Примечание к информацииСопоставление типов данных релевантно, только если включен установлен флажок [Создать файлы метаданных в целевой папке](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes-settings.htm#Metadata) в параметрах задачи «Промежуточное хранение данных в озере данных».

### Сопоставление типов данных Qlik Cloud типам данных Azure Data Lake Storage

Типы данных Qlik CloudQlik Cloud и Azure Data Lake StorageAzure Data Lake Storage

| Типы данных Qlik Cloud | Типы данных цели Azure Data Lake Storage |
| --- | --- |
| DATE | DATE |
| TIME | TIME |
| DATETIME | DATETIME |
| BYTES | BYTES (длина) |
| BLOB | BLOB |
| REAL4 | REAL4 (7) |
| REAL8 | REAL8 (14) |
| INT1 | INT1 (3) |
| INT2 | INT2 (5) |
| INT4 | INT4 (10) |
| INT8 | INT8 (19) |
| UINT1 | UINT1 (3) |
| UINT2 | UINT2 (5) |
| UINT4 | UINT4 (10) |
| UINT8 | UINT8 (20) |
| NUMERIC | NUMERIC (p,s) |
| STRING | STRING (длина) |
| WSTRING | STRING (длина) |
| CLOB | CLOB |
| NCLOB | NCLOB |
| BOOLEAN | BOOLEAN (1) |

### Сопоставление типов данных Qlik Cloud типам данных Parquet

Когда Parquet задается в качестве формата файла, вследствие ограниченного количества типов данных, поддерживаемых Parquet, используются сопоставления типов данных, приведенные ниже.

Сопоставление типов данных Parquet

| Тип данных Qlik Cloud | Примитивный тип Parquet | Логический тип |
| --- | --- | --- |
| BOOLEAN | BOOLEAN |  |
| INT1 | INT32 | INT(8, true) |
| INT2 | INT32 | INT(16, true) |
| INT4 | INT32 |  |
| INT8 | INT64 |  |
| UINT1 | INT32 | INT(8, false) |
| UINT2 | INT32 | INT(16, false) |
| UINT4 | INT64 |  |
| UINT8 | INT64 | INT(64, ложь) |
| REAL4 | FLOAT; |  |
| REAL8 | DOUBLE |  |
| NUMERIC | МАССИВ\_БАЙТОВ\_ФИКСИРОВАННОЙ\_ДЛИНЫ (16) | DECIMAL (точность, масштаб) |
| STRING | МАССИВ БАЙТОВ | STRING |
| WSTRING | МАССИВ БАЙТОВ | STRING |
| BYTES | МАССИВ БАЙТОВ |  |
| BLOB | МАССИВ БАЙТОВ |  |
| CLOB | МАССИВ БАЙТОВ | STRING |
| NCLOB | МАССИВ БАЙТОВ | STRING |
| DATE | INT32 | DATE |
| TIME | INT32 | ВРЕМЯ (UTC=истина, unit=MILLIS) |
| DATETIME | INT64 | МЕТКА ВРЕМЕНИ (UTC=истина, unit=MICROS) |

## Подробнее

* [Промежуточное хранение данных в озере данных](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/Replicating/landing-datalakes.htm)
* [Цель Microsoft Fabric](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/fabric-target.htm)
* [Цель Azure Synapse Analytics](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/azure-target.htm)
* [Цель Databricks](https://help.qlik.com/ru-RU/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataIntegration/TargetConnections/databricks-target.htm)