Azure Data Lake Storage

Azure Data Lake Storage можно использовать как:

• облачную промежуточную область при использовании Databricks, Microsoft Fabric или Azure Synapse Analytics в качестве цели конвейера данных; Облачная промежуточная область — место, куда помещаются данные и изменения до того, как они будут применены и сохранены.

• Цель в задаче репликации.

  • Для получения инструкций по репликации данных в Azure Data Lake Storage с использованием подписок Standard, Premium и Enterprise см. раздел Промежуточное хранилище данных в озере данных при использовании подписки Standard, Premium или Enterprise.
  • Для получения инструкций по репликации данных в Azure Data Lake Storage с использованием подписки Starter см. раздел Репликация данных с использованием подписки Qlik Talend Cloud Starter.

Ограничения и замечания

Действуют следующие ограничения:

• Режим LOB без ограничений не поддерживается.
• Имена баз данных, схем или таблиц, содержащие косую черту (/) или обратную косую черту (\), не поддерживаются.

Разрешения для хранилища

Клиент Azure Active Directory, указанный в параметрах коннектора должен иметь следующие разрешения для хранилища ADLS Gen2.

• В контейнере хранилища: LIST
• В папке хранилищ: READ, WRITE и DELETE
• В настройках доступа (IAM) к файловой системе ADLS Gen2 необходимо присвоить Replicate (AD App ID) роль «Storage Blob Data Contributor» (Донор данных Blob хранилища). Обработка роли может занять несколько минут.

Настройка свойств подключения Azure Data Lake Storage

Чтобы настроить коннектор, выполните следующие действия:

1. Нажмите Создать подключение в виде Подключения.

2. Выберите коннектор цели Azure Data Lake Storage , а затем задайте следующие настройки.

Цель данных

Шлюз данных: Выберите шлюз Data Movement Gateway, который будет использоваться для тестирования подключения к ADLS. Это должен быть тот же Data Movement Gateway, который был развернут для промежуточного хранения данных из источника.

Свойства подключения

• Учетная запись хранилища (Storage Account)

  Имя учетной записи хранилища.

• Имя контейнера (Container name)

  Имя контейнера, который будет использоваться как облачная промежуточная область.

• Идентификатор клиента Active Directory Azure (Azure Active Directory Tenant ID)

  Идентификатор клиента в подписке в Azure Active Directory.

• Идентификатор клиента регистрации приложения Azure (Azure Application Registration Client ID)

  Идентификатор клиента приложения в Azure Active Directory.

• Секрет регистрации приложения Azure (Azure Application Registration Secret)

  Секрет приложения в Azure Active Directory

Имя

Отображаемое имя подключения.

Сопоставление типов данных

В следующей таблице показано используемое по умолчанию сопоставление типов данных Qlik Cloud типам данных Azure Data Lake Storage.

Сопоставление типов данных Qlik Cloud типам данных Azure Data Lake Storage

Сопоставление типов данных Qlik Cloud типам данных Parquet

Когда Parquet задается в качестве формата файла, вследствие ограниченного количества типов данных, поддерживаемых Parquet, используются сопоставления типов данных, приведенные ниже.