Microsoft Fabric

Можно использовать Microsoft Fabric как целевая платформа данных в конвейере данных или в задаче репликации. В конвейере данных можно выполнять различные операции ELT на целевой платформе, включая хранение, преобразование, регистрацию данных и создание киосков данных. С другой стороны, задача репликации подразумевает репликацию данных непосредственно из исходной системы в целевую с сохранением базовых функций преобразования, но без поддержки операций ELT.

Настройка Microsoft Fabric в качестве цели подразумевает следующее:

• Выполнение предварительных условий
• Настройка подключения к облачной промежуточной области (Azure Data Lake Storage). Это необязательно, если выполняется регистрация существующих данных.
• Настройка подключения к Microsoft Fabric

Настройка облачной промежуточной области

Также требуется облачная промежуточная область Azure Data Lake Storage, где планируется хранить данные перед тем, как они будут применены и перемещены в хранилище. Для получения информации о настройке подключения к Azure Data Lake Storage см. раздел Azure Data Lake Storage.

Настройка свойств подключения Microsoft Fabric

После настройки параметров цели Azure Data Lake Storage выполните следующие действия.

1. В виде Подключения нажмите Создать подключение.

2. Выберите коннектор цели Microsoft Fabric , а затем задайте следующие настройки.

Цель данных

Шлюз данных

Data Movement Gateway требуется, только если целевая база данных недоступна из Qlik Cloud и доступна только по ссылке PrivateLink (например, если она расположена или в виртуальном частном облаке). В таком случае выберите Data Movement Gateway, через который требуется обращаться к целевой базе данных.

В зависимости от конкретной ситуации это будет либо тот же Data Movement Gateway, развернутый для перемещения данных, либо другой шлюз.

Для получения информации о сценариях применения Data Movement Gateway см. разделы Когда требуется Data Movement Gateway? и Общие случаи использования.

Если целевая база данных напрямую доступна из Qlik Cloud, выберите Нет.

Свойства подключения

• Сервер: Имя используемого сервера хранилища данных Microsoft Fabric.

Свойства учетной записи (Account properties)

Метод проверки подлинности: выберите одно из значений, указанных ниже.

• Субъект-служба Azure Active Directory

  Затем укажите Идентификатор клиента и Секрет клиента в соответствующих полях.

• Субъект-пользователь Azure Active Directory

  Затем укажите Имя пользователя и Пароль в соответствующих полях.

Свойства базы данных

• Имя базы данных: задать базу данных можно двумя способами:

  • Способ 1: выбор из списка. Щелкните Загрузить базы данных, а затем выберите базу данных.
  • Способ 2: вручную. Выберите Ввести имя базы данных вручную, а затем введите имя базы данных.

Загрузка данных

• Токен SAS: Токен SAS, используемый Microsoft Fabric для доступа к учетной записи хранилища ADLS. Это необязательно, если выполняется регистрация существующих данных.

Имя

Отображаемое имя подключения.

Предварительные требования

Разрешения для базы данных

Субъект-пользователь/служба Azure Active Directory, указанный в разделе Доступ ODBC в параметрах Microsoft Fabric коннектор, необходимо предоставить роль «Участник».

Настройка драйвера

Драйвер требуется только в случае обращения к базе данных через Data Movement Gateway. В таком случае необходимо установить драйвер на компьютер Data Movement Gateway.

driver можно установить с помощью программы для установки драйверов (рекомендуется) или вручную. Ручную установку следует выполнять только в том маловероятном случае, если возникла проблема с программой для установки драйверов.

Использование программы для установки драйверов для установки драйвера

В этом разделе описывается процедура установки необходимого driverа. Она включает выполнение скрипта, который автоматически загружает, устанавливает и настраивает необходимый driver. Также можно выполнять скрипты для обновления и удаления driverа по необходимости.

Подготовка к установке

• Убедитесь, что на сервере шлюза Перемещение данных установлена версия Python 3.6 или более поздняя.

  Python предустанавливается в большинстве дистрибутивов Linux. Чтобы проверить, какая версия Python установлена в системе, выполните следующую команду:

  python3 --version

Установка driver

Чтобы загрузить и установить driver, выполните следующие действия.

1. Остановите службу Data Movement Gateway:

   sudo systemctl stop repagent

2. Если нужно, подтвердите, что служба остановлена:

   sudo systemctl status repagent

   Статус должен быть следующим:

   Active: inactive (dead) since <timestamp> ago

3. На компьютере шлюза Перемещение данных измените рабочую папку на:

   opt/qlik/gateway/movement/drivers/bin

4. Выполните следующую команду:

   Синтаксис:

   ./install fabric

   Если не удается загрузить driver (из-за ограничений доступа или технических проблем), появится сообщение с указанием места, откуда можно загрузить driver и куда его скопировать на компьютере шлюза Перемещение данных. После этого выполните команду install fabric еще раз.

   В противном случае откроется лицензионное соглашение с конечным пользователем driverа.

5. Выполните одно из следующих действий:

   • Нажмите клавишу [Enter] несколько раз, чтобы медленно прокрутить лицензионное соглашение.
   • Нажимайте клавишу «Пробел» несколько раз, чтобы быстро прокрутить лицензионное соглашение.
   • Нажмите клавишу «q», чтобы закрыть текст лицензионного соглашения и перейти к шагу принятия/отклонения.

6. Затем выполните одно из следующих действий:

   • Введите «y» и нажмите клавишу [Enter], чтобы принять лицензионное соглашение и запустить установку.
   • Введите «n» и нажмите клавишу [Enter], чтобы отклонить лицензионное соглашение и отменить установку.

   • Введите «v» и нажмите клавишу [Enter], чтобы снова открыть лицензионное соглашение для просмотра.

Будет установлен driver.

7. Дождитесь завершения установки (появится сообщение «Завершено!»), а затем запустите службу Data Movement Gateway:

   sudo systemctl start repagent

8. Если нужно, подтвердите, что сервис запущен:

   sudo systemctl status repagent

   Статус должен быть следующим:

   Active: active (running) since <timestamp> ago

Обновление driverа

Выполните команду обновления, если требуется удалить предыдущие версии driverа перед установкой предоставленной версии driverа.

Чтобы загрузить и обновить driver, выполните следующие действия.

1. Остановите службу Data Movement Gateway:

   sudo systemctl stop repagent

2. Если нужно, подтвердите, что служба остановлена:

   sudo systemctl status repagent

   Статус должен быть следующим:

   Active: inactive (dead) since <timestamp> ago

3. На компьютере шлюза Перемещение данных измените рабочую папку на:

   opt/qlik/gateway/movement/drivers/bin

4. Выполните следующую команду:

   Синтаксис:

   ./update fabric

   Если не удается загрузить driver (из-за ограничений доступа или технических проблем), появится сообщение с указанием места, откуда можно загрузить driver и куда его скопировать на компьютере шлюза Перемещение данных. После этого выполните команду update fabric еще раз.

   В противном случае откроется лицензионное соглашение с конечным пользователем driverа.

5. Выполните одно из следующих действий:

   • Нажмите клавишу [Enter] несколько раз, чтобы медленно прокрутить лицензионное соглашение.
   • Нажимайте клавишу «Пробел» несколько раз, чтобы быстро прокрутить лицензионное соглашение.
   • Нажмите клавишу «q», чтобы закрыть текст лицензионного соглашения и перейти к шагу принятия/отклонения.

6. Затем выполните одно из следующих действий:

   • Введите «y» и нажмите клавишу [Enter], чтобы принять лицензионное соглашение и запустить установку.
   • Введите «n» и нажмите клавишу [Enter], чтобы отклонить лицензионное соглашение и отменить установку.
   • Введите «v» и нажмите клавишу [Enter], чтобы снова просмотреть лицензионное соглашение от начала.

Будет удален старый driver и установлен новый driver.

7. Дождитесь завершения установки (появится сообщение «Завершено!»), а затем запустите службу Data Movement Gateway:

   sudo systemctl start repagent

8. Если нужно, подтвердите, что сервис запущен:

   sudo systemctl status repagent

   Статус должен быть следующим:

   Active: active (running) since <timestamp> ago

Удаление driverа

Выполните команду удаления, если требуется удалить driver.

Чтобы удалить driver, выполните следующие действия.

1. Остановите все задачи, использующие данный коннектор.

2. На компьютере шлюза Перемещение данных измените рабочую папку на:

   opt/qlik/gateway/movement/drivers/bin

3. Выполните следующую команду:

   Синтаксис:

   ./uninstall fabric

   driver будет удален.

Установка драйвера вручную

Установку driver вручную следует пытаться выполнить только в том случае, если автоматическая установка драйвера не завершилась успешно.

Необходимо установить и драйвер ODBC, и драйвер JDBC.

Установка драйвера ODBC

После установки Data Movement Gateway загрузите драйвер msodbcsql<версия>.x86_64.rpm. Прямую ссылку для загрузки поддерживаемой версии можно найти в разделе binary-artifacts в /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml. После завершения загрузки скопируйте RPM на компьютер Data Movement Gateway.

1. Остановите службу Data Movement Gateway:

   sudo systemctl stop repagent

2. Если нужно, подтвердите, что сервис остановлен:

   sudo systemctl status repagent

Статус должен быть следующим:

Active: inactive (dead) since <timestamp> ago

3. Установите драйвер на машину Data Movement Gateway.

4. Скопируйте местоположение драйвера в файл site_arep_login.sh следующим образом:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql<version>/lib64/" >> site_arep_login.sh

   Пример:

   echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/opt/microsoft/msodbcsql17/lib64/" >> site_arep_login.sh

   Таким образом драйвер будет добавлен к LD_LIBRARY_PATH, а в файле site_arep_login.sh обновится расположение драйвера.

5. При необходимости подтвердите, что расположение драйвера скопировано.

   cat site_arep_login.sh

6. Запустите службу Data Movement Gateway.

   sudo systemctl start repagent

7. При необходимости подтвердите, что служба запущена.

   sudo systemctl status repagent

   Статус должен быть следующим:

   Active: active (running) since <timestamp> ago

Установка драйвера JDBC

1. Загрузите файлы JAR, перечисленные в разделе binary-artifacts в /opt/qlik/gateway/movement/drivers/manifests/fabric.yaml. Затем скопируйте файлы в следующую папку на компьютере Data Movement Gateway:

   /opt/qlik/gateway/movement/qcs_agents/qdi-db-commands/lib

2. Перезапустите службу Data Movement Gateway, выполнив команду, описанную в Перезапуск службы

Порты

Откройте порт 1433 для исходящей передачи данных.

Ограничения и замечания

Следующие операции не поддерживаются и не будут применены к цели:

• Переименовать столбец (RENAME)
• Добавить/отбросить/изменить столбец (ADD/DROP/ALTER)

Столбцы BLOB и BYTES не поддерживаются. Если исходные таблицы содержат столбцы с этими типами данных, можно преобразовать их в тип STRING или исключить их из репликации.

Типы данных

В следующей таблице показаны типы данных Microsoft Fabric, которые поддерживаются при использовании Qlik Cloud, и сопоставление типов данных из Qlik Cloud по умолчанию.

Информация о собственном типе данных сохраняется и отображается в столбце Собственный тип данных в видах набора данных. Если этот столбец не отображается, необходимо открыть инструмент «Управление столбцами» в виде набора данных и выбрать столбец Собственный тип данных.