Подключение к приложениям SaaS

Можно помещать данные на промежуточное хранение или реплицировать данные из большого количества приложений SaaS в Интеграция данных Qlik Cloud.

Список всех поддерживаемых приложений см. в разделе Supported SaaS applications.

Чтобы быстро разрабатывать коннекторы для постоянно растущего числа источников — облачных приложений, Qlik создает коннекторы приложений для Интеграция данных Qlik Cloud с использованием стандартных API и технологии генеративного ИИ.

Подключение к приложению SaaS

Для подключения к приложениям SaaS необходимо настроить Data Gateway — Data Movement. Для получения дополнительной информации см. раздел Qlik Data Gateway — Data Movement.

1. Первый этап подключения к приложению SaaS — добавление подключения в источник данных. Это можно сделать несколькими способами.

   • Щелкните Создать подключение, после чего появится список подключений к источнику.

   • Щелкните Добавить в верхней полосе, а затем выберите Подключение к данным.

   Выберите Приложение в поле Категория, чтобы отфильтровать список для отображения коннекторов приложений SaaS.

   Также можно выбрать коннекторы из списка недавно использованных.

2. Выберите приложение, к которому требуется подключиться.

3. Заполните данные подключения для выполнения проверки подлинности. Для разных приложений SaaS используются разные данные подключения и процесс проверки подлинности.

   Для получения дополнительной информации см. раздел Подключение к приложениям SaaS и выберите свой источник данных.

   Выберите Открыть метаданные подключения и щелкните Создать, когда будете готовы.

4. Открывается диспетчер метаданных, где можно определить метаданные для подключения.

   Щелкните Создание метаданных, чтобы создать метаданные на основе выборки данных источника.

   Для получения дополнительной информации о загрузке метаданных см. Сканирование данных для создания метаданных.

   Примечание к подсказкеТакже можно щелкнуть Импорт метаданных, чтобы импортировать уже созданное определение метаданных. Для получения дополнительной информации см. Экспорт и импорт метаданных .

5. Выберите наборы данных источника, которые требуется использовать, затем нажмите кнопку ОК.

6. Выберите параметры для сканирования данных. Можно выполнить полное сканирование или быстрое сканирование.

   Полное сканирование более точное, но на его обработку потребуется много времени. Если выбрано полное сканирование, эти данные будут использоваться в начальной загрузке при помещении данных на промежуточное хранение.

   Также можно задать настройки метаданных по умолчанию.

   Когда будете готовы, щелкните Создать метаданные.

По завершении создания метаданных можно использовать подключение в задачах промежуточного хранения или подключения данных.

Обработка изменений

Данные из приложений SaaS можно помещать на промежуточное хранение, используя два разных метода обновления. Метод обновления выбирается в разделе Настройки задачи данных промежуточного хранения. После завершения подготовки задачи данных промежуточного хранения режим изменить невозможно.

• Захват изменений данных (CDC)

  Промежуточное хранение начинается с полной загрузки. Затем актуальность данных, помещенных на промежуточное хранение, поддерживается путем инкрементальной загрузки на основе полей даты. Не все источники данных поддерживают CDC.

  Примечание к информацииУдаление не поддерживается. Это значит, что если строка удалена в источнике, она не будет удалена в данных на промежуточном хранении. Если обработка удалений играет важную роль, используйте режим Перезагрузка и сравнение.

  В задаче данных промежуточного хранения можно задать интервал считывания изменений из источника: выберите Настройки > Время выполнения.

• Перезагрузка и сравнение

  При промежуточном хранении выполняются только полные загрузки из источника. Это полезно, если источник не поддерживает CDC, но может использоваться в качестве поддерживаемого источника данных.

  Можно запланировать периодическое выполнение перезагрузок.

Ограничения

Некоторые таблицы, возвращаемые приложением SaaS, не поддерживаются режимом Захват данных изменений (CDC). В таком случае появится предупреждение в разделе Ошибка проверки. Также можно:

• Удалите таблицу из задачи данных.

• Измените метод обновления задачи данных на Перезагрузка и сравнение.

Управление метаданными

Создавая подключение к источнику данных, также необходимо определить метаданные для включенных наборов данных. Метаданные используются при создании схем для нормализации и определения соответствующих целевых таблиц. Метаданные позволяют выбирать, какие столбцы следует использовать при репликации в целевое местоположение. Когда источник возвращает вложенные структуры, таблицы выходных данных нормализуются с целью сохранения уровня детализации данных.

Также можно:

• Создание метаданных путем выборки данных из исходных таблиц

• Импортируйте метаданных, которые были экспортированы из подключения с тем же типом источника данных.

Для управления метаданными подключения щелкните Метаданные на подключении, которым требуется управлять, в разделе Подключения к данным.

Сканирование данных для создания метаданных

В процессе создания метаданных можно выбрать полное сканирование данных или быстрое сканирование в области Загрузка метаданных.

• Полное сканирование данных более точное, но на его обработку потребуется много времени.

• Быстрое сканирование данных основано на выборке данных. Оно выполняется быстрее, но уступает в точности. Можно выбрать количество образцов данных при сканировании, задав параметр Количество образцов данных. Увеличьте количество образцов для улучшения точности.

  Количество записей, содержащееся в образце данных зависит от того, какой источник данных используется.

Также можно выбрать, как задается Размер строк в столбце.

• Фиксированный

  Задайте фиксированный размер строк в столбце от 1 до 10000.

• На основе значений данных

  Размеры строк в столбцах устанавливаются в соответствии с самым длинным текущим значением в конкретном поле, умноженным на значение в поле Множитель.

  Если поле пустое для всех строк в образце, то в качестве размера строки в столбце задается значение параметр Размер по умолчанию, если значение не задано.

Выбор наборов данных

Можно добавить наборы данных в метаданные.

• Нажмите Выбрать наборы данных.

  Теперь можно выбирать наборы данных для добавления в метаданные. Если набор данных уже включен в метаданные, он будет перезагружен.

  Щелкните ОК, когда закончите.

Удаление наборов данных

• Чтобы удалить набор данных из метаданных, щелкните ... рядом с набором данных и щелкните Удалить

Редактирование столбцов в наборе данных

Можно редактировать столбцы в наборе данных, чтобы сделать столбец ключевым, разрешить для столбца значения NULL или изменить тип данных.

1. Выберите набор данных.

2. Выберите столбец для редактирования.

3. Нажмите Изменить.

Удаление столбцов в наборе данных

1. Выберите набор данных.

2. Выберите столбец для удаления.

3. Нажмите Удалить.

Экспорт и импорт метаданных

Можно экспортировать метаданные из подключения и импортировать их в другое подключение.

• Щелкните Экспорт метаданных, чтобы экспортировать метаданные.

• Щелкните Импорт метаданных, чтобы добавить метаданные из экспортированного файла метаданных. Файл метаданных должен быть экспортирован из источника данных того же типа. Если существуют таблицы с одинаковым именем, можно пропустить их при импорте или перезаписать существующие данные.

Перезагрузка метаданных

В случае структурных изменений в исходных данных необходимо перезагрузить метаданные подключения.

• Чтобы перезагрузить метаданные для всех наборов данных, щелкните Перезагрузить метаданные.

• Чтобы перезагрузить конкретный набор данных, щелкните ... рядом с ним и выберите Перезагрузить метаданные

Для получения дополнительной информации о загрузке метаданных см. раздел Сканирование данных для создания метаданных.