Подключение к приложениям SaaS
Можно помещать данные на промежуточное хранение или реплицировать данные из большого количества приложений SaaS в Qlik Talend Data Integration.
Список всех поддерживаемых приложений см. в разделе Supported SaaS applications.
Чтобы быстро разрабатывать коннекторы для постоянно растущего числа источников — облачных приложений, Qlik создает коннекторы приложений для Qlik Talend Data Integration с использованием стандартных API и технологии генеративного ИИ.
Чтобы ускорить доступность новых коннекторов для приложений SaaS, мы на начальном этапе разрабатываем несколько коннекторов для конкретного сценария использования, затем выпускаем их с пометкой Lite или . Для получения дополнительной информации см. раздел Классификации для коннекторов приложений SaaS.
Подключение к приложению SaaS
Для подключения к приложениям SaaS может потребоваться настроить Data Movement Gateway, в зависимости от сценария использования. Для получения дополнительной информации см. раздел Когда требуется Data Movement Gateway?.
-
Первый этап подключения к приложению SaaS — добавление подключения в источник данных. Это можно сделать несколькими способами.
-
В виде Подключения нажмите Создать подключение.
-
Нажмите Создать подключение, где перечислены подключения к источникам (например, в мастере настройки задачи данных).
Выберите Приложение в поле Категория, чтобы отфильтровать список для отображения коннекторов приложений SaaS.
Также можно выбрать коннекторы из списка недавно использованных.
-
-
Выберите приложение, к которому требуется подключиться.
-
Заполните данные подключения для выполнения проверки подлинности. Для разных приложений SaaS используются разные данные подключения и процесс проверки подлинности.
Для получения дополнительной информации см. раздел Подключение к приложениям SaaS и выберите свой источник данных.
Выберите Открыть метаданные подключения и щелкните Создать, когда будете готовы.
-
Открывается диспетчер метаданных, где можно определить метаданные для подключения.
Щелкните Создание метаданных, чтобы создать метаданные на основе выборки данных источника.
Для получения дополнительной информации о загрузке метаданных см. Сканирование данных для создания метаданных.
Примечание к подсказкеТакже можно щелкнуть Импорт метаданных, чтобы импортировать уже созданное определение метаданных. Для получения дополнительной информации см. раздел Экспорт и импорт метаданных . -
Выберите наборы данных источника, которые требуется использовать, затем нажмите кнопку ОК.
-
Выберите параметры для сканирования данных. Можно выполнить полное сканирование или быстрое сканирование.
Полное сканирование более точное, но на его обработку потребуется много времени. Если выбрано полное сканирование, эти данные будут использоваться в начальной загрузке при помещении данных на промежуточное хранение.
Также можно задать настройки метаданных по умолчанию.
Когда будете готовы, щелкните Создать метаданные.
По завершении создания метаданных можно использовать подключение в задачах промежуточного хранения или подключения данных.
Управление метаданными
Создавая подключение к источнику данных, также необходимо определить метаданные для включенных наборов данных. Метаданные используются при создании схем для нормализации и определения соответствующих целевых таблиц. Метаданные позволяют выбирать, какие столбцы следует использовать при репликации в целевое местоположение. Когда источник возвращает вложенные структуры, таблицы выходных данных нормализуются с целью сохранения уровня детализации данных.
Также можно:
-
Создание метаданных путем выборки данных из исходных таблиц
-
Импортируйте метаданных, которые были экспортированы из подключения с тем же типом источника данных.
Для управления метаданными подключения щелкните Метаданные на подключении, которым требуется управлять, в разделе Подключения.
Сканирование данных для создания метаданных
В процессе создания метаданных можно выбрать полное сканирование данных или быстрое сканирование в области Загрузка метаданных.
-
Полное сканирование данных более точное, но на его обработку потребуется много времени.
-
Быстрое сканирование данных основано на выборке данных. Оно выполняется быстрее, но уступает в точности. Можно выбрать количество образцов данных при сканировании, задав параметр Количество образцов данных. Увеличьте количество образцов для улучшения точности.
Количество записей, содержащееся в образце данных зависит от того, какой источник данных используется.
Также можно выбрать, как задается Размер строк в столбце.
-
Фиксированный
Задайте фиксированный размер строк в столбце от 1 до 10000.
-
На основе значений данных
Размеры строк в столбцах устанавливаются в соответствии с самым длинным текущим значением в конкретном поле, умноженным на значение в поле Множитель.
Если поле пустое для всех строк в образце, то в качестве размера строки в столбце задается значение параметр Размер по умолчанию, если значение не задано.
Выбор наборов данных
Можно добавить наборы данных в метаданные.
-
Нажмите Выбрать наборы данных.
Теперь можно выбирать наборы данных для добавления в метаданные. Если набор данных уже включен в метаданные, он будет перезагружен.
Щелкните ОК, когда закончите.
Удаление наборов данных
-
Чтобы удалить набор данных из метаданных, щелкните ... рядом с набором данных и щелкните Удалить
Редактирование столбцов в наборе данных
Можно редактировать столбцы в наборе данных, чтобы сделать столбец ключевым, разрешить для столбца значения NULL или изменить тип данных.
-
Выберите набор данных.
-
Выберите столбец для редактирования.
-
Нажмите Изменить.
Удаление столбцов в наборе данных
-
Выберите набор данных.
-
Выберите столбец для удаления.
-
Нажмите Удалить.
Экспорт и импорт метаданных
Можно экспортировать метаданные из подключения и импортировать их в другое подключение.
-
Щелкните Экспорт метаданных, чтобы экспортировать метаданные.
-
Щелкните Импорт метаданных, чтобы добавить метаданные из экспортированного файла метаданных. Файл метаданных должен быть экспортирован из источника данных того же типа. Если существуют таблицы с одинаковым именем, можно пропустить их при импорте или перезаписать существующие данные.
Перезагрузка метаданных
В случае структурных изменений в исходных данных необходимо перезагрузить метаданные подключения.
-
Чтобы перезагрузить метаданные для всех наборов данных, щелкните Перезагрузить метаданные.
-
Чтобы перезагрузить конкретный набор данных, щелкните ... рядом с ним и выберите Перезагрузить метаданные
Для получения дополнительной информации о загрузке метаданных см. раздел Сканирование данных для создания метаданных.