Системные требования и ограничения

В этом разделе описаны требования и ограничения для Qlik Talend Cloud.

Прежде чем начать, необходимо проверить требования, чтобы подготовить все необходимое.

Для получения дополнительной информации о рабочем процессе и компонентах системы см. раздел Интеграция данных

Общие требования для Qlik Talend Cloud

• Клиент в Qlik Cloud с доступом к Qlik Talend Data Integration. Для этого требуется одна из следующих подписок:

  • Qlik Talend Cloud для управления проектами интеграции данных.

    Qlik Talend Cloud предоставляется в четырех уровнях подписки: Starter, Standard, Premium и Enterprise. Более продвинутые версии предоставляют более расширенные источники данных и преобразования. Это включает возможности, предоставляемые в рамках Qlik Cloud и Talend Cloud. Все подписки включают Аналитика Qlik Cloud Standard.

  • Подписка Аналитика Qlik Cloud обеспечивает доступ к Qlik Talend Data Integration для создания файлов QVD на платформе данных Qlik Cloud. Файлы QVD могут использоваться в аналитических приложениях.

    Для получения дополнительной информации см. раздел Варианты подписки Аналитика Qlik Cloud.

• Пользователю требуется Право пользователя «Профессионал» или Full User и роль Участник служб данных, чтобы создавать и запускать задачи данных в Qlik Talend Data Integration, а также управлять ими.

• Примечание о Qlik Cloud для правительстваХотя интерфейс и инструментарий Qlik Talend Data Integration доступны в Qlik Cloud для правительства, они не функционируют без лицензии, за исключением возможности создания конвейеров данных.

• При подключении к источникам данных может возникнуть необходимость добавить базовые IP-адреса Qlik Cloud в список разрешенных.

  Для получения дополнительной информации см. раздел Добавление имен доменов и IP-адресов в список разрешенных.

• Подключения используются, чтобы установить соединение с облачными платформами данных с целью доставки данных и передачи преобразований методом push-down. Для получения дополнительной информации см. раздел Настройка подключений к целям.

• Если используется Data Movement Gateway, драйверы для доступа к источнику данных и целевой платформе необходимо установить на компьютер Data Movement Gateway. Если один компьютер Data Movement Gateway используется для доступа к источнику, а второй — для доступа к цели, то установите драйверы, необходимые для доступа к цели на целевом компьютере Data Movement Gateway, а драйвер, необходимый для доступа к источнику — на исходном компьютере Data Movement Gateway.

  Для получения дополнительной информации см. раздел Настройка подключений к целям.

Требования к хранению данных

• При размещении данных на промежуточное хранение в блоке Amazon S3 можно создавать таблицы QVD в управляемом хранилище Qlik Cloud или в хранилище Amazon S3, управляемом вами.

• При размещении данных на промежуточное хранение в облачном хранилище данных, таком как Snowflake или Azure Synapse Analytics, можно создавать таблицы в том же облачном хранилище данных.

• При размещении данных из облачного источника данных на промежуточное хранение в облачном хранилище данных можно создавать таблицы в том же облачном хранилище данных.

Требования к промежуточным областям

Для перемещения данных в некоторые цели ― хранилища данных требуется промежуточная область.

• Azure Synapse Analytics

  Требуется промежуточная область Azure Data Lake Storage.

• Google BigQuery

  Требуется промежуточная область Google Cloud Storage.

• Databricks

  Требуется промежуточная область Azure Data Lake Storage, Google Cloud Storage или Amazon S3.

Требования к созданию таблиц QVD

• Блок Amazon S3 для промежуточных данных с доступом для записи с сервера Data Movement Gateway и с доступом для чтения с клиента Qlik Cloud.

  Примечание к предупреждениюНеобходимо обеспечить безопасность зоны промежуточного хранения. Можно использовать шифрование на стороне сервера с использованием ключей под управлением Amazon S3 или ключей под управлением AWS KMS.

• Если необходимо хранить данные хранилища (QVD) в собственном управляемом хранилище, а не в управляемом хранилище Qlik, понадобится блок Amazon S3. Можно использовать тот же блок Amazon S3, что и для данных промежуточного хранения, но для этого также требуется доступ для записи с клиента Qlik Cloud. Также потребуется использовать отдельные папки для данных промежуточного хранения и для хранилища.

  Примечание к предупреждениюНеобходимо обеспечить безопасность управляемого хранилища. Можно использовать шифрование на стороне сервера с использованием ключей под управлением Amazon S3 или ключей под управлением AWS KMS.

Ограничения

Существуют некоторые ограничения при использовании Qlik Talend Data Integration.

Общие ограничения

• Не поддерживается внесение изменений в схему источника данных. При внесении изменений в схему источника данных необходимо создать новые ресурсы данных.

• Невозможно изменить владельца задачи данных или переместить ее в другой проект.

• Не поддерживается автоматическая очистка области промежуточного хранения. Это может отразиться на производительности. Рекомендуется выполнять очистку вручную.

• При применении изменений к таблицам в ресурсе данных хранилища отсутствует согласованность транзакций между разными таблицами в задаче.

• Когда схема базы данных связана с несколькими задачами данных, каждая задача данных должна использовать уникальный префикс для таблиц и видов. Префикс можно настроить в параметрах задачи данных.

• Две задачи для шлюза движения данных не следует записывать в одну и ту же таблицу в области промежуточного хранения. Рекомендуется использовать отдельную область промежуточного хранения для каждой задачи, заданной для шлюза движения данных.

• Обработка изменений в исходных таблицах, не имеющих первичного ключа, не поддерживается. Это касается как подключенных данных, так и зарегистрированных данных.

Ограничения при создании таблиц QVD

• Максимальный размер созданной таблицы QVD составляет 5 ГБ.

  Пространства данных всегда работают со стандартным объемом, что ограничивает объем задачи хранения данных. Каждая таблица, обрабатываемая задачей хранения данных, должна иметь общий размер, включая изменения, не превышающий поддерживаемый размер приложения (в памяти) для стандартных приложений.

  Для получения дополнительной информации об объемах см. раздел Поддержка больших приложений.

• Убедитесь, что два приложения не создают таблицы QVD с одинаковыми именами. Лучше всего создать отдельную папку вывода для каждого приложения.

Ограничения для облачных хранилищ данных

Общие ограничения

• Все наборы данных записываются в одну и ту же внутреннюю схему, а все виды — в одну и ту же схему ресурса данных в хранилище. Поэтому не допускается наличие двух наборов данных с одинаковым именем в разных схемах в одной задаче промежуточного хранения данных.

Ограничения для Snowflake

• Проверка подлинности OAuth не поддерживается при подключении к Snowflake.

Ограничения для Google BigQuery

• Нельзя использовать пробелы в именах столбцов.

• При переименовании или удалении столбцов таблицы нужно будет создавать заново, так как данные будут потеряны.

• Для параметризованных типов данных будут установлены значения по умолчанию.

  • Строка

    Длина: 8192

  • Байты

    Длина: 8192

  • Числовое значение

    Точность: 38

    Масштаб: 9

  • bigDecimal

    Точность: 76

    Масштаб: 38

• В конфигурации подключений Google BigQuery по умолчанию указывается местоположение US (США). Если требуется использовать другое местоположение, необходимо настроить его в свойствах подключения.

  1. Измените подключение.

  2. Добавьте свойство location в раздел расширенных параметров Advanced.

  3. В качестве значения свойства выберите нужное местоположение.

  4. Нажмите Сохранить.

Ограничения для Databricks

• Переименование таблиц и столбцов не поддерживается. При синхронизации после переименования данные будут потеряны.

• Должен быть активен параметр Активно SSL (Enable SSL).