Системные требования и ограничения

В этом разделе описаны требования и ограничения для Qlik Talend Cloud.

Прежде чем начать, необходимо проверить требования, чтобы подготовить все необходимое.

Дополнительные сведения о рабочем процессе и компонентах системы см. в Интеграция данных

Общие требования для Qlik Talend Cloud

• Клиент в Qlik Cloud с доступом к Qlik Talend Data Integration. Для этого требуется одна из следующих подписок:

  • Qlik Talend Cloud для управления проектами интеграции данных.

    Qlik Talend Cloud предоставляется в четырех уровнях подписки: Starter, Standard, Premium и Enterprise. Более продвинутые версии предоставляют более расширенные источники данных и преобразования. Это включает возможности, предоставляемые в рамках Qlik Cloud и Talend Cloud. Все подписки включают Аналитика Qlik Cloud Standard.

  • Подписка Qlik Cloud Analytics обеспечивает доступ к Qlik Talend Data Integration для создания файлов QVD на платформе данных Qlik Cloud. Эти файлы QVD могут использоваться в аналитических приложениях.

    Для получения дополнительной информации см. раздел Варианты подписки Qlik Cloud Analytics.

• Требуется роль Участник служб данных, чтобы создавать и запускать задачи данных в Qlik Talend Data Integration, а также управлять ими. В подписках на основе пользователей требуется также категория Professional.

• Примечание о Qlik Cloud для правительстваХотя интерфейс и инструментарий Qlik Talend Data Integration доступны в Qlik Cloud для правительства, они не функционируют без лицензии, за исключением возможности создания конвейеров данных.

• Для использования возможностей Talend Studio 8.0.1 R2024-05 или более поздних версий требуется лицензия Qlik Talend Cloud Premium или Qlik Talend Cloud Enterprise.

• При подключении к источникам данных может возникнуть необходимость добавить базовые IP-адреса Qlik Cloud в список разрешенных.

  Для получения дополнительной информации см. раздел Список разрешенных доменов и IP-адресов.

• Подключения используются, чтобы установить соединение с облачными платформами данных с целью доставки данных и передачи преобразований методом push-down. Для получения дополнительной информации см. раздел Настройка подключений к целям.

• Если используется Шлюз движения данных, драйверы для доступа к источнику данных и целевой платформе необходимо установить на компьютер Шлюз движения данных. Если один компьютер Шлюз движения данных используется для доступа к источнику, а второй — для доступа к цели, то установите драйверы, необходимые для доступа к цели на целевом компьютере Шлюз движения данных, а драйвер, необходимый для доступа к источнику — на исходном компьютере Шлюз движения данных.

  Для получения дополнительной информации см. раздел Настройка подключений к целям.

Требования для хранения данных

• При размещении данных на промежуточное хранение в блоке Amazon S3 можно создавать таблицы QVD в управляемом хранилище Qlik Cloud или в хранилище Amazon S3, управляемом вами.

• При размещении данных на промежуточное хранение в облачном хранилище данных, таком как Snowflake или Azure Synapse Analytics, можно создавать таблицы в том же облачном хранилище данных.

• При размещении данных из облачного источника данных на промежуточное хранение в облачном хранилище данных можно создавать таблицы в том же облачном хранилище данных.

Требования к промежуточным областям

Для перемещения данных в некоторые цели ― хранилища данных требуется промежуточная область.

• Azure Synapse Analytics

  Требуется промежуточная область Azure Data Lake Storage.

• Google BigQuery

  Требуется промежуточная область Google Cloud Storage.

• Databricks

  Требуется промежуточная область Azure Data Lake Storage, Google Cloud Storage или Amazon S3.

Требования к созданию таблиц QVD

• Блок Amazon S3 для промежуточных данных с доступом для записи с сервера Шлюз движения данных и с доступом для чтения с клиента Qlik Cloud.

  Примечание к предупреждениюНеобходимо обеспечить безопасность зоны промежуточного хранения. Можно использовать шифрование на стороне сервера с использованием ключей под управлением Amazon S3 или ключей под управлением AWS KMS.

• Если необходимо хранить данные хранилища (QVD) в собственном управляемом хранилище, а не в управляемом хранилище Qlik, понадобится блок Amazon S3. Можно использовать тот же блок Amazon S3, что и для данных промежуточного хранения, но для этого также требуется доступ для записи с клиента Qlik Cloud. Также потребуется использовать отдельные папки для данных промежуточного хранения и для хранилища.

  Примечание к предупреждениюНеобходимо обеспечить безопасность управляемого хранилища. Можно использовать шифрование на стороне сервера с использованием ключей под управлением Amazon S3 или ключей под управлением AWS KMS.

Ограничения

Существуют некоторые ограничения при использовании Qlik Talend Data Integration.

Общие ограничения

• Невозможно изменить владельца задачи данных или переместить ее в другой проект.

• Не поддерживается автоматическая очистка области промежуточного хранения. Это может отразиться на производительности. Рекомендуется выполнять очистку вручную.

• При применении изменений к таблицам в ресурсе данных хранилища отсутствует согласованность транзакций между разными таблицами в задаче.

• Когда схема базы данных связана с несколькими задачами данных, каждая задача данных должна использовать уникальный префикс для таблиц и видов. Префикс можно настроить в параметрах задачи данных.

• Две задачи для шлюза движения данных не следует записывать в одну и ту же таблицу в области промежуточного хранения. Рекомендуется использовать отдельную область промежуточного хранения для каждой задачи, заданной для шлюза движения данных.

• Обработка изменений в исходных таблицах, не имеющих первичного ключа, не поддерживается. Это касается как подключенных данных, так и зарегистрированных данных.

Ограничения при создании таблиц QVD

• Максимальный размер созданной таблицы QVD составляет 5 ГБ.

  Пространства данных всегда работают со стандартным объемом, что ограничивает объем задачи хранения данных. Каждая таблица, обрабатываемая задачей хранения данных, должна иметь общий размер (включая изменения), не превышающий поддерживаемый размер приложения в памяти) для стандартных приложений.

  Для получения дополнительной информации о мощностях см. раздел Поддержка больших приложений.

• Убедитесь, что два приложения не создают таблицы QVD с одинаковыми именами. Лучше всего создать отдельную папку вывода для каждого приложения.

Ограничения для облачных хранилищ данных

Общие ограничения

• Все наборы данных записываются в одну и ту же внутреннюю схему, а все виды — в одну и ту же схему ресурса данных в хранилище. Поэтому не допускается наличие двух наборов данных с одинаковым именем в разных схемах в одной задаче промежуточного хранения данных.

Ограничения Snowflake

• Проверка подлинности OAuth не поддерживается при подключении к Snowflake.

Ограничения Google BigQuery

• Нельзя использовать пробелы в именах столбцов.

• При переименовании или удалении столбцов таблицы нужно будет создавать заново, так как данные будут потеряны.

• Для параметризованных типов данных будут установлены значения по умолчанию.

  • Строка

    Длина: 8192

  • Байты

    Длина: 8192

  • Числовой

    Точность: 38

    Масштаб: 9

  • bigDecimal

    Точность: 76

    Масштаб: 38

• В конфигурации подключений Google BigQuery по умолчанию указывается местоположение US (США). Если требуется использовать другое местоположение, необходимо настроить его в свойствах подключения.

  1. Измените подключение.

  2. Добавьте свойство location в раздел расширенных параметров Advanced.

  3. В качестве значения свойства выберите нужное местоположение.

  4. Нажмите Сохранить.

Ограничения Databricks

• Переименование таблиц и столбцов не поддерживается. При синхронизации после переименования данные будут потеряны.

• Должен быть активен параметр Активно SSL (Enable SSL).