Обновление и удаление Data Movement Gateway

Поддержка установки Data Movement Gateway в ОС Red Hat 9.x

Заказчики теперь могут устанавливать Data Movement Gateway на платформе Red Hat 9.x или любой соответствующей и совместимой сборки Linux.

Настройка Data Movement Gateway

Изменения в командах службы Data Movement Gateway

Внесены изменения в команды для остановки, запуска и проверки состояния службы Data Movement Gateway.

Команды службы Data Movement Gateway

Изменения в сопоставлении типов данных Amazon Redshift

• Тип данных BOOLEAN, который ранее сопоставлялся с VARCHAR(1) в Amazon Redshift, теперь будет сопоставляться с BOOLEAN.
• Типы данных BYTES и BLOB, которые ранее сопоставлялись с VARCHAR(1) в Amazon Redshift, теперь будут сопоставляться с VARBINARY (длина).

Добавлена поддержка новых баз данных, версий баз данных и версий драйверов

В этом разделе перечислены новые поддерживаемые базы данных, версии баз данных и версии драйверов.

• Новые поддерживаемые версии и редакции источников данных

  Теперь поддерживаются следующие версии источников данных:

  • Azure Database for MySQL ― Flexible Server (поддерживается через коннектор источника MySQL)
  • MariaDB 10.4 ― 10.11 (ранее 10.4 и 10.5)

• Новые поддерживаемые целевые платформы данных и их редакции

  Теперь поддерживаются следующие версии целей данных:

  • Azure Database for MySQL ― Flexible Server (поддерживается через коннектор цели MySQL)
  • Databricks: Databricks 13.3 LTS и Serverless SQL Warehouse

• Новая поддерживаемая версия драйвера SAP HANA

  Заказчики, использующие источник SAP HANA, которым требуется установить Data Movement Gateway на платформе Red Hat Linux 9.x, необходимо установить 64-разрядную версию драйвера SAP HANA ODBC 2.0.19 или более позднюю.

Версии баз данных, для которых прекращена поддержка

В этом разделе предоставляется информация о версиях баз данных, поддержка которых прекращена.

• Прекращена поддержка следующих версий источников данных:

  • Oracle 11.x
  • SAP HANA 1.0

Устранение проблем

• Когда при установке Data Movement Gateway не предоставляется пароль сервера, невозможно настроить URL клиента и прокси-сервера с использованием одной команды.
• При перемещении данных из Salesforce (приложение SaaS) выводится большое количество избыточных предупреждений, что снижает производительность загрузки данных.
• Если возникает ошибка при извлечении изменений для одной из таблиц источника данных приложения SaaS, эта таблица будет приостановлена и удалена из конвейера данных. Теперь при обнаружении ошибки задача будет предпринимать три попытки получить изменения, прежде чем приостанавливать таблицу.

Новые цели-озера данных для проектов репликации

Мы продолжаем расширять список поддерживаемых целей для проекта «Репликация» в Qlik Cloud Data Integration. Теперь, помимо Amazon S3, можно выбрать Azure Data Lake Storage (ADLS) и Google Cloud Storage (GCS) для доставки данных в формате Parquet, JSON или CSV в озера данных.

Решенные проблемы:

• Исходный коннектор IBM DB2 for LUW

  Подключение к IBM DB2 for LUW завершалось ошибкой, если размер файлов, необходимых для подключения (таких как сертификат клиента SSL и файл хранилища ключей), превышал 4 КБ.

• Драйвер исходных коннекторов IBM DB2 for LUW и IBM DB2 for z/OS

  Установка драйвера DB2 завершается ошибкой, когда для этого используется утилита установки драйвера.

Поддержка Microsoft Fabric в качестве цели конвейера данных

Microsoft Fabric присоединяется к постоянно расширяющемуся списку хранилищ данных, которые можно использовать в качестве целей в проектах конвейера данных.

Решенные проблемы:

Обновлена версия драйвера Snowflake в программе установки драйверов.

Расширенная поддержка частных подключений

Частное подключение можно использовать для обеспечения безопасности трафика данных и соблюдения требований к трафику. Это упрощает управление сетью и повышает безопасность ВЧО (виртуальное частное облако), не требуя открывать порты встроенных брандмауэров, прокси-устройства и таблицы маршрутизации. Qlik Cloud Data Integration уже поддерживает частные подключения к целям конвейера данных Snowflake, Microsoft SQL Server и Amazon S3. Этот выпуск позволяет дополнительно использовать частные подключения при перемещении данных в Databricks, Microsoft Azure Synapse, Google BigQuery и Amazon Redshift.

Источники данных на базе PostgreSQL

• Все источники данных на базе PostgreSQL — поддержка многодиапазонного типа данных: теперь следующие многодиапазонные типы данных поддерживаются во всех источниках данных на базе PostgreSQL (локальных и облачных).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE;
  • TSMULTIRANGE.

• Источник данных AWS Aurora Cloud для PostgreSQL — поддержка ролей, отличных от суперпользователя: пользователю, указанному в коннекторе PostgreSQL, больше не требуется роль суперпользователя для перемещения данных из источника данных AWS Aurora Cloud для PostgreSQL. Это особенно полезно для организаций, где политики корпоративной безопасности не позволяют предоставлять роль суперпользователя непривилегированным пользователям.

Источник данных Microsoft Azure SQL (MS-CDC): Поддержка георепликации

Теперь заказчики, которые переносят данные из источника данных Microsoft Azure SQL (MS-CDC), могут использовать базу данных Geo Replica.

Источник данных Oracle: Поддержка HSM (Hardware Security Module, аппаратный модуль безопасности)

Qlik Cloud Data Integration теперь поддерживает чтение данных из зашифрованных табличных пространств Oracle и зашифрованных столбцов в процессе CDC.

Поддержка новых регионов

Qlik Cloud Data Integration теперь поддерживает клиенты в регионах DE и UK.

Новые поддерживаемые версии и стороннее программное обеспечение

В этом разделе перечислены базы данных и версии драйверов, для которых добавлена поддержка.

• Новые поддерживаемые версии источников данных. Теперь поддерживаются следующие версии источников данных:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (при работе с IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Новые поддерживаемые версии целевых платформ данных. Теперь поддерживаются следующие версии целей данных:

  • Databricks (Cloud Storage): Databricks 12.2 LTS и Databricks SQL Serverless

• Версии драйвера. Теперь поддерживаются следующие версии драйверов ODBC:

  • IBM Data Server Client 11.5.8 для IBM DB2 for z/OZ и IBM DB2 for LUW
  • Драйвер Simba ODBC 3.0.0.1001 для Google Cloud BigQuery
  • Драйвер MySQL ODBC Unicode 8.0.32 (64-разрядный)

Драйвер Microsoft SQL Server — требуется обновление

Клиенты, перемещающие данные в Microsoft SQL Server, должны обновить свой драйвер SQL Server ODBC до версии 18.x или более поздней. Обратите внимание, что в случае дальнейшего использования драйвера SQL Server ODBC версии 17.x могут возникать ошибки данных. Обновление драйвера можно выполнить с помощью служебной программы для установки драйверов или вручную. Инструкции см. в разделе Настройка драйвера.

Версии баз данных, для которых прекращена поддержка

В этом разделе предоставляется информация о версиях баз данных, поддержка которых прекращена.

• Версии баз данных, для которых прекращена поддержка. Прекращена поддержка следующих версий источников данных:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Версии целевых платформ данных, для которых прекращена поддержка. Прекращена поддержка следующих версий целей данных:

  • Databricks 9.1 LTS

2022.11.74

15 августа 2023 г.

Поддержка репликации

Мы применяем подход «сначала облако», который обеспечивает быструю реализацию инноваций и принятие. Однако это не означает, что наша работа ориентирована только на облако. В рамках нашей постоянной работы по повышению перспективной ценности для наших заказчиков мы рады объявить о добавлении нового сценария применения при создании проектов данных — «Репликация». Новый сценарий применения «Репликация» дополняет существующую возможность создания конвейеров данных для удовлетворения всех потребностей, связанных с интеграцией данных, включая модернизацию хранилища данных.

Проект «Репликация» поддерживает репликацию данных в реальном времени из поддерживаемых источников данных в поддерживаемую цель.

Начиная с данного, самого последнего выпуска, первая цель, которая поддерживает репликацию данных в реальном времени, — это Microsoft SQL Server. В дополнение к поддержке локального сервера Microsoft SQL Server, также поддерживаются следующие облачные поставщики:

• Локально
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance и Microsoft Azure Database)

Цель Microsoft Azure Synapse Analytics — требуется обновление драйвера

Клиенты, перемещающие данные в Microsoft Azure Synapse Analytics, должны обновить свой драйвер SQL Server ODBC до версии 18.x или более поздней. Обратите внимание, что в случае дальнейшего использования драйвера SQL Server ODBC версии 17.x могут возникать ошибки данных. Обновление драйвера можно выполнить с помощью служебной программы для установки драйверов или вручную. Инструкции см. в разделе Настройка драйвера.

Новый параметр «Загрузить данные из источника» для источников приложений SaaS

Добавлен новый параметр Загрузить данные из источника, который дает пользователям возможность считывать данные непосредственно из источника во время полной загрузки вместо использования кэшированных данных.

Дополнительные данные об этом параметре, а также примеры использования см. в разделе Параметры промежуточного хранения.

Обновлены сертификаты ЦС

Data Movement Gateway 2022.11.74 включает обновленные сертификаты ЦС, необходимые для проверки подлинности клиента Qlik Cloud. Обновленные сертификаты ЦС также обеспечивают поддержку регионов Ирландии и Франкфурта. Таким образом, пользователи с клиентами Qlik Cloud в Ирландии или Франкфурте, которые хотят использовать интеграцию данных Qlik Cloud, должны выполнить обновление до этой версии.

Решенная проблема

Задачи промежуточного хранения данных из источника Oracle иногда завершаются ошибкой, когда таблица содержит неиспользуемые или неподдерживаемые столбцы или столбцы LOB, которые не были реплицированы.

2022.11.70

28 июня 2023 г.

Улучшена служебная программа установки драйверов для клиентов SAP

В предыдущих версиях пользователям требовалось выполнять команду «source arep_login.sh» при установке клиентов SAP. Начиная с данной версии эта команда больше не нужна.

Обновлены сертификаты ЦС

Эта версия включает обновленные сертификаты ЦС, необходимые для проверки подлинности клиента Qlik Cloud.

Устранение проблем

• Когда задача репликации в Data Movement Gateway завершается ошибкой и автоматически восстанавливается, восстановленное состояние не передается в ресурс данных промежуточного хранения в Qlik Cloud.

• Сквозное шифрование для Data Movement Gateway не включалось по умолчанию и контролировалось с помощью флагов времени выполнения.

2022.11.63

2 мая 2023 года

Программа для установки драйверов

Данная версия включает программу для установки драйверов, благодаря которой отпадает необходимость в ручной установке и настройке драйверов. Новая программа ускоряет процесс установки и значительно снижает вероятность ошибки пользователя. При запуске программы необходимый драйвер загружается автоматически, если это возможно, и устанавливается. Если драйвер нельзя загрузить автоматически (например, для загрузки драйверов DB2 необходимо войти в систему), то все, что нужно сделать, это загрузить драйвер, скопировать его в соответствующую папку на компьютере со шлюзом движения данных и запустить программу.

Пример использования программы для установки драйвера PostgreSQL см. в разделе Предварительные требования.

Облачная платформа данных Snowflake

Коннектор Snowflake теперь поддерживает 4-байтовые символы эмодзи.

Поддержка Базы данных Azure для PostgreSQL — гибкий сервер в качестве источника данных

С помощью коннектора PostgreSQL теперь можно перемещать данные из базы данных Azure для PostgreSQL — гибкий сервер.

Поддержка Cloud SQL for PostgreSQL в качестве источника данных

С помощью коннектора PostgreSQL теперь можно перемещать данные из Cloud SQL for PostgreSQL.

Новые поддерживаемые версии источников данных

Данная версия поддерживает следующие новые версии источников данных:

• PostgreSQL 14
• DB2 (для IBM DB2 для z/OS) 12.1
• IBM DB2 для z/OS 2.5

Новые поддерживаемые версии облачных платформ данных

Databricks 11.3 LTS

Прекращение поддержки следующих версий источников данных

Следующие версии источников данных больше не поддерживаются:

• DB2 (для IBM DB2 для z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Устранение проблем

В данной версии устранены проблемы, приведенные ниже.

• Источник данных Oracle: при остановке и возобновлении выполнения задачи иногда возникала ошибка «Не удалось установить положение потока в контексте».
• Источник SAP Application: изменения не будут регистрироваться во время выполнения задачи промежуточного хранения.