Перейти к основному содержимому Перейти к дополнительному содержимому

Обновление и удаление Data Movement Gateway

В этом разделе описывается порядок обновления или удаления установленного экземпляра Data Movement Gateway. Здесь также приводится таблица, в которой перечислены изменения, реализованные в каждой версии Data Movement Gateway.

Процедура обновления

Чтобы проверить текущую версию, выберите Администрирование > Шлюзы данных и проверьте столбец Версия, соответствующий вашей версии Data Movement Gateway.

Если доступна новая версия, рядом с номером версии отображается !. Можно навести указатель мыши на , чтобы получить дополнительную информацию. Если установленная версия шлюза не поддерживается, в поле Состояние отображается Деактивировано, для активации шлюза необходимо выполнить обновление.

При появлении новой версии Data Movement Gateway необходимо загрузить файл rpm из Администрирование и установить новую версию.

Порядок действий:

  1. Чтобы загрузить новую версию, щелкните на шлюзе, а затем нажмите Обновить.

    Примите клиентское соглашение и переходите к загрузке RPM.

  2. Откройте приглашение оболочки и смените рабочий каталог на каталог, содержащий RPM.
  3. Выполните следующую команду:

    Синтаксис:

    rpm -U <rpm name>

    Пример:

    sudo rpm -U qlik-data-gateway-data-movement.rpm

  4. Запустите службу Data Movement Gateway.

    sudo systemctl start repagent

  5. При необходимости подтвердите, что служба запущена.

    sudo systemctl status repagent

    Статус должен быть следующим:

    Active: active (running) since <timestamp> ago

Data Movement GatewayИстория версий

Версия

Дата выпуска

Существенные изменения

Дата окончания поддержки

2024.5.28 12 ноября 2024 года Предоставляет функциональность, необходимую для функции «Оценка схемы», выпуск которой планируется в ближайшее время. Определяется при выпуске следующей основной версии
2024.5.27 5 ноября 2024 года

В этом выпуске решены следующие проблемы:

  • При использовании события redo 11.22 пропадали операторы INSERT (ВСТАВИТЬ), когда обрабатывалось несколько операторов INSERT на сжатой странице, которая не была сжата до выполнения операций INSERT.
  • В редких случаях неправильный разбор событий DELETE в записи журнала повтора приводил к появлению предупреждения «Событие DELETE в журнале повтора содержит неизвестную структуру», в котором далее описаны различные проблемы.

Инструкции в файле YAML были обновлены в соответствии с правильной версией коннектора SAP Java.

При использовании шлюза Data Movement Gateway для подключения к цели Snowflake через прокси-сервер соединение не устанавливается из-за следующей ошибки:

500 Failed to connect to Data Movement Gateway

Определяется при выпуске следующей основной версии
2024.5.22 15 октября 2024 г. В этом выпуске решена проблема в задаче репликации «Полная загрузка + CDC», когда для задачи CDC в поле Задача данных обновлена до отображалась метка времени полной загрузки, а не метка времени CDC. Определяется при выпуске следующей основной версии
2024.5.16 8 октября 2024 года
    • При использовании события redo 11.22 иногда в нескольких операциях INSERT отсутствуют операторы INSERT.
    • После обновления Oracle 19g до исправления за июль 2024 года операции UPDATE иногда не захватывались, и на экране появлялось следующее предупреждение:

      A compressed row cannot be parsed

  • Когда параметры задачи были настроены для создания схемы управляющей таблицы, задача завершалась со следующей ошибкой:

    Failed to delete directory

  • Когда было запланировано периодическое выполнение задачи, она иногда завершалось со следующей ошибкой:

    The task stopped abnormally

  • Задачи преобразования и хранения иногда оставались в очереди слишком долгое время.

  • Задача завершается ошибкой при использовании флага функции use_manipulation_pk_for_apply для репликации с сохранением изменений.

  • Продлите тайм-аут S3 до 6 часов, чтобы предотвратить проблемы, возникающие из-за длительных тайм-аутов, такие как потеря токена для загрузки файлов.

Определяется при выпуске следующей основной версии
2024.5.14 10 сентября 2024 г.
  • Пара ключей обеспечивает более надежную проверку подлинности, чем имя пользователя и пароль, для подключения к Snowflake с помощью учетных записей служб. Этот подход рекомендуется для таких рабочих нагрузок, как загрузка данных (репликация или задачи на выгрузку) и преобразования.

  • В предыдущих версиях обновление метаданных существующего набора данных или вновь добавленного набора данных иногда приводило к ошибке. Это улучшение гарантирует успешное получение метаданных из нескольких таблиц параллельно.

  • Если исходная таблица содержала столбец с типом данных DECIMAL, например DECIMAL (38, 20), подготовка задачи хранения в Google BigQuery завершалась следующей ошибкой (фрагмент):

    Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

    Проблема решена путем сопоставления исходного типа данных DECIMAL с типом данных DECIMAL в Google BigQuery.

  • После внесения изменений в существующее правило схемы в задаче данных возникнет следующая ошибка:

    QRI SQL error not implemented

  • При подготовке задачи промежуточного хранения, подключенной к источнику SAP Application, задача завершается успешно, но в файле журнала repsrv.log появляется следующее сообщение об ошибке:

    Invalid object name 'hk1./QTQVC/QRI'

Определяется при выпуске следующей основной версии
2024.5.7 6 августа 2024 г.
  • Раньше в случае изменения метаданных все таблицы отбрасывались и создавались заново, даже если такое изменение затрагивало не все таблицы. Теперь отбрасываются и повторно создаются только измененные таблицы, благодаря чему улучшается производительность.

  • Таблицы, созданные в исходной базе данных во время выполнения задачи данных репликации, соответствующей шаблону включения, теперь будут автоматически захватываться посредством CDC (захват изменений данных).

    • Раньше при чтении нескольких транзакций из Microsoft SQL Server (MS-CDC), в Qlik Talend Data Integration идентификатор и метка времени сохранялись только для первой транзакции. В цели это выглядело так, будто записи являются частью одной транзакции. Теперь Qlik Talend Data Integration сохраняет исходные идентификатор транзакции и метку времени для каждой отдельной записи. Это полезно для пользователей, которым требуется использовать заголовки столбцов «Идентификатор транзакции» и «Метка времени» в таблицах изменений.

    • Раньше биты в идентификаторе транзакций кодировались в обратном порядке. Начиная с этой версии биты будут кодироваться в правильном порядке. Потребители информации, которым требуется сохранить существующее поведение, могут соответствующим образом настроить внутренние параметры. Для получения дополнительной информации обратитесь в службу поддержки Qlik.

  • Qlik Talend Data Integration теперь поддерживает кэширование модульной проверки подлинности SHA-2 (caching_sha2_password) при работе с источниками или целями MySQL, локальными или облачными. В предыдущих версиях поддерживалась только встроенная модульная проверка подлинности (mysql_native_password).

  • Теперь в Amazon Redshift типы данных BYTES и BLOB можно сопоставить с VARBYTE вместо VARCHAR.

    • PostgreSQL 16.x

    • MySQL 8.1
    • IBM DB2 for z/OS 3.1
    • PostgreSQL 16.x
    • MySQL 8.1
    • Databricks 14.3 LTS
    • Драйвер SQL Server ODBC 18.3

Прекращена поддержка следующих версий баз данных:

  • Все версии и драйверы Oracle до Oracle 19.x
  • Microsoft SQL Server 2014
  • MySQL 5.7
  • PostgreSQL 11
  • IBM DB2 for LUW 10.5
  • IBM DB2 for z/OS: z/OS 2.3
  • Когда захваченное изменение документа кластера удалило все строки из всех захваченных таблиц, будет обнаружена отсутствующая операция DELETE и ненужные сообщения утверждений.

  • Обновление библиотеки проверки подлинности Microsoft Authentication Library for Java (MSAL4J) и Bouncy Castle до версий без известных уязвимостей.

    • Выполнение задач иногда завершается ошибкой при использовании внутреннего хранилища Snowflake.
    • Задача завершается ошибкой, когда в имени целевой схемы использовались японские символы Катакана.
  • При возобновлении задачи с источником Oracle она продолжает ожидать удаленный архивный журнал повтора вместо завершения с выводом соответствующего сообщения об ошибке.

Определяется при выпуске следующей основной версии
2023.11.23 26 июня 2024 года
  • Начиная с этой версии будет создаваться схема метаданных Snowflake (для промежуточных файлов), если она не существует.

  • После изменения правила Переименовать набор данных (которое объединяло имя таблицы с именем схемы) и добавления вида в задачу промежуточного хранения операция подготовки будет завершаться ошибкой:

    QRI SQL error not implemented.

  • Компонент java_file_factory обновлен до версии без известных уязвимостей.
  • Объект org.postgresql:postgresql обновлен до версии без известных уязвимостей.
  • При перемещении данных в SQL Server операция подготовки завершается ошибкой, когда имена индексов содержат более 128 символов. Проблема решена путем изменения логики с целью создания более коротких имен индексов.
  • При перемещении данных из SQL Server отсутствие имени столбца в определениях таблиц приведет к бесконечному циклу уведомлений в файле repsrv.log, при этом будет отображаться следующее сообщение:

    mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

6 февраля 2025 г.

2023.11.11 21 мая 2024 г.
  • Добавлена поддержка одновременного извлечения метаданных для нескольких таблиц.

  • Информация о мониторинге для задач промежуточного хранения и репликации теперь будет обновляться каждые 10 секунд (ранее интервал составлял 60 секунд), что обеспечивает более точное отображение их текущего состояния.

  • Япония теперь поддерживается в качестве региона клиента Qlik Cloud.

  • Интервал повторной попытки подключения между шлюзом данных и Qlik Cloud постоянно увеличивается, но никогда не сбрасывается (пока не перезапустится служба).
  • При перемещении данных из источника приложения SaaS таблицы иногда переходят в состояние ошибки во время перезагрузки.
  • Задачи с использованием источника MySQL иногда завершаются со следующей ошибкой во время CDC:

    Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

  • Ранее события аудита CDC регистрировались только для задач промежуточного хранения. Теперь они будут регистрироваться и для задач репликации.
  • При перемещении данных из SQL Server (MS-CDC) на запуск задач, содержащих много таблиц, иногда требуется несколько часов.
  • Когда исходная таблица содержит столбцы CLOB и значение «Ограничить размер столбца LOB» превышает 10240, репликация в Snowflake завершается следующей ошибкой:

    Invalid character length: 0

Определяется при выпуске следующей основной версии
2023.11.4 12 марта 2024 г.

Заказчики теперь могут устанавливать Data Movement Gateway на платформе Red Hat 9.x или любой соответствующей и совместимой сборки Linux.

Настройка Data Movement Gateway

Внесены изменения в команды для остановки, запуска и проверки состояния службы Data Movement Gateway.

Команды службы Data Movement Gateway

  • Тип данных BOOLEAN, который ранее сопоставлялся с VARCHAR(1) в Amazon Redshift, теперь будет сопоставляться с BOOLEAN.
  • Типы данных BYTES и BLOB, которые ранее сопоставлялись с VARCHAR(1) в Amazon Redshift, теперь будут сопоставляться с VARBINARY (длина).

В этом разделе перечислены новые поддерживаемые базы данных, версии баз данных и версии драйверов.

  • Новые поддерживаемые версии и редакции источников данных

    Теперь поддерживаются следующие версии источников данных:

    • Azure Database for MySQL ― Flexible Server (поддерживается через коннектор источника MySQL)
    • MariaDB 10.4 ― 10.11 (ранее 10.4 и 10.5)
  • Новые поддерживаемые целевые платформы данных и их редакции

    Теперь поддерживаются следующие версии целей данных:

    • Azure Database for MySQL ― Flexible Server (поддерживается через коннектор цели MySQL)
    • Databricks: Databricks 13.3 LTS и Serverless SQL Warehouse
  • Новая поддерживаемая версия драйвера SAP HANA

    Заказчики, использующие источник SAP HANA, которым требуется установить Data Movement Gateway на платформе Red Hat Linux 9.x, необходимо установить 64-разрядную версию драйвера SAP HANA ODBC 2.0.19 или более позднюю.

В этом разделе предоставляется информация о версиях баз данных, поддержка которых прекращена.

  • Прекращена поддержка следующих версий источников данных:

    • Oracle 11.x
    • SAP HANA 1.0
  • Когда при установке Data Movement Gateway не предоставляется пароль сервера, невозможно настроить URL клиента и прокси-сервера с использованием одной команды.
  • При перемещении данных из Salesforce (приложение SaaS) выводится большое количество избыточных предупреждений, что снижает производительность загрузки данных.
  • Если возникает ошибка при извлечении изменений для одной из таблиц источника данных приложения SaaS, эта таблица будет приостановлена и удалена из конвейера данных. Теперь при обнаружении ошибки задача будет предпринимать три попытки получить изменения, прежде чем приостанавливать таблицу.
Определяется при выпуске следующей основной версии
2023.5.16 9 января 2024 года

Мы продолжаем расширять список поддерживаемых целей для проекта «Репликация» в Qlik Cloud Data Integration. Теперь, помимо Amazon S3, можно выбрать Azure Data Lake Storage (ADLS) и Google Cloud Storage (GCS) для доставки данных в формате Parquet, JSON или CSV в озера данных.

  • Подключение к IBM DB2 for LUW завершалось ошибкой, если размер файлов, необходимых для подключения (таких как сертификат клиента SSL и файл хранилища ключей), превышал 4 КБ.

  • Установка драйвера DB2 завершается ошибкой, когда для этого используется утилита установки драйвера.

7 сентября 2024 г.

2023.5.15 12 декабря 2023 года

Microsoft Fabric присоединяется к постоянно расширяющемуся списку хранилищ данных, которые можно использовать в качестве целей в проектах конвейера данных.

Обновлена версия драйвера Snowflake в программе установки драйверов.

7 сентября 2024 г.

2023.5.10 31 октября 2023 г.

Частное подключение можно использовать для обеспечения безопасности трафика данных и соблюдения требований к трафику. Это упрощает управление сетью и повышает безопасность ВЧО (виртуальное частное облако), не требуя открывать порты встроенных брандмауэров, прокси-устройства и таблицы маршрутизации. Qlik Cloud Data Integration уже поддерживает частные подключения к целям конвейера данных Snowflake, Microsoft SQL Server и Amazon S3. Этот выпуск позволяет дополнительно использовать частные подключения при перемещении данных в Databricks, Microsoft Azure Synapse, Google BigQuery и Amazon Redshift.

  • Все источники данных на базе PostgreSQL — поддержка многодиапазонного типа данных: теперь следующие многодиапазонные типы данных поддерживаются во всех источниках данных на базе PostgreSQL (локальных и облачных).

    • INT4MULTIRANGE
    • INT8MULTIRANGE
    • NUMMULTIRANGE;
    • TSMULTIRANGE.
  • Источник данных AWS Aurora Cloud для PostgreSQL — поддержка ролей, отличных от суперпользователя: пользователю, указанному в коннекторе PostgreSQL, больше не требуется роль суперпользователя для перемещения данных из источника данных AWS Aurora Cloud для PostgreSQL. Это особенно полезно для организаций, где политики корпоративной безопасности не позволяют предоставлять роль суперпользователя непривилегированным пользователям.

Теперь заказчики, которые переносят данные из источника данных Microsoft Azure SQL (MS-CDC), могут использовать базу данных Geo Replica.

Qlik Cloud Data Integration теперь поддерживает чтение данных из зашифрованных табличных пространств Oracle и зашифрованных столбцов в процессе CDC.

Qlik Cloud Data Integration теперь поддерживает клиенты в регионах DE и UK.

В этом разделе перечислены базы данных и версии драйверов, для которых добавлена поддержка.

  • Новые поддерживаемые версии источников данных. Теперь поддерживаются следующие версии источников данных:

    • Microsoft SQL Server 2022
    • Oracle 21c
    • PostgreSQL 15.x
    • DB2 13.1 (при работе с IBM DB2 for z/OS)
    • IBM DB2 for iSeries 7.5
  • Новые поддерживаемые версии целевых платформ данных. Теперь поддерживаются следующие версии целей данных:

    • Databricks (Cloud Storage): Databricks 12.2 LTS и Databricks SQL Serverless
  • Версии драйвера. Теперь поддерживаются следующие версии драйверов ODBC:

    • IBM Data Server Client 11.5.8 для IBM DB2 for z/OZ и IBM DB2 for LUW
    • Драйвер Simba ODBC 3.0.0.1001 для Google Cloud BigQuery
    • Драйвер MySQL ODBC Unicode 8.0.32 (64-разрядный)

Клиенты, перемещающие данные в Microsoft SQL Server, должны обновить свой драйвер SQL Server ODBC до версии 18.x или более поздней. Обратите внимание, что в случае дальнейшего использования драйвера SQL Server ODBC версии 17.x могут возникать ошибки данных. Обновление драйвера можно выполнить с помощью служебной программы для установки драйверов или вручную. Инструкции см. в разделе Настройка драйвера.

В этом разделе предоставляется информация о версиях баз данных, поддержка которых прекращена.

  • Версии баз данных, для которых прекращена поддержка. Прекращена поддержка следующих версий источников данных:

    • PostgreSQL 10
    • MySQL 5.6
    • MariaDB 10.3
  • Версии целевых платформ данных, для которых прекращена поддержка. Прекращена поддержка следующих версий целей данных:

    • Databricks 9.1 LTS

7 сентября 2024 г.

2022.11.74

15 августа 2023 г.

Мы применяем подход «сначала облако», который обеспечивает быструю реализацию инноваций и принятие. Однако это не означает, что наша работа ориентирована только на облако. В рамках нашей постоянной работы по повышению перспективной ценности для наших заказчиков мы рады объявить о добавлении нового сценария применения при создании проектов данных — «Репликация». Новый сценарий применения «Репликация» дополняет существующую возможность создания конвейеров данных для удовлетворения всех потребностей, связанных с интеграцией данных, включая модернизацию хранилища данных.

Проект «Репликация» поддерживает репликацию данных в реальном времени из поддерживаемых источников данных в поддерживаемую цель.

Начиная с данного, самого последнего выпуска, первая цель, которая поддерживает репликацию данных в реальном времени, — это Microsoft SQL Server. В дополнение к поддержке локального сервера Microsoft SQL Server, также поддерживаются следующие облачные поставщики:

  • Локально
  • Amazon RDS
  • Google Cloud
  • Microsoft Azure (Microsoft Azure Managed Instance и Microsoft Azure Database)

Клиенты, перемещающие данные в Microsoft Azure Synapse Analytics, должны обновить свой драйвер SQL Server ODBC до версии 18.x или более поздней. Обратите внимание, что в случае дальнейшего использования драйвера SQL Server ODBC версии 17.x могут возникать ошибки данных. Обновление драйвера можно выполнить с помощью служебной программы для установки драйверов или вручную. Инструкции см. в разделе Настройка драйвера.

Добавлен новый параметр Загрузить данные из источника, который дает пользователям возможность считывать данные непосредственно из источника во время полной загрузки вместо использования кэшированных данных.

Дополнительные данные об этом параметре, а также примеры использования см. в разделе Параметры промежуточного хранения.

Data Movement Gateway 2022.11.74 включает обновленные сертификаты ЦС, необходимые для проверки подлинности клиента Qlik Cloud. Обновленные сертификаты ЦС также обеспечивают поддержку регионов Ирландии и Франкфурта. Таким образом, пользователи с клиентами Qlik Cloud в Ирландии или Франкфурте, которые хотят использовать интеграцию данных Qlik Cloud, должны выполнить обновление до этой версии.

Задачи промежуточного хранения данных из источника Oracle иногда завершаются ошибкой, когда таблица содержит неиспользуемые или неподдерживаемые столбцы или столбцы LOB, которые не были реплицированы.

31 апреля 2024 г.

2022.11.70

28 июня 2023 г.

В предыдущих версиях пользователям требовалось выполнять команду «source arep_login.sh» при установке клиентов SAP. Начиная с данной версии эта команда больше не нужна.

Эта версия включает обновленные сертификаты ЦС, необходимые для проверки подлинности клиента Qlik Cloud.

  • Когда задача репликации в Data Movement Gateway завершается ошибкой и автоматически восстанавливается, восстановленное состояние не передается в ресурс данных промежуточного хранения в Qlik Cloud.

  • Сквозное шифрование для Data Movement Gateway не включалось по умолчанию и контролировалось с помощью флагов времени выполнения.
15 сентября 2023 года

2022.11.63

2 мая 2023 года

Данная версия включает программу для установки драйверов, благодаря которой отпадает необходимость в ручной установке и настройке драйверов. Новая программа ускоряет процесс установки и значительно снижает вероятность ошибки пользователя. При запуске программы необходимый драйвер загружается автоматически, если это возможно, и устанавливается. Если драйвер нельзя загрузить автоматически (например, для загрузки драйверов DB2 необходимо войти в систему), то все, что нужно сделать, это загрузить драйвер, скопировать его в соответствующую папку на компьютере со шлюзом движения данных и запустить программу.

Пример использования программы для установки драйвера PostgreSQL см. в разделе Предварительные требования.

Коннектор Snowflake теперь поддерживает 4-байтовые символы эмодзи.

С помощью коннектора PostgreSQL теперь можно перемещать данные из базы данных Azure для PostgreSQL — гибкий сервер.

С помощью коннектора PostgreSQL теперь можно перемещать данные из Cloud SQL for PostgreSQL.

Данная версия поддерживает следующие новые версии источников данных:

  • PostgreSQL 14
  • DB2 (для IBM DB2 для z/OS) 12.1
  • IBM DB2 для z/OS 2.5

Databricks 11.3 LTS

Следующие версии источников данных больше не поддерживаются:

  • DB2 (для IBM DB2 для z/OS) 11
  • PostgreSQL 9.6
  • Microsoft SQL Server 2012
  • MariaDB 10.2

В данной версии устранены проблемы, приведенные ниже.

  • Источник данных Oracle: при остановке и возобновлении выполнения задачи иногда возникала ошибка «Не удалось установить положение потока в контексте».
  • Источник SAP Application: изменения не будут регистрироваться во время выполнения задачи промежуточного хранения.

15 сентября 2023 года

2022.5.13

19 октября 2022 года

Первоначальный выпуск

August2023

Удаление Data Movement Gateway

Чтобы удалить Data Movement Gateway, выполните следующую команду:

rpm -e <installation package name>

Пример:

rpm -e qlik-data-gateway-data-movement-2023.11-1.x86_64

Если имя пакета неизвестно, выполните:

rpm -qa | grep qlik

Примечание к предупреждениюВ результате удаления Data Movement Gateway все задачи, в данный момент использующие шлюз данных, завершатся ошибкой.

Помогла ли вам эта страница?

Если вы обнаружили какую-либо проблему на этой странице и с ее содержанием — будь то опечатка, пропущенный шаг или техническая ошибка, сообщите нам об этом, чтобы мы смогли ее исправить!