Обновление и удаление Шлюз движения данных

Устраненные проблемы

• Агрегация статистики частичной полной загрузки

• Databricks Lakehouse (Delta) / Databricks (облачное хранилище) – ODBC тестовое подключение завершается с ошибкой при использовании прокси (Имя пользователя/Пароль) на всех промежуточных средах

• Том Databricks Lakehouse (Delta) - Не удается удалить каталог из-за ошибки "CLOUD_FILE_NOT_FOUND"

• Для режима приложения, задача только полной загрузки должна включать DDL

• Целевое приложение SAP создает специальные символы в данных при загрузке в формат данных Snowflake

• Целевой объект S3 для полной загрузки подготавливает дубликаты записей в одном и том же JSON-файле или в разных JSON-файлах с помощью экстрактора SAP-источника

• Отсутствует соответствующее сообщение об ошибке, когда таблица приостановлена

• Задание OData для SAP ODP завершено, но полная загрузка не завершается

• Поддержка SQL Server 2012 (пропустить проверку Always Encrypted)

• Ограничить LOCAL INFILE только в режиме загрузки для целей MySQL/MemSQL (исправление LFI)

• Источник SAPDB – Некорректные данные (пропущенные данные, дубликаты) могут возникнуть для таблицы, когда другая таблица получает команду LOAD TABLE.

• Поддержка изменения длины типа данных в Databricks Delta

• BigQuery Потоковая передача – NULL-значения усекаются из полей типа данных STRING при конкатенации символов

• Поиск LOB в PostgreSQL завершается с ошибкой, если первичный ключ содержит TIMESTAMPTZ

• Когда вызов DBCC в отложенном конструкторе SQL Server возвращает восстанавливаемую ошибку, мы должны один раз переподключиться и повторить попытку из-за возможного тайм-аута

• Источник HANA, тип данных DECIMAL в целевой системе отбрасывает значения масштаба, вызывая несоответствие данных

• Источник SAP ODP в версии 2025.11, если использовалась опция INCLUDE для шаблона выбора таблиц. Полная загрузка занимает больше часов для завершения.

• SQL Server Постоянное шифрование: Таблица приостанавливается в любой задаче для любого целевого объекта из-за поврежденного CSV-файла

• Поддержка отката SAP HANA к точке сохранения

• Задача завершается неудачей из-за истечения срока действия токена при работе с аутентификацией субъекта-службы Azure Active Directory

• Не удалось запустить ресурс. Сообщение об ошибке должно показывать отсутствующую таблицу в журнале.

• Redshift - длина столбца не поддерживается

• Триггеры удаляются некорректно

• Операции обновления Oracle со сжатыми строками могут не включать значение столбца первичного ключа в After Image, что приводит к использованию значения NULL в целевом объекте

• Задача выгрузки — удаление и добавление одной и той же таблицы не создает таблицу _ct, если она была удалена вручную из целевой БД.

• Добавление индикатора UTC для значения столбца даты и времени в файлах Parquet S3

• Отсутствующие записи при отсоединении/повторном присоединении целевого объекта после ошибки поиска LOB

• DB2 Z/os находится в зеленой зоне, но без движения

• DataBricks Delta заменяет двоичный ноль в символьных строках пробелом

• alternateBackupFolderTransportCommand не сохраняет регистр

• Режим полной записи SAP HANA - триггеры могут завершиться сбоем, если QTREP/TRAN_LOG заполнится

• Не удается использовать параллельную загрузку на таблице SAP VBRP для Databricks Lakehouse (Delta)

• Databricks (Облачное хранилище) заменяет бинарный ноль в символьных строках пробелом

• SAPDB - новый случай: таблицы имеют значения NULL в первичном ключе для некоторых событий

• Сбой при поиске LOB, когда порядок столбцов в SAP и в серверных таблицах отличается

• Ошибка при преобразовании файла csv в parquet

• Используя Oracle Standby, пропущена последовательность оперативных журналов повтора, что привело к потере данных

• SAPDB - Сбой задачи при поиске LOB, когда необходимые метаданные еще не были прочитаны

• Oracle читает из оперативного журнала повтора, при этом повтор еще не подготовлен.

• Oracle 26ai + шифрование TDE - Неправильный разбор журнала REDO зашифрованных изменений CDC

• Добавить поддержку региона Канада

• Поддержка HTTPS-прокси подключения

• При использовании управляемого шлюза, пакет диагностики включает только последний журнал

• SQL Server (MS-CDC) source – Генерируется неверный запрос изменений для столбцов геометрии, когда настроено преобразование переименования столбца

• Источник Stitch – Файлы таблицы отслеживания изменений не закрыты, когда полная загрузка началась или завершилась

• Источник и целевая система Teradata – документация по настройке драйвера обновлена

• Безопасность – Обновлен netty-codec-http до 4.1.136.Окончательный

• Безопасность – Обновлен lz4-java до 1.11.1

• Безопасность – Обновлен jackson-core до 2.18.8

• Безопасность – Обновлен jetty-security до 12.1.10

• Безопасность – Обновленный Log4j в конечных точках источника SAP ODP и Salesforce

• Поддержка сообщения об ошибке для fullLoadPartial

• Целевая задача Snowflake показала множество ошибок: "Объект '<>."attrep_status"' не существует или не авторизован".

Устраненные проблемы

• Ошибка синтаксиса в управляющей таблице attrep_history на Databricks и Snowflake

  После обновления до Шлюз движения данных 2025.11.40, операции INSERT в управляющую таблицу attrep_history приводили к синтаксической ошибке.

• Источник Oracle

  Выбор таблицы get_table_list завершился с ошибкой с кодом ошибки Oracle '1406' при получении метаданных таблицы в средах Oracle Autonomous Database с включенным сжатием.

• Replicate сбой актива

  Улучшены сообщения об ошибках для отображения имени отсутствующей таблицы в журнале, когда задача промежуточного хранения не выполняется из-за отсутствия таблицы.

• Задача по заполнению — Таблица отслеживания изменений

  Удаление и повторное добавление набора данных в задаче промежуточного хранения больше не приводило к созданию таблицы отслеживания изменений, если она была удалена вручную из целевой базы данных.

• Источник SQL Server – Совместимость с Always Encrypted

  Добавлена поддержка SQL Server 2012 (с использованием внутреннего свойства) за счет пропуска проверки Always-Encrypted, которая не поддерживается в версиях SQL Server до 2016 года.

• SQL Server Всегда зашифровано

  Исправлена проблема, при которой таблицы переходили в состояние приостановки в любой задаче для любой цели из-за некорректной обработки CSV-файлов при использовании столбцов Always Encrypted.

• Безопасность

  Обновлена библиотека libcurl для устранения уязвимости CVE-2025-14819.

• Зарегистрированные данные с Именем базы данных, содержащим дефис

  Исправлена ошибка, при которой подготовка задачи зарегистрированных данных завершалась сбоем, если имена баз данных содержали дефисы.

• Snowflake цель - COPY INTO тайм-аут

  Исправлены ошибки тайм-аута, которые возникали во время шага "COPY INTO" при загрузке больших наборов данных в Snowflake.

Обновление драйвера Databricks

Для обеспечения совместимости с Databricks был обновлен драйвер для работы с коннектором Databricks.

Поддержка новых версий драйверов Snowflake и Google BigQuery

Данная версия поддерживает следующие версии драйверов:

• Snowflake: Драйвер Snowflake ODBC 3.15.0 (64-разрядный)

• Google BigQuery: Драйвер Simba ODBC версии 3.1.6.1026

Поддержка типа данных VARIANT в Databricks

Начиная с этой версии, следующие типы данных будут сопоставляться с типом данных VARIANT в Databricks:

• STRING

• WSTRING

• NCLOB

• CLOB

Устраненные проблемы

• IBM DB2 для источников iSeries:

  После возобновления задачи захват изменений из таблицы, которая содержала двоично-десятичные столбцы, приводил к сбою задачи.

• Источник PostgreSQL - Проблема CDC

  После возобновления задачи, которая не зафиксировала никаких изменений за минуту до ее остановки, никакие изменения не будут зафиксированы.

• SSH коннектор - Проблема с проверкой подключения

  Нажатие кнопки «Проверить подключение» в SSH-коннекторе не приводило к возврату ошибок, связанных с подключением по SSH, даже при наличии проблем с SSH.

• Целевая система Snowflake - проблема потоковой передачи Snowpipe

  При использовании Snowpipe Streaming в качестве метода загрузки, загрузка очень больших таблиц потребляла бы чрезмерный объем памяти, что в конечном итоге привело бы к сбою задачи и входу в цикл загрузки и сбоев.

• Microsoft SQL Server (на основе журнала) источник - Неизвестная ошибка

  При указании альтернативной папки резервного копирования, которая не содержала необходимых журналов, задача останавливалась с неясным сообщением вместо выдачи предупреждения и продолжения.

• Безопасность

  Компонент org.apache.logging.log4j:log4j-core был обновлен до версии 2.25.3 из-за известных уязвимостей в установленных версиях.

• Источник SAP ODP - проблема фильтрации

  Фильтр SAP ODP не передается в SAP, если он определен на экстракторе, работающем исключительно в режиме CDC.

• Источник SAP ODATA - проблема с фильтрацией

  Определение более одного диапазона фильтрации в одном столбце привело бы к сбою полной загрузки.

Расширенная поддержка параллельной загрузки

Функциональность параллельной загрузки теперь поддерживает целевую систему Databricks.

Параллельная репликация сегментов набора данных

Управляющая таблица истории DDL: Новые поддерживаемые целевые системы

Управляющая таблица attrep_ddl_history (история DDL) содержит историю изменений DDL, произошедших в источнике во время репликации в целевую систему.

Теперь поддерживаются следующие целевые конечные точки:

• Google BigQuery
• Google Cloud Alloy DB for PostgreSQL
• Google Cloud SQL для PostgreSQL
• PostgreSQL (локально)

История DDL

Усовершенствование столбца заголовка «[header]__change_mask»

При использовании Таблиц изменений в формате Parquet столбец заголовка [header]__change_mask теперь дополняет нули слева (вместо справа), чтобы соответствовать правилу little endian хранения байтов в обратном порядке.

Затронутые целевые конечные точки:

• Amazon S3

• Google Cloud Storage

Таблицы изменений

Новые поддерживаемые версии источников данных и целевых систем

• Целевая система Kafka: 4.0.x

• Источник IBM z/OS: 3.2

Новые поддерживаемые версии драйверов

• Драйвер Microsoft ODBC 18.5
• MySQL 8.4

Прекращение поддержки Microsoft Azure Database for MySQL и Microsoft Azure Database for PostgreSQL

Прекращена поддержка Microsoft Azure Database for MySQL и Microsoft Azure Database for PostgreSQL, поддержка которых официально прекращена Microsoft.

Устаревшие версии источников данных и целей

• Цель Databricks: 10.4 LTS и 11.3 LTS

• MariaDB источник и цель: 10.5

• PostgreSQL источник и цель: 13.x

• MySQL источник и цель: 8.1

Устаревшие версии драйверов

• Драйвер Microsoft ODBC 18.3

Устраненные проблемы

• Источник SAP (Application)

  Задачи, настроенные на использование источника SAP (Приложение) с серверным процессом, который генерировал самофиксирующиеся события, иногда завершались сбоем после перезагрузки таблицы.

• Целевая база данных Microsoft Azure SQL

  При однородной репликации в режиме «Транзакционное применение» или в режиме «Пакетное оптимизированное применение», который переключался в режим «один за другим», возникала ошибка «0 строк затронуто», если столбец DATETIME был частью первичного ключа в целевом объекте.

• Источник Oracle

  Задача Oracle завершается сбоем при полной загрузке, если таблица содержит столбец long raw, а максимальный размер LOB больше или равен 64 КБ.

• Источник экстрактора SAP — Цикл выгрузки из-за отмены CDC

  Во время перезагрузки таблицы длительные задания SAP CDC иногда отменяются. Это привело бы к восстановимому состоянию ошибки, при котором выгрузка так и не завершилась.

• Безопасность

  Следующие компоненты были обновлены из-за известных уязвимостей:

  • JRE обновлено с 17.0.17 до 17.0.18

  • org.eclispe.jetty:jetty-io обновлен с 11.0.25 до 11.0.26

  • org.apache.logging.log4j:log4j-core обновлен с 2.23.1 до 2.25.3

• SAP ODP

  Следующая ошибка возникала во время CDC, когда для таблицы был определен фильтр:

  Invalid value for parameter "I_DIMNAME"

• SAP Extractor

  Delta переставала работать, если задача была остановлена и возобновлена, пока одна из таблиц находилась в состоянии загрузки.

• Источник приложения SaaS (Отчеты Workday)

  • Во время полной загрузки при подключении к промежуточной папке S3 задача иногда завершалась сбоем со следующей ошибкой:

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    Проблема была решена путем реализации механизма многократных повторных попыток подключения к папке S3, когда первое подключение было безуспешным.

  • Привилегия CREATE SCHEMA требовалась даже в том случае, если схема уже существовала.

• Цель Microsoft SQL Server

  Потеря данных иногда происходила в столбцах LOB, а некорректная репликация данных происходила во время CDC, когда размер LOB был установлен на неограниченный в настройках задачи.

• Цель PostgreSQL

  Сбой при загрузке CSV-файла в таблицу Net Changes возвращал бы восстанавливаемую ошибку (что приводило к бесконечному циклу) вместо переключения на поочередное применение.

• Репликация MySQL-в-MySQL

  Когда схема источника и цели находились в одном и том же экземпляре MySQL, и репликация включала управляющую таблицу, задача иногда завершалась с ошибкой «Process crashed with signal 11».

• Источник PostgreSQL

  Во время CDC задача иногда считывала одни и те же записи WAL снова и снова, что приводило к отсутствию захваченных данных.

• Источник Microsoft SQL Server

  • Возникала ошибка при декомпрессии журнала транзакций, который содержал зашифрованные блоки. Проблема была решена путем оставления журнала сжатым в таких случаях.

  • Избыточные ошибки отображались при использовании альтернативной папки резервного копирования из-за ненужной проверки достоверности существующих файлов.

  • Задача иногда завершалась сбоем после вызова DBCC Lookup.

Поддержка целевого коннектора Kafka

Новая версия Шлюз движения данных представляет поддержку целевого коннектора Kafka. Легко реплицируйте свои данные из любого поддерживаемого источника непосредственно в локальную Kafka или Amazon MSK, обеспечивая надежные, отказоустойчивые передачи, которые поддерживают гибкость и информированность ваших приложений. Независимо от того, поддерживаете ли вы согласованность данных между системами или используете их для аналитики, этот коннектор обеспечивает репликацию с низкой задержкой при минимальной настройке.

Для получения дополнительной информации см. Kafka цель

Устраненные проблемы

• Сбой задачи репликации из источника MySQL в целевой объект MySQL

  При репликации набора данных из схемы MySQL в другую схему MySQL, работающую на том же экземпляре сервера MySQL, и включении таблицы управления в репликацию, CDC завершался сбоем со следующей ошибкой:

  Process crashed with signal 11

• Коннектор SAP Extractor: Таблица приостановлена при возобновлении задачи

  Возобновление задачи, когда таблица все еще находилась в состоянии полной загрузки, приводило к сбою задания извлечения и приостановке таблицы.

Устраненные проблемы

• Целевой объект PostgreSQL — некорректное поведение при ошибках

  Сбой при загрузке CSV-файла в таблицу Qlik Net Changes возвращал бы восстанавливаемую ошибку (что приводило к бесконечному циклу) вместо переключения на поочередное применение.

• Коннекторы Lite для SaaS-приложений

  Во время полной загрузки задачи иногда завершались сбоем со следующей ошибкой из-за активного отказа в подключении со стороны Amazon:

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  Проблема была решена путем реализации механизма повторных попыток с максимум тремя повторными попытками до возникновения ошибки.

• Источник Microsoft SQL Server — Сбой декомпрессии журнала

  Возникала ошибка при декомпрессии журнала транзакций, который содержал зашифрованные блоки. Проблема была решена путем оставления журнала сжатым в таких случаях.

• Источник Netsuite Suite Analytics — Ошибка возобновления CDC

  При возобновлении задачи CDC после внесения изменения в источник задача иногда завершалась сбоем со следующей ошибкой:

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Источник Microsoft SQL Server - Ложные ошибки

  Избыточные ошибки отображались при использовании альтернативной папки резервного копирования из-за ненужной проверки достоверности существующих файлов.

Поддержка первичных ключей Databricks

Начиная с этой версии, задача данных будет создавать первичный ключ в целевых таблицах Databricks Delta, используя ключевое слово RELY. Хотя Databricks не применяет ограничения на создание первичного ключа, предполагается, что первичные ключи с ключевым словом RELY не имеют дубликатов, поэтому они могут использоваться Databricks для оптимизации запросов.

Условия:

• Необходимо выбрать каталог в настройках коннектора.

• Databricks 14.2 или более поздней версии

Улучшения типов данных

• IBM DB2 для источников iSeries: Добавлена поддержка следующих типов данных: BINARY-DECIMAL и ZONED-DECIMAL

• Цель Databricks: В предыдущих версиях типу BYTES соответствовал тип STRING. Начиная с этой версии, этому типу будет соответствовать тип VARCHAR (длина в байтах)

• Цель Google Cloud BigQuery: подтип JSON теперь поддерживается целью в Google Cloud BigQuery

Источник на базе PostgreSQL: по умолчанию поддерживаются таблицы с разделением

Репликация (полная загрузка и CDC) разделов и подразделов (и подразделов еще более низкого уровня) из источников данных на базе PostgreSQL теперь поддерживается по умолчанию.

Цель Google Cloud BigQuery: поддержка обработки ошибок, связанных с усечением данных

Цель Google Cloud BigQuery теперь поддерживает обработку данных, связанных с усечением данных. Если возникает ошибка усечения данных, теперь можно выбрать: регистрировать запись в таблицу управления исключениями (по умолчанию), игнорировать запись, приостанавливать таблицу или останавливать задачу.

Новые поддерживаемые версии

Теперь поддерживаются следующие версии целевых и исходных конечных точек:

• MariaDB (локально) и Amazon RDS для MariaDB: 11.4

• MySQL (локально), MySQL Percona, Google Cloud SQL for MySQL, Amazon RDS for MySQL и Microsoft Azure Database for MySQL — Flexible Server: 8.4

• PostgreSQL (локально), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL и Microsoft Azure Database for PostgreSQL — Flexible Server: 17.x

Новые поддерживаемые версии драйверов

Теперь поддерживается IBM Data Server Client 11.5.9 для следующих источников DB2:

• IBM DB2 для LUW

• IBM DB2 для z/OS

Устаревшие версии источников и драйверов

• Устаревшие источники и цели: прекращена поддержка Microsoft Azure Database for MySQL и Microsoft Azure Database for PostgreSQL, поддержка которых официально прекращена Microsoft.

• Устаревшие версии источников: IBM DB2 for iSeries 7.2 больше не поддерживается в связи с прекращением поддержки производителем.

• Устаревшие версии драйверов: прекращена поддержка IBM Data Server Client 11.5.6.

Устраненные проблемы

• Поддержка HSTS

  HSTS не был включен на Шлюз данных Qlik — движение данных машине.

• Ошибка при установке Шлюз движения данных

  Установка Шлюз движения данных на Redhat версии 9.7 завершилась бы с ошибкой «OPENSSL_3.4.0 не найдено».

• Источник PostgreSQL 15.7 — Данные не были захвачены во время CDC

  Во время CDC задача продолжала считывать те же записи WAL и обрабатывать ту же позицию потока.

• SAP ODP — сбой CDC

  После того как задача CDC останавливалась во время изменений (например, из-за проблем с подключением), возобновление задачи иногда приводило к ошибкам длины строки.

• Отсутствуют журналы подключения к источнику

  Журналы подключения источника будут недоступны после выполнения задачи, использующей коннектор Preview или Lite.

• Мониторинг — Отсутствует информация

  На вкладке Монитор не отображалось сообщение об ошибке, когда таблица была приостановлена на этапе CDC задачи полной загрузки и CDC.

Поддержка создания витрин знаний на Databricks

Ранее витрины знаний поддерживались только на Snowflake. Теперь создавать и запускать витрины знаний, в том числе и файловые, можно на Databricks.

Устраненные проблемы:

Во время подготовки задачи периодически завершались со следующей ошибкой:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Устраненные проблемы:

Когда внутреннее свойство metadataschema было определено со специальными символами, задача завершалась с ошибкой во время CDC.

Устраненные проблемы:

• Оповещения, относящиеся к стадии производства, в регионе EU-Central-1

  При использовании Шлюз движения данных клиенты в регионе EU-Central-1 будут получать частые оповещения, связанные со стадией производства.

• Источник данных Jira: зависание таблицы

  При репликации данных из Jira таблица USERS при первом запуске зависала со статусом Queued, тогда как остальные таблицы успешно загружались.

• Проблема мониторинга

  Мониторинг CDC отсутствовал в мониторе задач.

• Ошибка репликации Oracle-to-Oracle

  Задачи репликации Oracle-to-Oracle иногда заканчивались ошибкой из-за неправильного расчета длины строки.

• Безопасность

  Серверный компонент Java (sqlite-jdbc) был обновлен до версии 3.47.0 в связи с известной уязвимостью в предыдущих версиях.

• Ошибка при запуске задачи

  Если задача, которая ранее не запускалась, запускалась в режиме продолжения, иногда возникала ошибка «Нет лицензии для базы данных».

• Ошибка при использовании коннектора Salesforce с новыми наборами данных

  Добавление новых наборов данных в задачу промежуточного хранения с источником Salesforce приводило к ошибке «Таблица не существует».

Решенные проблемы:

• Ошибка при подключении в задачах хранения

  Задачи хранения в некоторых случаях завершались с ошибкой подключения, требующей перезапуска шлюза.

• Ошибка при установке драйвера DB2

  Не удавалось установить драйвер DB2, если доступ к папке /tmp ограничен.

• Слишком большое время подключения к Qlik Cloud

  После обновления до Шлюз движения данных версии 2024.11.65 подключение к Qlik Cloud занимало слишком много времени. Проблема была решена после добавления токена отмены с временем ожидания в две минуты.

• После обновления сервис аварийно завершал работу

  После обновления Шлюз движения данных до версии 2024.11.67 служба external-data-provider, которая используется коннекторами Lite, аварийно заканчивала работу из-за ограничений доступа к папке /tmp.

• Исправления в системе безопасности

  Следующие компоненты были обновлены до более поздних версий из-за известных уязвимостей:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Витрины знаний — обмен файлами (SMB)

  При подключении к SMB возникала следующая ошибка:

  SmbConnection' object has no attribute 'docs_path'

• Ошибка при подготовке

  Повторная подготовка задачи иногда завершалась со следующей ошибкой (фрагмент ошибки приведен ниже), если после первой подготовки возникало изменение DDL:

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Ошибка при предварительном просмотре данных

  Предварительный просмотр данных не работал, если в качестве целевого сервера использовался Microsoft SQL Server.

Улучшения:

• Добавлена поддержка Qlik Cloud Government DoD

  В этой версии добавлена поддержка для использования Шлюз движения данных с Qlik Cloud Government DoD.

Улучшения:

• Управление условиями, при которых будет применяться политика обработки ошибок в таблице

  В настройках обработки ошибок в таблицах для задач репликации и промежуточного хранения добавлена новая настройка Число повторных попыток до генерации ошибки таблицы. Ранее, при возникновении ошибки в таблице таблица приостанавливалась или задание останавливалось (в зависимости от выбранного действия по обработке ошибок). Это иногда приводило к тому, что таблицы приостанавливались во время окна обслуживания приложений SaaS. Эта настройка определяет, сколько раз нужно повторно обработать таблицу, прежде чем будет применена политика обработки ошибок таблицы. Эта опция особенно полезна, если ваше приложение SaaS проходит периодическое обслуживание, так как вы можете переопределить количество повторных попыток по умолчанию (3), чтобы обслуживание могло быть завершено без запуска политики обработки ошибок таблицы.

  Обработка ошибок таблицы

  Примечание к информацииЭта опция будет отображаться только для задач, настроенных с коннектором приложения SaaS Lite или Standard.

• Предварительный просмотр данных теперь включает типы данных столбцов

  При предварительном просмотре преобразования SQL результаты теперь будут включать типы данных столбцов.

  Предварительный просмотр данных

Улучшения:

• Ротация и очистка файлов журналов репликации

  В машинах, выполняющих функцию шлюза, была внедрена политика ротации и очистки журналов репликации. Политика ротации — это механизм, который не дает файлам журналов разрастаться до слишком больших размеров, что позволяет избежать перегрузки системы и упрощает анализ. Политика очистки не разрешает накапливать файлы на диске и удаляет старые журналы, чтобы они не занимали место.

Решенные проблемы:

• Неверный статус таблицы после перезагрузки

  При перезагрузке приостановленной таблицы в некоторых случаях состояние таблицы отображалось неверно.

• Превышение времени выполнения операции Prepare

  При подготовке задачи промежуточного хранения иногда после добавления набора данных возникало превышение времени выполнения на этапе каталогизации ресурсов. Операция Prepare не выполнялась.

Это исправление устраняет следующие проблемы:

• Сбой подготовки при добавлении новой таблицы

  При добавлении новой таблицы в задачу репликации и нажатии Prepare иногда возникала следующая ошибка:

  Prepare data task failed: Object reference not set to an instance of an object.

• Устранены уязвимости

  Следующие Шлюз движения данных файлы установки были обновлены до версий без известных уязвимостей:
  

  • Java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

Это исправление устраняет следующие проблемы:

• Сбой подключения IBM DB2 for LUW

  После обновления до Шлюз движения данных 2024.11.54 подключение к базе данных завершалось сбоем.

• Ошибка при подготовке

  Подготовка задачи данных завершалась сбоем, если задача была настроена с источником приложения SaaS и целевым объектом Google BigQuery.

• Задачи с источниками на основе Java завершаются сбоем после обновления

  Задачи с источниками данных на основе Java завершались сбоем после обновления до Шлюз движения данных 2024.11.54.

• Целевой объект Snowflake: Задачи иногда переключались в режим «по одному» во время CDC

  Во время CDC, если столбец STRING в исходной таблице превышал 65536 байт, данные усекались в целевом столбце STRING. Затем задача переключалась в режим применения «по одному».

• Безопасность

  Файлы java_file_factory.jar и arep-google-cloud.jar были обновлены до версий без известных уязвимостей.

Это исправление устраняет следующие проблемы:

• Полная загрузка, игнорирующая настройки задачи

  Во время полной загрузки задача сбрасывала и создавала заново целевые таблицы, даже если для задачи был настроен параметр Если целевая таблица уже существует: игнорировать.

• Неправильный подсчет записей

  После остановки и подготовки существующей задачи репликации с режимом репликации, установленным на полную загрузку, и применения изменений, количество обработанных записей CDC увеличивается, что приводит к неправильному подсчету.

• Коннектор для источника JIRA

  Когда в существующую задачу добавлялся новый набор данных, задача завершалась со следующей ошибкой:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Ошибка тестового подключения

  Тестовое подключение к источникам SAP и SQL-источникам было неудачным.

• Обновить

  После обновления шлюза задачи иногда не возобновлялись, как ожидалось.

Поддержка Snowpipe Streaming

Ранее массовая загрузка была единственным доступным методом загрузки данных в Snowflake. Теперь для подключения или репликации данных в Snowflake клиенты могут использовать массовую загрузку или потоковую загрузку Snowpipe Streaming.

Преимущества Snowpipe Streaming по сравнению с массовой загрузкой: 

• Менее затратный метод: так как хранилище Snowflake не используется, операционные расходы должны быть значительно ниже (но не всегда, так как расходы также зависят от конкретного сценария использования).
• Меньше задержка: данные передаются напрямую в целевые таблицы (нет промежуточного хранения), поэтому репликация из источника данных в целевую систему должна происходить быстрее.

Устраненные проблемы

Это исправление устраняет следующие проблемы:

• Microsoft Fabric: Проблема с подключением

  При просмотре баз данных с помощью коннектора Microsoft Fabric возникает следующая ошибка (фрагмент):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  Проблема была вызвана несовместимостью с JDBC-драйвером 12.9.0-preview.jar, установленным с помощью утилиты установки драйвера. Теперь утилита обновлена так, чтобы устанавливался совместимый драйвер.

• Сбой перезагрузки сервера Java

  После обновления Шлюз движения данных или перезапуска службы Шлюз движения данных сервер Java (необходимый для работы коннекторов на базе Java, таких как SAP ODP) не запускается.

• Усиление безопасности

  • Сквозное шифрование может применяться нестрого к данным, которые передаются в контексте команд журналирования, возвращающих размещенные на стороне клиента журналы по запросу из центра активности «Администрирование» Qlik Cloud.

  • Версия SQLite, используемая в Шлюз движения данных, была обновлена из-за уязвимости в версии 3.42.0(CVE-2023-7104).

  • Файл com.h2database, используемый сайтом Шлюз движения данных, был обновлен из-за уязвимости в версии h2-2.1.212(CVE-2022-45868).

Этот патч устраняет следующую проблему, возникающую при перемещении данных из базы данных IBM DB2 for iSeries:

При использовании драйвера iSeries Access ODBC Driver 07.01.026 или более поздней версии задача может завершиться с ошибкой "Error parsing" во время выполнения CDC.

Стандартный

Поддержка OAuth для цели Databricks

Теперь можно установить подключение к цели Databricks, используя проверку подлинности OAuth ― метод, который Databricks рекомендует для проверки подлинности учетных записей. Проверка подлинности с помощью персонального токена доступа пока останется доступной для обеспечения обратной совместимости, но она считается менее безопасной, чем OAuth.

Устраненные проблемы

• Проблема с параллельной загрузкой

  Если набор данных был определен с параллельной загрузкой, а затем полную загрузку отключали, задача все равно выполняла полную загрузку этого набора данных даже в случае возобновления с метки времени.

2024.11.24

Исправление

Это исправление устраняет следующие проблемы:

• Источник SAP ODP: сбой при генерации метаданных

  Генерация метаданных завершится с ошибкой для таблиц, в названии которых есть точка (например, Обл.аморт.).

• Восстановление задач

  Задачи восстанавливались только один раз, если они завершались ошибкой во время полной загрузки из-за ошибок среды. Теперь они будут восстанавливаться столько раз, сколько настроено в разделе Параметры> Обработка ошибок > Ошибки среды > Максимальное количество повторных попыток.

Улучшения

Сертификация отказоустойчивости PostgreSQL

Работа с вторичной базой данных в случае переключения после отказа сертифицирована для следующих источников данных (доступ к которым можно получить с помощью коннектора источника PostgreSQL):

• Google Cloud SQL для PostgreSQL
• Amazon RDS для PostgreSQL
• PostgreSQL (локально)

См. также: Настройка переключения в случае отказа

Улучшение производительности MySQL

В предыдущих версиях при использовании конечной точки источника на базе MySQL в задаче, для которой настроен ограниченный размер LOB, Шлюз движения данных использовал поиск источника для чтения столбцов LOB. Теперь Шлюз движения данных будет считывать столбцы LOB непосредственно из файла binlog, тем самым повышая производительность.

Изменения в сопоставлении типов данных

Изменено сопоставление со столбцами LOB для целей Amazon Redshift и Snowflake.

Цель Amazon Redshift

• BLOB теперь сопоставляется с VARBYTE(16777216).
• NCLOB теперь сопоставляется с NVARCHAR(65535).
• CLOB теперь сопоставляется с NVARCHAR(65535).

Цель Snowflake

• BLOB теперь сопоставляется с BINARY (8388608)
• NCLOB теперь сопоставляется с NVARCHAR(16777216).
• CLOB теперь сопоставляется с NVARCHAR(16777216).

Новые поддерживаемые типы данных

• Источник IBM DB2 for LUW

  Теперь поддерживается тип данных BOOLEAN поддерживается (начиная с DB2 for LUW 11.5).

• Цель Google BigQuery

  Теперь поддерживается тип данных BIGNUMERIC.

Расширенная поддержка целей для управляющей таблицы DDL History

В предыдущих версиях Шлюз движения данных управляющая таблица DDL History поддерживалась только для целей Databricks и Microsoft Fabric. В этой версии добавлена поддержка следующих дополнительных коннекторов для целей:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

См. также: История DDL

Поддержка пользователей без роли суперпользователя в Google Cloud SQL for PostgreSQL

Начиная с этой версии можно указывать учетную запись без роли суперпользователя, при репликации из Google Cloud SQL for PostgreSQL.

См. также: Использование учетной записи без роли суперпользователя

Новые сертифицированные платформы и версии драйверов

• Цель Databricks

  15.4 LTS

• Источник и цель Oracle

  23ai

  Примечание к информации

  • Источник и цель Oracle 23ai поддерживаются только в Oracle Standard Edition.
  • Для источника Oracle 23ai поддерживается только шифрование TDE.

• Обновление драйвера Databricks

  При переносе данных в Databricks теперь требуется драйвер Simba Spark ODBC Driver 2.8.2 или более поздней версии. Клиентам следует либо запустить утилиту установки драйвера, либо установить драйвер вручную.

  Смотрите также: Настройка драйвера

Дата окончания поддержки

Прекращена поддержка следующих версий баз данных:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Устранение проблем

• Коннектор SAP HANA (база данных): невозможность создания таблицы __CT

  Когда настраивали режим репликации Сохранить изменения, а таблица содержала столбец .INCLUDE, задача не могла создать таблицу __CT в цели.

• Задача промежуточного хранения в озере: ошибка, вводящая в заблуждение

  Задача завершалась ошибкой «Нет лицензии для базы данных», когда истекал срок действия секретного ключа Azure Data Lake Storage.

• Коннектор цели Amazon S3: старые файлы не удалялись

  Старые файлы не удалялись при запуске новой задачи. Это может привести к тому, что задание не будет выполнено из-за дубликатов записей или из-за несовпадающих записей.

   

• Источник SAP HANA (база данных): ошибка подключения из-за таблицы, определенной пользователем

  Ошибка «функция не поддерживается: невозможно выбрать тип, определенный пользователем» появлялась при выборе определенной пользователем таблицы для репликации. Проблема устранена путем исключения из определенных пользователем таблиц (которые не поддерживаются) из селектора таблиц.

• Коннектор цели Microsoft Fabric: ошибка восстановления

  Сообщение «Ошибка преобразования» иногда появлялось после восстановления, когда возникала ошибка подключения во время CDC.

• Коннектор цели Databricks: ошибка CDC при работе без поддержки LOB

  При отключенной поддержке LOB захват данных изменений (CDC) завершался ошибкой «недостаточно столбцов данных», когда предпринималась попытка вставить изменение в таблицу __ct. Эта ошибка появляется при работе в режиме «Сохранить изменения», который является единственным доступным режимом для задач промежуточного хранения.

• Источник MySQL и цель Snowflake: ошибка CDC

  Во время CDC при репликации столбца NOT NULL с типом данных mediumtext задача иногда завершалась следующей ошибкой:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Коннектор цели Microsoft Fabric: ошибка усечения

  При вставке столбца VARCHAR появлялась следующая ошибка усечения:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  Проблема решена путем умножения столбца VARCHAR в Microsoft Fabric.

Новые признаки

Поддержка настройки дополнительных свойств подключений ODBC и JDBC добавлена в целевой коннектор Snowflake

Для получения дополнительной информации см. раздел Дополнительные свойства подключения.

Устраненные проблемы

• Метаданные не обновляются

  Когда первичный ключ изменялся в источнике, целевые метаданные не обновлялись после перезагрузки.

• Цель Amazon S3

  При создании и выполнении новой задачи файлы, оставшиеся от предыдущих задач, не удалялись из папки таблиц.

• Источник SAP HANA

  Попытка подключения к источнику SAP HANA с помощью CDC на основе журнала приводила к следующей ошибке:

  Cannot select user-defined type

2024.5.41

Исправление

Это исправление устраняет следующие проблемы:

• Amazon S3, Google Cloud Storage и Qlik Cloud targets: заключение в кавычки значений пустых строк

  Пустые строки теперь будут заключаться в кавычки в CSV-файле, чтобы отличить их от значений NULL.

• Цель Databricks: несоответствие данных

  В определенных сценариях может возникнуть несоответствие между исходными и целевыми данными.

• Цель Databricks: сбой CDC, вызванный отключением поддержки LOB

  Отключение поддержки LOB в задаче промежуточного хранения приведет к тому, что CDC завершится следующей ошибкой (фрагмент):

  Cannot write to '<name>__ct', not enough data columns

• Цель Microsoft Fabric: ошибка подключения, приводящая к сбою CDC

  Применение изменений к цели в результате восстановления после ошибки подключения иногда приводило к ошибке преобразования (Conversion failed).

2024.5.35

Исправление

Это исправление устраняет следующие проблемы:

• Цель Microsoft Fabric: проблема с преобразованием типов данных

  Во время выполнения задачи сохранения тип данных NVARCHAR(3500) неправильно преобразовывался в VARCHAR(10500) вместо VARCHAR(8000) (максимально допустимый), что приводило к ошибке.

• Источник IBM DB2 for LUW: поддержка типа данных GRAPHIC с кодовой страницей 941 (японский)

  Если исходная таблица содержала тип данных GRAPHIC с кодовой страницей 941 (японский), возникала следующая ошибка (фрагмент):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Исправление

После обновления имени пользователя и пароля в коннекторе источника Workday Reports и последующей перезагрузки задачи возникала ошибка «Недопустимое имя пользователя или пароль», даже если учетные данные были верными. Теперь эта проблема решена.

Исправление

Это исправление устраняет следующие проблемы:

Безопасность

Версия Oracle Java Standard Edition 17.0.8, поставляемая с Шлюз движения данных, имеет несколько известных уязвимостей. Это исправление заменяет 17.0.8 на 17.0.12, тем самым устраняя проблемы.

Источник Salesforce

Во время CDC для каждого изменения в связанную таблицу _ct добавлялось несколько операций INSERT (вместо одной). Это значительно увеличивало количество записей в таблице _ct.

Стандартный

Исправление

Это исправление устраняет следующие проблемы:

Уязвимость драйвера Snowflake JDBC

14 августа 2024 года компания Snowflake выпустила сообщение о безопасности драйверов Snowflake JDBC >= 3.2.6 и <= 3.19.1, некоторые из которых использовались с предыдущими версиями Шлюз движения данных. Уязвимость была исправлена в версии Snowflake JDBC Driver 3.20, которая теперь устанавливается служебной программой для установки драйвера. Существующие пользователи должны обновить драйвер при первой же возможности, выполнив процедуру Обновление драйвера, описанную в разделе Настройка драйвера.

Источник Oracle

• При использовании события redo 11.22 пропадали операторы INSERT (ВСТАВИТЬ), когда обрабатывалось несколько операторов INSERT на сжатой странице, которая не была сжата до выполнения операций INSERT.
• В редких случаях неправильный разбор событий DELETE в записи журнала повтора приводил к появлению предупреждения «Событие DELETE в журнале повтора содержит неизвестную структуру», в котором далее описаны различные проблемы.

Источник SAP Extractor

Инструкции в файле YAML были обновлены в соответствии с правильной версией коннектора SAP Java.

Цель Snowflake

При использовании шлюза Шлюз движения данных для подключения к цели Snowflake через прокси-сервер соединение не устанавливается из-за следующей ошибки:

500 Failed to connect to Data Movement Gateway

Исправление

Исправление

Устранение проблем

• Источник Oracle

  • При использовании события redo 11.22 иногда в нескольких операциях INSERT отсутствуют операторы INSERT.

  • После обновления Oracle 19g до исправления за июль 2024 года операции UPDATE иногда не захватывались, и на экране появлялось следующее предупреждение:

    A compressed row cannot be parsed

• Цель Snowflake

  Когда параметры задачи были настроены для создания схемы управляющей таблицы, задача завершалась со следующей ошибкой:

  Failed to delete directory

• Запланированный CDC

  Когда было запланировано периодическое выполнение задачи, она иногда завершалось со следующей ошибкой:

  The task stopped abnormally

• Зависание задач преобразования и хранения данных

  Задачи преобразования и хранения иногда оставались в очереди слишком долгое время.

• Диспетчер метаданных

  Задача завершается ошибкой при использовании флага функции use_manipulation_pk_for_apply для репликации с сохранением изменений.

• Длительный тайм-аут, приводящий к проблемам с источниками приложений SaaS

  Продлите тайм-аут S3 до 6 часов, чтобы предотвратить проблемы, возникающие из-за длительных тайм-аутов, такие как потеря токена для загрузки файлов.

Стандартный

Улучшения

• Добавлена проверка подлинности с помощью пары ключей для целевого коннектора Snowflake

  Пара ключей обеспечивает более надежную проверку подлинности, чем имя пользователя и пароль, для подключения к Snowflake с помощью учетных записей служб. Этот подход рекомендуется для таких рабочих нагрузок, как загрузка данных (репликация или задачи на выгрузку) и преобразования.

• Поддержка параллельного получения метаданных из нескольких таблиц

  В предыдущих версиях обновление метаданных существующего набора данных или вновь добавленного набора данных иногда приводило к ошибке. Это улучшение гарантирует успешное получение метаданных из нескольких таблиц параллельно.

Устранение проблем

• Тип данных DECIMAL неправильно сопоставлялся с типом данных STRING в Google BigQuery

  Если исходная таблица содержала столбец с типом данных DECIMAL, например DECIMAL (38, 20), подготовка задачи хранения в Google BigQuery завершалась следующей ошибкой (фрагмент):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  Проблема решена путем сопоставления исходного типа данных DECIMAL с типом данных DECIMAL в Google BigQuery.

• Ошибка правила схемы

  После внесения изменений в существующее правило схемы в задаче данных возникнет следующая ошибка:

  QRI SQL error not implemented

• Отсутствует таблица /QTQVC/QRI в транспорте SAP

  При подготовке задачи промежуточного хранения, подключенной к источнику SAP Application, задача завершается успешно, но в файле журнала repsrv.log появляется следующее сообщение об ошибке:

  Invalid object name 'hk1./QTQVC/QRI'

Стандартный

Улучшения

• Поддержка изменения метаданных в задачах репликации и промежуточного хранения в озере данных без отбрасывания и повторного создания всех таблиц

  Раньше в случае изменения метаданных все таблицы отбрасывались и создавались заново, даже если такое изменение затрагивало не все таблицы. Теперь отбрасываются и повторно создаются только измененные таблицы, благодаря чему улучшается производительность.

• Поддержка автоматической загрузки новых таблиц в задачах репликации

  Таблицы, созданные в исходной базе данных во время выполнения задачи данных репликации, соответствующей шаблону включения, теперь будут автоматически захватываться посредством CDC (захват изменений данных).

• Улучшения источника Microsoft SQL Server (MS-CDC)

  • Сохранение метки времени и идентификатора транзакции

    Раньше при чтении нескольких транзакций из Microsoft SQL Server (MS-CDC), в Qlik Talend Data Integration идентификатор и метка времени сохранялись только для первой транзакции. В цели это выглядело так, будто записи являются частью одной транзакции. Теперь Qlik Talend Data Integration сохраняет исходные идентификатор транзакции и метку времени для каждой отдельной записи. Это полезно для пользователей, которым требуется использовать заголовки столбцов «Идентификатор транзакции» и «Метка времени» в таблицах изменений.

  • Порядок битов в идентификаторе транзакции

    Раньше биты в идентификаторе транзакций кодировались в обратном порядке. Начиная с этой версии биты будут кодироваться в правильном порядке. Потребители информации, которым требуется сохранить существующее поведение, могут соответствующим образом настроить внутренние параметры. Для получения дополнительной информации обратитесь в службу поддержки Qlik.

• Поддержка кэширования модульной проверки подлинности SHA-2 с использованием MySQL

  Qlik Talend Data Integration теперь поддерживает кэширование модульной проверки подлинности SHA-2 (caching_sha2_password) при работе с источниками или целями MySQL, локальными или облачными. В предыдущих версиях поддерживалась только встроенная модульная проверка подлинности (mysql_native_password).

• Изменения в сопоставлении типов данных Amazon Redshift

  Теперь в Amazon Redshift типы данных BYTES и BLOB можно сопоставить с VARBYTE вместо VARCHAR.

Вновь сертифицированные платформы, конечные точки и версии

• Источники данных

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• Целевые платформы

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Драйверы

  • Драйвер SQL Server ODBC 18.3

Дата окончания поддержки

Прекращена поддержка следующих версий баз данных:

• Все версии и драйверы Oracle до Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

Устранение проблем

• Источник SAP (Application)

  Когда захваченное изменение документа кластера удалило все строки из всех захваченных таблиц, будет обнаружена отсутствующая операция DELETE и ненужные сообщения утверждений.

• Уязвимости системы безопасности

  Обновление библиотеки проверки подлинности Microsoft Authentication Library for Java (MSAL4J) и Bouncy Castle до версий без известных уязвимостей.

• Цель Snowflake

  • Выполнение задач иногда завершается ошибкой при использовании внутреннего хранилища Snowflake.
  • Задача завершается ошибкой, когда в имени целевой схемы использовались японские символы Катакана.

• Источник Oracle

  При возобновлении задачи с источником Oracle она продолжает ожидать удаленный архивный журнал повтора вместо завершения с выводом соответствующего сообщения об ошибке.

Стандартный

Улучшения

• Схема метаданных Snowflake

  Начиная с этой версии будет создаваться схема метаданных Snowflake (для промежуточных файлов), если она не существует.

Устранение проблем

• После изменения правила Переименовать набор данных (которое объединяло имя таблицы с именем схемы) и добавления вида в задачу промежуточного хранения операция подготовки будет завершаться ошибкой:

  QRI SQL error not implemented.

• Компонент java_file_factory обновлен до версии без известных уязвимостей.
• Объект org.postgresql:postgresql обновлен до версии без известных уязвимостей.
• При перемещении данных в SQL Server операция подготовки завершается ошибкой, когда имена индексов содержат более 128 символов. Проблема решена путем изменения логики с целью создания более коротких имен индексов.

• При перемещении данных из SQL Server отсутствие имени столбца в определениях таблиц приведет к бесконечному циклу уведомлений в файле repsrv.log, при этом будет отображаться следующее сообщение:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Стандартный

Улучшения

• Параллельное извлечение метаданных

  Добавлена поддержка одновременного извлечения метаданных для нескольких таблиц.

• Улучшена производительность мониторинга

  Информация о мониторинге для задач промежуточного хранения и репликации теперь будет обновляться каждые 10 секунд (ранее интервал составлял 60 секунд), что обеспечивает более точное отображение их текущего состояния.

• Новый поддерживаемый регион

  Япония теперь поддерживается в качестве региона клиента Qlik Cloud.

Устранение проблем

• Интервал повторной попытки подключения между шлюзом данных и Qlik Cloud постоянно увеличивается, но никогда не сбрасывается (пока не перезапустится служба).
• При перемещении данных из источника приложения SaaS таблицы иногда переходят в состояние ошибки во время перезагрузки.

• Задачи с использованием источника MySQL иногда завершаются со следующей ошибкой во время CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Ранее события аудита CDC регистрировались только для задач промежуточного хранения. Теперь они будут регистрироваться и для задач репликации.
• При перемещении данных из SQL Server (MS-CDC) на запуск задач, содержащих много таблиц, иногда требуется несколько часов.

• Когда исходная таблица содержит столбцы CLOB и значение «Ограничить размер столбца LOB» превышает 10240, репликация в Snowflake завершается следующей ошибкой:

  Invalid character length: 0

Стандартный

Поддержка установки Шлюз движения данных в ОС Red Hat 9.x

Заказчики теперь могут устанавливать Шлюз движения данных на платформе Red Hat 9.x или любой соответствующей и совместимой сборки Linux.

Настройка Шлюз движения данных

Изменения в командах службы Шлюз движения данных

Внесены изменения в команды для остановки, запуска и проверки состояния службы Шлюз движения данных.

Команды службы Шлюз движения данных

Изменения в сопоставлении типов данных Amazon Redshift

• Тип данных BOOLEAN, который ранее сопоставлялся с VARCHAR(1) в Amazon Redshift, теперь будет сопоставляться с BOOLEAN.
• Типы данных BYTES и BLOB, которые ранее сопоставлялись с VARCHAR(1) в Amazon Redshift, теперь будут сопоставляться с VARBINARY (длина).

Добавлена поддержка новых баз данных, версий баз данных и версий драйверов

В этом разделе перечислены новые поддерживаемые базы данных, версии баз данных и версии драйверов.

• Новые поддерживаемые версии и редакции источников данных

  Теперь поддерживаются следующие версии источников данных:

  • Azure Database for MySQL ― Flexible Server (поддерживается через коннектор источника MySQL)
  • MariaDB 10.4 ― 10.11 (ранее 10.4 и 10.5)

• Новые поддерживаемые целевые платформы данных и их редакции

  Теперь поддерживаются следующие версии целей данных:

  • Azure Database for MySQL ― Flexible Server (поддерживается через коннектор цели MySQL)
  • Databricks: Databricks 13.3 LTS и Serverless SQL Warehouse

• Новая поддерживаемая версия драйвера SAP HANA

  Заказчики, использующие источник SAP HANA, которым требуется установить Шлюз движения данных на платформе Red Hat Linux 9.x, необходимо установить 64-разрядную версию драйвера SAP HANA ODBC 2.0.19 или более позднюю.

Версии баз данных, для которых прекращена поддержка

В этом разделе предоставляется информация о версиях баз данных, поддержка которых прекращена.

• Прекращена поддержка следующих версий источников данных:

  • Oracle 11.x
  • SAP HANA 1.0

Устранение проблем

• Когда при установке Шлюз движения данных не предоставляется пароль сервера, невозможно настроить URL клиента и прокси-сервера с использованием одной команды.
• При перемещении данных из Salesforce (приложение SaaS) выводится большое количество избыточных предупреждений, что снижает производительность загрузки данных.
• Если возникает ошибка при извлечении изменений для одной из таблиц источника данных приложения SaaS, эта таблица будет приостановлена и удалена из конвейера данных. Теперь при обнаружении ошибки задача будет предпринимать три попытки получить изменения, прежде чем приостанавливать таблицу.

Стандартный

Новые цели-озера данных для проектов репликации

Мы продолжаем расширять список поддерживаемых целей для проекта «Репликация» в Qlik Cloud Data Integration. Теперь, помимо Amazon S3, можно выбрать Azure Data Lake Storage (ADLS) и Google Cloud Storage (GCS) для доставки данных в формате Parquet, JSON или CSV в озера данных.

Решенные проблемы:

• Исходный коннектор IBM DB2 for LUW

  Подключение к IBM DB2 for LUW завершалось ошибкой, если размер файлов, необходимых для подключения (таких как сертификат клиента SSL и файл хранилища ключей), превышал 4 КБ.

• Драйвер исходных коннекторов IBM DB2 for LUW и IBM DB2 for z/OS

  Установка драйвера DB2 завершается ошибкой, когда для этого используется утилита установки драйвера.

Стандартный

Поддержка Microsoft Fabric в качестве цели конвейера данных

Microsoft Fabric присоединяется к постоянно расширяющемуся списку хранилищ данных, которые можно использовать в качестве целей в проектах конвейера данных.

Решенные проблемы:

Обновлена версия драйвера Snowflake в программе установки драйверов.

Стандартный

Расширенная поддержка частных подключений

Частное подключение можно использовать для обеспечения безопасности трафика данных и соблюдения требований к трафику. Это упрощает управление сетью и повышает безопасность ВЧО (виртуальное частное облако), не требуя открывать порты встроенных брандмауэров, прокси-устройства и таблицы маршрутизации. Qlik Cloud Data Integration уже поддерживает частные подключения к целям конвейера данных Snowflake, Microsoft SQL Server и Amazon S3. Этот выпуск позволяет дополнительно использовать частные подключения при перемещении данных в Databricks, Microsoft Azure Synapse, Google BigQuery и Amazon Redshift.

Источники данных на базе PostgreSQL

• Все источники данных на базе PostgreSQL — поддержка многодиапазонного типа данных: теперь следующие многодиапазонные типы данных поддерживаются во всех источниках данных на базе PostgreSQL (локальных и облачных).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE;
  • TSMULTIRANGE.

• Источник данных AWS Aurora Cloud для PostgreSQL — поддержка ролей, отличных от суперпользователя: пользователю, указанному в коннекторе PostgreSQL, больше не требуется роль суперпользователя для перемещения данных из источника данных AWS Aurora Cloud для PostgreSQL. Это особенно полезно для организаций, где политики корпоративной безопасности не позволяют предоставлять роль суперпользователя непривилегированным пользователям.

Источник данных Microsoft Azure SQL (MS-CDC): Поддержка георепликации

Теперь заказчики, которые переносят данные из источника данных Microsoft Azure SQL (MS-CDC), могут использовать базу данных Geo Replica.

Источник данных Oracle: Поддержка HSM (Hardware Security Module, аппаратный модуль безопасности)

Qlik Cloud Data Integration теперь поддерживает чтение данных из зашифрованных табличных пространств Oracle и зашифрованных столбцов в процессе CDC.

Поддержка новых регионов

Qlik Cloud Data Integration теперь поддерживает клиенты в регионах DE и UK.

Новые поддерживаемые версии и стороннее программное обеспечение

В этом разделе перечислены базы данных и версии драйверов, для которых добавлена поддержка.

• Новые поддерживаемые версии источников данных. Теперь поддерживаются следующие версии источников данных:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (при работе с IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Новые поддерживаемые версии целевых платформ данных. Теперь поддерживаются следующие версии целей данных:

  • Databricks (Cloud Storage): Databricks 12.2 LTS и Databricks SQL Serverless

• Версии драйвера. Теперь поддерживаются следующие версии драйверов ODBC:

  • IBM Data Server Client 11.5.8 для IBM DB2 for z/OZ и IBM DB2 for LUW
  • Драйвер Simba ODBC 3.0.0.1001 для Google Cloud BigQuery
  • Драйвер MySQL ODBC Unicode 8.0.32 (64-разрядный)

Драйвер Microsoft SQL Server — требуется обновление

Клиенты, перемещающие данные в Microsoft SQL Server, должны обновить свой драйвер SQL Server ODBC до версии 18.x или более поздней. Обратите внимание, что в случае дальнейшего использования драйвера SQL Server ODBC версии 17.x могут возникать ошибки данных. Обновление драйвера можно выполнить с помощью служебной программы для установки драйверов или вручную. Инструкции см. в разделе Настройка драйвера.

Версии баз данных, для которых прекращена поддержка

В этом разделе предоставляется информация о версиях баз данных, поддержка которых прекращена.

• Версии баз данных, для которых прекращена поддержка. Прекращена поддержка следующих версий источников данных:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Версии целевых платформ данных, для которых прекращена поддержка. Прекращена поддержка следующих версий целей данных:

  • Databricks 9.1 LTS

2022.11.74

Стандартный

15 августа 2023 г.

Поддержка репликации

Мы применяем подход «сначала облако», который обеспечивает быструю реализацию инноваций и принятие. Однако это не означает, что наша работа ориентирована только на облако. В рамках нашей постоянной работы по повышению перспективной ценности для наших заказчиков мы рады объявить о добавлении нового сценария применения при создании проектов данных — «Репликация». Новый сценарий применения «Репликация» дополняет существующую возможность создания конвейеров данных для удовлетворения всех потребностей, связанных с интеграцией данных, включая модернизацию хранилища данных.

Проект «Репликация» поддерживает репликацию данных в реальном времени из поддерживаемых источников данных в поддерживаемую цель.

Начиная с данного, самого последнего выпуска, первая цель, которая поддерживает репликацию данных в реальном времени, — это Microsoft SQL Server. В дополнение к поддержке локального сервера Microsoft SQL Server, также поддерживаются следующие облачные поставщики:

• Локально
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure Managed Instance и Microsoft Azure Database)

Цель Microsoft Azure Synapse Analytics — требуется обновление драйвера

Клиенты, перемещающие данные в Microsoft Azure Synapse Analytics, должны обновить свой драйвер SQL Server ODBC до версии 18.x или более поздней. Обратите внимание, что в случае дальнейшего использования драйвера SQL Server ODBC версии 17.x могут возникать ошибки данных. Обновление драйвера можно выполнить с помощью служебной программы для установки драйверов или вручную. Инструкции см. в разделе Настройка драйвера.

Новый параметр «Загрузить данные из источника» для источников приложений SaaS

Добавлен новый параметр Загрузить данные из источника, который дает пользователям возможность считывать данные непосредственно из источника во время полной загрузки вместо использования кэшированных данных.

Дополнительные данные об этом параметре, а также примеры использования см. в разделе Параметры промежуточного хранения.

Обновлены сертификаты ЦС

Шлюз движения данных 2022.11.74 включает обновленные сертификаты ЦС, необходимые для проверки подлинности клиента Qlik Cloud. Обновленные сертификаты ЦС также обеспечивают поддержку регионов Ирландии и Франкфурта. Таким образом, пользователи с клиентами Qlik Cloud в Ирландии или Франкфурте, которые хотят использовать интеграцию данных Qlik Cloud, должны выполнить обновление до этой версии.

Решенная проблема

Задачи промежуточного хранения данных из источника Oracle иногда завершаются ошибкой, когда таблица содержит неиспользуемые или неподдерживаемые столбцы или столбцы LOB, которые не были реплицированы.

2022.11.70

Стандартный

28 июня 2023 г.

Улучшена служебная программа установки драйверов для клиентов SAP

В предыдущих версиях пользователям требовалось выполнять команду «source arep_login.sh» при установке клиентов SAP. Начиная с данной версии эта команда больше не нужна.

Обновлены сертификаты ЦС

Эта версия включает обновленные сертификаты ЦС, необходимые для проверки подлинности клиента Qlik Cloud.

Устраненные проблемы

• Когда задача репликации в Шлюз движения данных завершается ошибкой и автоматически восстанавливается, восстановленное состояние не передается в ресурс данных промежуточного хранения в Qlik Cloud.

• Сквозное шифрование для Шлюз движения данных не включалось по умолчанию и контролировалось с помощью флагов времени выполнения.

2022.11.63

Стандартный

2 мая 2023 года

Программа для установки драйверов

Данная версия включает программу для установки драйверов, благодаря которой отпадает необходимость в ручной установке и настройке драйверов. Новая программа ускоряет процесс установки и значительно снижает вероятность ошибки пользователя. При запуске программы необходимый драйвер загружается автоматически, если это возможно, и устанавливается. Если драйвер нельзя загрузить автоматически (например, для загрузки драйверов DB2 необходимо войти в систему), то все, что нужно сделать, это загрузить драйвер, скопировать его в соответствующую папку на компьютере со шлюзом движения данных и запустить программу.

Пример использования программы для установки драйвера PostgreSQL см. в разделе Предварительные требования.

Облачная платформа данных Snowflake

Коннектор Snowflake теперь поддерживает 4-байтовые символы эмодзи.

Поддержка Базы данных Azure для PostgreSQL — гибкий сервер в качестве источника данных

С помощью коннектора PostgreSQL теперь можно перемещать данные из базы данных Azure для PostgreSQL — гибкий сервер.

Поддержка Cloud SQL for PostgreSQL в качестве источника данных

С помощью коннектора PostgreSQL теперь можно перемещать данные из Cloud SQL for PostgreSQL.

Новые поддерживаемые версии источников данных

Данная версия поддерживает следующие новые версии источников данных:

• PostgreSQL 14
• DB2 (для IBM DB2 для z/OS) 12.1
• IBM DB2 для z/OS 2.5

Новые поддерживаемые версии облачных платформ данных

Databricks 11.3 LTS

Прекращение поддержки следующих версий источников данных

Следующие версии источников данных больше не поддерживаются:

• DB2 (для IBM DB2 для z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Устранение проблем

В данной версии устранены проблемы, приведенные ниже.

• Источник данных Oracle: при остановке и возобновлении выполнения задачи иногда возникала ошибка «Не удалось установить положение потока в контексте».
• Источник SAP Application: изменения не будут регистрироваться во время выполнения задачи промежуточного хранения.