升级和卸载 数据移动网关

扩展并行加载支持

并行加载功能现在支持 Databricks 目标。

并行复制数据集片段

DDL 历史控制表：新增支持的目标

attrep_ddl_history（DDL 历史）控制表包含在复制到目标期间源上发生的 DDL 更改历史记录。

现在支持以下目标端点：

• Google BigQuery
• Google Cloud Alloy DB for PostgreSQL
• Google Cloud SQL for PostgreSQL
• PostgreSQL（内部）

DDL 历史

对“[header]__change_mask”标头列的增强

当使用 Parquet 格式的更改表格时，标头列 [header]__change_mask 现在将零填充到左侧（而不是右侧），以符合小端字节序规则，即以反向顺序存储字节。

受影响的目标端点：

• Amazon S3

• Google Cloud Storage

更改表格

新支持的数据源和目标版本

• Kafka 目标：4.0.x

• IBM z/OS 源：3.2

新支持的驱动程序版本

• Microsoft ODBC 驱动程序 18.5
• MySQL 8.4

Microsoft Azure Database for MySQL 和 Microsoft Azure Database for PostgreSQL 终止支持

已停止支持 Microsoft Azure Database for MySQL 及 Microsoft Azure Database for PostgreSQL（已由 Microsoft 正式停用）。

终止生命周期的数据源及目标版本

• Databricks 目标：10.4 LTS 和 11.3 LTS

• MariaDB 源和目标：10.5

• PostgreSQL 源和目标：13.x

• MySQL 源和目标: 8.1

终止生命周期的驱动程序版本

• Microsoft ODBC 驱动程序 18.3

已解决的问题

• SAP (Application) 数据源

  配置为使用 SAP (Application) 数据源且后端进程生成自提交事件的任务，有时会在重新加载表后崩溃。

• Microsoft Azure SQL Database 目标

  在同构复制中，当在“事务应用”模式或切换到逐个模式的“批处理优化应用”模式下工作时，如果 DATETIME 列是目标上主键的一部分，则会发生“0 行受影响”错误。

• Oracle 数据源

  当表包含 long raw 列且最大 lob 大小大于或等于 64K 时，Oracle 任务在满负载中崩溃。

• SAP Extractor 数据源 - 由于 CDC 取消导致的卸载循环

  在表重新加载期间，长时间运行的 SAP CDC 作业有时会被取消。这将导致可恢复的错误状态，其中卸载永远无法完成。

• 安全性

  由于已知漏洞，升级了以下组件：

  • JRE 从 17.0.17 升级到 17.0.18

  • org.eclispe.jetty:jetty-io 从 11.0.25 升级到 11.0.26

  • org.apache.logging.log4j:log4j-core 从 2.23.1 升级到 2.25.3

• SAP ODP

  为表定义过滤器时，在 CDC 期间会发生以下错误：

  Invalid value for parameter "I_DIMNAME"

• SAP extractor

  如果在其中一个表处于加载状态时停止并恢复任务，增量将停止工作。

• SaaS 应用程序数据源 (Workday Reports)

  • 在满负载期间，连接到 S3 暂存文件夹时，任务有时会失败并出现以下错误：

    Unable to execute HTTP request: Connect to s3.amazonaws.com:443

    通过实施在首次连接不成功时连接到 S3 文件夹的多重重试机制，解决了该问题。

  • 即使架构已经存在，也需要 CREATE SCHEMA 权限。

• Microsoft SQL Server 目标

  当在任务设置中将 LOB 大小设置为无限制时，LOB 列中有时会发生数据丢失，并且在 CDC 期间会发生不正确的数据复制。

• PostgreSQL 目标

  无法将 CSV 文件加载到 Net Changes 表中将返回可恢复的错误（导致无限循环），而不是切换到逐个应用。

• MySQL 到 MySQL 复制

  当源和目标的架构位于同一个 MySQL 实例中并且复制包含控制表时，任务有时会崩溃并出现“Process crashed with signal 11”错误。

• PostgreSQL 数据源

  在 CDC 期间，任务有时会一遍又一遍地读取相同的 WAL 条目，导致没有捕获到任何数据。

• Microsoft SQL Server 数据源

  • 解压缩包含加密块的事务日志时会发生错误。通过在这些情况下保持日志压缩解决了该问题。

  • 由于对现有文件进行了不必要的验证检查，使用备用备份文件夹时会显示冗余错误。

  • 任务有时会在调用 DBCC Lookup 后崩溃。

支持 Kafka 目标连接器

新版本的 数据移动网关 引入了对 Kafka 目标连接器的支持。轻松将数据从任何支持的数据源直接复制到本地 Kafka 或 Amazon MSK，确保可靠、容错的传输，使您的应用程序保持敏捷和消息灵通。无论您是维护跨系统的数据一致性还是为分析提供动力，此连接器都能以最少的设置提供低延迟复制。

有关更多信息，请参阅 Kafka 目标

已解决的问题

• MySQL 数据源到 MySQL 目标复制任务失败

  将数据集从 MySQL 架构复制到在同一 MySQL 服务器实例上运行的不同 MySQL 架构，并在复制中包含控制表时，CDC 将失败并出现以下错误：

  Process crashed with signal 11

• SAP Extractor 连接器：恢复任务时表被挂起

  在表仍处于满负载状态时恢复任务会导致提取作业失败并且表被挂起。

已解决的问题

• PostgreSQL 目标 - 错误的错误行为

  无法将 CSV 文件加载到 Qlik Net Changes 表中将返回可恢复的错误（导致无限循环），而不是切换到逐个应用。

• SaaS 应用程序 Lite 连接器

  在满负载期间，由于连接被 Amazon 主动拒绝，任务有时会失败并出现以下错误：

  Unable to execute HTTP request: Connect to s3.amazonaws.com:443

  通过实施在发生错误之前最多重试三次的重试机制，解决了该问题。

• Microsoft SQL Server 数据源 - 日志解压缩失败

  解压缩包含加密块的事务日志时会发生错误。通过在这些情况下保持日志压缩解决了该问题。

• Netsuite Suite Analytics 数据源 - CDC 恢复错误

  在对数据源进行更改后恢复 CDC 任务时，任务有时会失败并出现以下错误：

  Cannot change column title from type VARCHAR(8000) to VARCHAR(3) because reducing the byte-length of a varchar is not supported.

• Microsoft SQL Server 数据源 - 错误警报

  由于对现有文件进行了不必要的验证检查，使用备用备份文件夹时会显示冗余错误。

Databricks 主键支持

从该版本开始，数据任务将在目标 Databricks Delta 表上创建主键，使用的是 RELY 关键字。尽管 Databricks 不强制执行主键约束，但带有 RELY 关键字的主键被假定没有重复项，因此可以由 Databricks 用于查询优化。

要求：

• 您必须在连接器设置中选择一个目录

• Databricks 14.2 或者更高版本

数据类型增强

• IBM DB2 for iSeries 源：已添加对以下数据类型的支持：BINARY-DECIMAL 及 ZONED-DECIMAL

• Databricks 目标：在以前的版本中，BYTES 映射至 STRING。从该版本开始，它将映射至 VARCHAR（以字节计长度）

• Google Cloud BigQuery 目标：Google Cloud BigQuery 目标当前支持 JSON 子类型

基于 PostgreSQL 的源：分区表现在已默认支持

现已默认支持来自基于 PostgreSQL 的数据源的分区及子分区（以及子子分区）的复制（完全加载和 CDC）。

Google Cloud BigQuery 目标：支持数据截断错误处理

Google Cloud BigQuery 目标现在支持数据截断错误处理。如果发生数据截断错误，您现在可选择是将记录记录到异常控制表（默认）、忽略该记录、暂停该表还是停止任务。

新支持的版本

现在支持以下源和目标端点版本：

• MariaDB（内部部署）和 Amazon RDS for MariaDB：11.4

• MySQL（内部部署）、MySQL Percona、Google Cloud SQL for MySQL、Amazon RDS for MySQL 和 Microsoft Azure Database for MySQL - Flexible Server：8.4

• PostgreSQL（内部部署）、Google Cloud SQL for PostgreSQL、Amazon RDS for PostgreSQL 和 Microsoft Azure Database for PostgreSQL - Flexible Server：17.x

新支持的驱动程序版本

IBM Data Server Client 11.5.9 当前支持以下 DB2 源：

• IBM DB2 for LUW

• IBM DB2 for z/OS

终止生命周期的源及驱动程序版本

• 终止生命周期的源和目标：已停止支持 Microsoft Azure Database for MySQL 及 Microsoft Azure Database for PostgreSQL（已由 Microsoft 正式停用）。

• 生命周期终止源版本：已停止支持已经终止生命周期的 IBM DB2 for iSeries 7.2。

• 生命周期结束的驱动程序版本：对 IBM Data Server Client 11.5.6 的支持已经终止。

已解决的问题

• HSTS 支持

  未在 Qlik 数据网关 - 数据移动 计算机上启用 HSTS。

• 数据移动网关 安装失败

  在 Redhat 版本 9.7 上安装 数据移动网关 会失败并出现“OPENSSL_3.4.0 not found”错误。

• PostgreSQL 15.7 数据源 - CDC 期间未捕获任何数据

  在 CDC 期间，任务会不断读取相同的 WAL 条目并处理相同的数据流位置。

• SAP ODP - CDC 失败

  在更改期间停止 CDC 任务（例如由于连接问题）后，恢复任务有时会导致行长度错误。

• 缺少数据源连接日志

  运行使用 Preview 或 Lite 连接器的任务后，数据源连接日志将不可用。

• 监控 - 缺少信息

  当表在满负载和 CDC 任务的 CDC 阶段被挂起时，监控选项卡不会显示错误消息。

支持在 Databricks 上创建知识集市

以前，知识集市仅在 Snowflake 上受支持。现在，您也可在 Databricks 上创建和运行知识集市和基于文件的知识集市。

已解决的问题：

任务在准备期间会间歇性失败并出现以下错误：

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

已解决的问题：

当使用特殊字符定义 metadataschema Internal 属性时，任务将在 CDC 期间失败。

已解决的问题：

• EU-Central-1 区域的生产警报

  EU-Central-1 区域的客户在使用 数据移动网关 时会遇到频繁的生产警报。

• Jira 数据源：卡住的表

  从 Jira 复制数据时，USERS 表在首次运行时会卡在排队状态，而其他表则成功完成加载。

• 监控问题

  任务监视器中缺少 CDC 监控。

• Oracle 到 Oracle 复制失败

  由于字符串长度计算不正确，Oracle 到 Oracle 复制任务有时会失败。

• 安全性

  由于早期版本的已知漏洞，Java 服务器组件 (sqlite-jdbc) 已更新至 3.47.0。

• 启动任务时出错

  当任务首次在恢复模式下启动而之前未启动时，有时会发生“No license for database”错误。

• 新数据集的 Salesforce 连接器问题

  将新数据集添加到具有 Salesforce 数据源的登陆任务会导致任务失败并出现“'Table doesn't exist'”错误。

已解决的问题：

• 存储任务连接错误

  存储任务将失败并出现连接错误，需要重新启动网关。

• DB2 驱动程序安装失败

  当对 /tmp 文件夹的访问受到限制时，DB2 驱动程序安装将失败。

• 连接到 Qlik Cloud 的时间过长

  升级到 数据移动网关 版本 2024.11.65 后，连接到 Qlik Cloud 需要花费过长的时间。通过添加具有两分钟超时的取消令牌解决了该问题。

• 升级后服务崩溃

  升级到 数据移动网关 2024.11.67 后，由于对 /tmp 文件夹的访问限制，external-data-provider 服务（由 Lite 连接器使用）崩溃。

• 安全修复

  由于已知漏洞，以下组件已替换为更高版本：

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• 知识集市 - 文件共享 (SMB)

  连接到 SMB 将失败并出现以下错误：

  SmbConnection' object has no attribute 'docs_path'

• 准备失败

  第二次准备任务并且在第一次准备之后发生 DDL 时，准备操作有时会失败并出现以下错误（摘录）：

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• 预览数据问题

  使用 Microsoft SQL Server 目标时，预览数据选项将不起作用。

增强功能：

• 添加了对 Qlik Cloud Government DoD 的支持

  此版本添加了对将 数据移动网关 与 Qlik Cloud Government DoD 结合使用的支持。

增强功能：

• 控制何时触发列表错误处理策略

  复制和登陆任务的表错误处理设置中添加了一个新的返回表错误之前的重试次数设置。以前，当发生表错误时，表将被挂起或任务将被停止（根据所选的错误处理操作）。这有时会导致在 SaaS 应用程序维护窗口期间表被挂起。使用此新选项，现在可以确定在触发表错误处理策略之前应重试表的次数。如果您的 SaaS 应用程序进行定期维护，此选项特别有用，因为您可以覆盖默认重试次数 (3)，以便在不触发表错误处理策略的情况下完成维护。

  表错误处理

  信息注释此选项仅针对配置了 Lite 或 Standard SaaS 应用程序连接器的任务显示。

• 预览数据现在包含列数据类型

  预览 SQL 转换时，结果现在将包含列数据类型。

  预览数据

增强功能：

• 复制日志文件的翻转和清除

  已为网关计算机上的复制日志文件实施了翻转和清除策略。翻转策略将防止日志文件变得太大（这会影响性能和分析），而清除策略将防止它们累积并消耗过多的磁盘空间。

已解决的问题：

• 重新加载后表状态不正确

  重新加载挂起的表时，监视器中显示的表状态有时不正确。

• 准备操作超时

  在添加数据集后准备登陆任务时，有时会在编目资产阶段发生超时。这将导致准备操作失败。

此补丁解决了以下问题：

• 添加新表时准备失败

  将新表添加到复制任务并单击准备时，有时会发生以下错误：

  Prepare data task failed: Object reference not set to an instance of an object.

• 已解决的漏洞

  以下 数据移动网关 设置文件已更新为没有已知漏洞的版本：
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

此补丁解决了以下问题：

• IBM DB2 for LUW 连接失败

  升级到 数据移动网关 2024.11.54 后，连接到数据库将失败。

• 准备失败

  当任务配置了 SaaS 应用程序数据源和 Google BigQuery 目标时，准备数据任务将失败。

• 具有基于 Java 的数据源的任务在升级后失败

  升级到 数据移动网关 2024.11.54 后，具有基于 Java 的数据源的任务将失败。

• Snowflake 目标：任务在 CDC 期间有时会切换到“逐个”模式

  在 CDC 期间，当源表中的 STRING 列超过 65536 字节时，数据将在目标 STRING 列中被截断。然后任务将切换到“逐个”应用模式。

• 安全性

  java_file_factory.jar 和 arep-google-cloud.jar 文件已升级为没有已知漏洞的版本。

此补丁解决了以下问题：

• 满负载忽略任务设置

  在满负载期间，任务将删除并重新创建目标表，即使任务配置为如果目标表已存在：忽略

• 记录计数不正确

  在停止并准备将复制模式设置为满负载并应用更改的现有复制任务后，CDC 处理的记录计数将增加，导致计数不正确。

• JIRA 数据源连接器

  将新数据集添加到现有任务时，任务将失败并出现以下错误：

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• 测试连接失败

  测试与 SAP 和基于 SQL 的数据源的连接将失败。

• 升级

  升级网关后，任务有时无法按预期恢复。

支持 Snowpipe Streaming

之前，批量加载是将数据加载到 Snowflake 的唯一方法。现在，客户可以使用批量加载或 Snowpipe 数据流将数据上载或复制到 Snowflake。

与批量加载相比，Snowpipe 数据流的优势包括 ：

• 成本更低：由于 Snowpipe 数据流不使用 Snowflake 仓库，因此运营成本应大大降低，但这取决于您的具体使用情况。
• 减少延迟： 由于数据直接流向目标数据表（而不是通过暂存），因此从数据源复制到目标数据表的速度应该更快。

已解决的问题

此补丁解决了以下问题：

• Microsoft Fabric：连接问题

  使用 Microsoft Fabric 连接器浏览数据库时，会发生以下错误（摘录）：

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  该问题是由与 12.9.0-preview.jar JDBC 驱动程序不兼容引起的，该驱动程序是随驱动程序设置实用程序一起安装的。该实用程序现已更新以安装兼容的驱动程序。

• Java 服务器重新启动失败

  升级 数据移动网关 或重新启动 数据移动网关 服务后，Java 服务器（基于 Java 的连接器（如 SAP ODP）所需）将无法启动。

• 安全强化

  • 对于从 Qlik Cloud 管理活动中心返回客户托管日志的日志记录命令有效负载，不会相互强制执行端到端加密。

  • 数据移动网关 使用的 SQLite 版本由于版本 3.42.0 的漏洞而升级 (CVE-2023-7104)。

  • 数据移动网关 使用的 com.h2database 文件由于版本 h2-2.1.212 的漏洞而升级 (CVE-2022-45868)。

此补丁解决了从 IBM DB2 for iSeries 数据源移动数据时的以下问题：

使用 iSeries Access ODBC 驱动程序 07.01.026 或更高版本时，任务将在 CDC 期间失败并出现“Error parsing”错误。

标准

Databricks 目标的 OAuth 支持

客户现在可以使用 OAuth 身份验证连接到 Databricks 目标，这是 Databricks 推荐的帐户身份验证方法。个人访问令牌身份验证目前仍将保持向后兼容性，但被认为不如 OAuth 安全。

已解决的问题

• 并行加载问题

  当数据集定义为并行加载并随后禁用满负载时，任务仍将执行该数据集的满负载，即使它是从时间戳恢复的。

2024.11.24

补丁

此补丁解决了以下问题：

• SAP ODP 数据源：元数据生成失败

  名称中带有句点的表（例如 Deprec.Area）的元数据生成将无法完成。

• 任务恢复

  如果任务在满负载期间由于环境问题而失败，则它们只会恢复一次。现在，它们将恢复在设置 > 错误处理 > 环境错误 > 最大重试次数中配置的次数。

增强

PostgreSQL 故障转移证书

在故障转移后使用辅助数据库进行操作，该数据库已通过以下数据源的认证（所有数据源都可以使用 PostgreSQL 源连接器访问）：

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL（内部）

另请参阅：设置故障转移

改进 MySQL 性能

在以前的版本中，在配置了有限 LOB 大小的任务中使用基于 MySQL 的源端点时，数据移动网关 会使用源查找来读取 LOB 列。现在，数据移动网关 将直接从 binlog 中读取 LOB 列，从而提高性能。

数据类型映射更改

LOB 列映射已针对 Amazon Redshift 和 Snowflake 目标更改。

Amazon Redshift 目标

• BLOB 现在映射到 VARBYTE(16777216)
• NCLOB 现在映射到 NVARCHAR(65535)
• CLOB 现在映射到 NVARCHAR(65535)

Snowflake 目标

• BLOB 现已映射至 BINARY (8388608)
• NCLOB 现在映射到 NVARCHAR(16777216)
• CLOB 现在映射到 VARCHAR(16777216)

新支持的 数据类型

• IBM DB2 for LUW 源

  现在支持 BOOLEAN 数据类型（来自 DB2 for LUW 11.5）。

• Google BigQuery 目标

  现在支持 BIGNUMERIC 数据类型。

扩展了对 DDL 历史控制表的目标支持

在以前的 数据移动网关 版本中，DDL 历史记录控制表仅支持 Databricks 和 Microsoft Fabric 目标。该版本新增了对以下额外目标连接器的支持：

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

另请参见：DDL 历史记录

支持对 Google Cloud SQL for PostgreSQL 使用非超级用户

从该版本开始，在从 Google Cloud SQL for PostgreSQL 复制时，现在可以指定一个非超级用户帐户。

另请参阅：使用无超级用户角色的帐户

新认证的平台和驱动程序版本

• Databricks 目标

  15.4 LTS

• Oracle 源和目标

  23ai

  信息注释

  • Oracle 23ai 源和目标仅通过 Oracle Standard Edition 认证。
  • Oracle 23ai 源仅支持 TDE 加密。

• Databricks 驱动程序更新

  将数据移至 Databricks 时，现在需要 Simba Spark ODBC 驱动程序 2.8.2 或更高版本。客户应运行驱动程序安装实用程序或手动安装驱动程序。

  另请参见：驱动程序设置

支持结束

已停止支持以下数据库版本：

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

已解决的问题

• SAP HANA（数据库）连接器：创建 __CT 表失败

  当复制模式设置为存储更改时，表中包含 .INCLUDE 列，该任务将无法在目标上创建 __CT 表。

• 湖登陆任务：误导性错误

  任务将失败，当 Azure Data Lake Storage 密钥过期时，将显示“数据库无许可证”错误。

• Amazon S3 目标连接器：旧文件无法删除

  运行新任务时，旧文件不会被删除。这可能会导致任务因记录重复或记录不匹配而失败。

   

• SAP HANA（数据库）源：由于用户定义的表导致连接失败

  在选择用户定义的表进行复制时，会出现“特性不受支持：无法选择用户定义的类型”错误。通过从表选择器中排除用户定义的表（不受支持），该问题得到了解决。

• Microsoft Fabric 目标连接器：恢复错误

  从 CDC 期间发生的连接错误中恢复后，有时会出现“转换失败”错误。

• Databricks 目标连接器：在不支持 LOB 的情况下工作时 CDC 故障

  当禁用 LOB 支持时，如果 CDC 尝试将更改插入 __ct 表，会出现 "数据列不够 "的故障。在 "存储更改 "模式下工作时会出现此错误，这是登陆任务的唯一可用模式。

• MySQL 源到 Snowflake 目标：CDC 故障

  在 CDC 期间，当复制具有 mediumtext 数据类型的“NOT NULL”列时，任务有时会失败，并出现以下错误：

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Microsoft Fabric 目标连接器：截断错误

  插入 VARCHAR 列时，会出现以下截断错误：

  String or binary data would be truncated while reading column of type 'VARCHAR'

  该问题可通过在 Microsoft Fabric 中乘以 VARCHAR 列来解决。

新功能

已向 Snowflake 目标连接器添加了对指定其他 ODBC 和 JDBC 连接属性的支持。

有关更多信息，请参阅 其他连接属性。

已解决的问题

• 元数据未更新

  在数据源上更改主键时，重新加载后目标元数据不会更新。

• Amazon S3 目标

  创建并运行新任务时，以前任务遗留的文件不会从表位置中删除。

• SAP HANA 数据源

  尝试使用基于日志的 CDC 连接到 SAP HANA 数据源将导致以下错误：

  Cannot select user-defined type

2024.5.41

补丁

此补丁解决了以下问题：

• Amazon S3、Google Cloud Storage 和 Qlik Cloud 目标：引用空字符串值

  现在将在 CSV 文件中引用空字符串，以将它们与 NULL 值区分开来。

• Databricks 目标：数据不匹配

  在某些情况下会发生源数据和目标数据不匹配的情况。

• Databricks 目标：禁用 LOB 支持导致 CDC 失败

  在登陆任务中禁用 LOB 支持会导致 CDC 失败并出现以下错误（摘录）：

  Cannot write to '<name>__ct', not enough data columns

• Microsoft Fabric 目标：连接错误导致 CDC 失败

  从连接错误中恢复后将更改应用于目标有时会失败并出现“Conversion failed”错误。

2024.5.35

补丁

此补丁解决了以下问题：

• Microsoft Fabric 目标：数据类型转换问题

  在存储任务期间，数据类型 NVARCHAR(3500) 将被错误地转换为 VARCHAR(10500) 而不是 VARCHAR(8000)（允许的最大值），从而导致错误。

• IBM DB2 for LUW 数据源：支持代码页为 941（日语）的 GRAPHIC 数据类型

  当源表包含代码页为 941（日语）的 GRAPHIC 数据类型时，会发生以下错误（摘录）：

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

补丁

在 Workday Reports 数据源连接器中更新用户名和密码然后重新加载任务后，即使凭据正确，也会发生“Invalid username or password”错误。此问题现已解决。

补丁

此补丁解决了以下问题：

安全性

随 数据移动网关 一起提供的 Oracle Java Standard Edition 17.0.8 存在几个已知漏洞。此补丁将 17.0.8 替换为 17.0.12，从而解决了这些问题。

Salesforce 数据源

在 CDC 期间，对于每次更改，都会将多个 INSERT 操作添加到关联的 _ct 表中（而不是仅一个）。这将显着增加 _ct 表中的记录数。

标准

补丁

此补丁解决了以下问题：

Snowflake JDBC 驱动程序漏洞

2024 年 8 月 14 日，Snowflake 发布了安全公告，内容涉及 Snowflake JDBC 驱动程序 >= 3.2.6 且 <= 3.19.1，其中一些驱动程序与早期版本的 数据移动网关 一起使用。该漏洞已在 Snowflake JDBC 驱动程序 3.20 中修补，该版本现在随驱动程序安装实用程序一起安装。现有客户应尽早按照 Driver setup 中描述的更新驱动程序过程升级其驱动程序。

Oracle 数据源

• 使用重做事件 11.22 时，在处理在 INSERT 之前未压缩的压缩页面上的多个 INSERT 时，会发生丢失 INSERT 的情况。
• 在极少数情况下，重做日志记录中 DELETE 事件的错误解析会生成“The Redo Log DELETE event contains an unknown structure”警告，随后会出现各种问题。

SAP Extractor 数据源

YAML 文件中的说明已更新，以反映正确版本的 SAP Java 连接器。

Snowflake 目标

使用 数据移动网关 通过代理连接到 Snowflake 目标时，连接将失败并出现以下错误：

500 Failed to connect to Data Movement Gateway

补丁

补丁

已解决的问题

• Oracle 源

  • 使用重做事件 11.22 时，在多个插入操作中有时会出现缺失的插入。

  • 在将 Oracle 19g 升级到 July 2024 修补程序后，更新操作有时不会被捕获，并且会显示以下警告：

    A compressed row cannot be parsed

• Snowflake 目标

  当任务设置被配置为创建控制表模式时，任务将失败，并出现以下错误：

  Failed to delete directory

• 已计划 CDC

  当任务计划定期运行时，它有时会失败，并出现以下错误：

  The task stopped abnormally

• 转换和存储任务受阻

  转换和存储任务有时会长时间处于排队状态。

• 元数据管理器

  将 use_manipulation_pk_for_apply 特性标志用于存储更改复制时，任务将失败。

• 超时时间过长导致 SaaS 应用程序源出现问题

  将 S3 超时时间延长至 6 小时，以防止因超时时间过长而导致的问题，例如丢失下载文件的令牌。

标准

增强

• 已向 Snowflake 目标连接器添加了密钥对身份验证

  密钥/对提供了一种比用户/密码更强大的身份验证方法，用于使用您的服务帐户连接到 Snowflake。建议将此方法用于数据加载（复制或登陆任务）和转换等工作负载。

• 支持并行从多个表中检索元数据

  在以前的版本中，刷新现有数据集或新添加的数据集上的元数据有时会因错误而失败。此增强功能确保可以从多个表中并行检索元数据，而不会出现任何问题。

已解决的问题

• 在 Google BigQuery 中，DECIMAL 数据类型错误地映射到 STRING

  当源表包含 DECIMAL 数据类型的列时，例如 DECIMAL (38, 20)，在 Google BigQuery 上准备存储任务将失败，并出现以下错误（摘录）：

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  通过将源 DECIMAL 数据类型映射到 Google BigQuery 中的 DECIMAL，该问题得到了解决。

• 模式规则错误

  在数据任务中更改现有架构规则后，将出现以下错误：

  QRI SQL error not implemented

• SAP 传输中缺少 /QTQVC/QRI 表

  在准备连接到 SAP 应用程序源的登录任务时，该任务将成功完成，但 repsrv.log 日志文件中会报告以下错误：

  Invalid object name 'hk1./QTQVC/QRI'

标准

增强

• 支持复制和数据湖登陆任务中的元数据更改，无需删除和重新创建所有表

  以前，当元数据发生更改时，即使元数据更改不会影响所有表，也会删除并重新创建所有表。现在，只有更改的表将被删除并重新创建，从而提高性能。

• 支持在复制任务中自动加载新表

  在复制数据任务期间在源数据库中创建的与包含模式匹配的表格现在将在 CDC（更改数据捕获）期间自动捕获。

• Microsoft SQL Server (MS-CDC) 源增强

  • 时间戳和事务 ID 保存

    以前，从 Microsoft SQL Server (MS-CDC) 读取多个事务时，Qlik Talend Data Integration 只会保留第一个事务的事务 ID 和时间戳。在目标上，这使记录看起来像是单个事务的一部分。现在，Qlik Talend Data Integration 将保留每个单独记录的原始事务 ID 和时间戳。这有利于希望利用更改表中的事务 ID 和时间戳头列的客户。

  • 事务 ID 字节顺序

    以前，事务 ID 中的字节以相反的顺序编码。从这个版本开始，字节将以正确的顺序编码。希望保留现有行为的信息客户可以使用内部参数来如此操作。有关详细信息，请联系 Qlik 支持部门。

• 支持使用 MySQL 缓存 SHA-2 可插入身份验证

  Qlik Talend Data Integration 现在支持在本地或云中使用 MySQL 源或目标时缓存 SHA-2 可插入身份验证 (caching_sha2_password)。在以前的版本中，只支持原生可插入身份验证 (mysql_native_password)。

• Amazon Redshift 数据类型映射更改

  BYTES 和 BLOB 数据类型现在将映射到 Amazon Redshift 上的 VARBYTE，而不是映射到 VARCHAR。

新认证的平台、端点和版本

• 数据源

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• 目标平台

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• 驱动程序

  • SQL Server ODBC Driver 18.3

支持结束

已停止支持以下数据库版本：

• 所有早于 Oracle 19.x 的 Oracle 版本和驱动程序
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS：z/OS 2.3

已解决的问题

• SAP（应用程序）源：

  当捕获的集群文档更改删除了其所有捕获表的所有行时，将遇到缺失的 DELETE 操作和不必要的断言消息。

• 安全漏洞

  将 Microsoft Authentication Library for Java (MSAL4J) 和 Bouncy Castle 更新为没有已知漏洞的版本。

• Snowflake 目标

  • 使用 Snowflake 内部存储时，该任务有时会失败。
  • 当目标模式名称为日语片假名时，该任务将失败。

• Oracle 源

  当使用 Oracle 源恢复任务时，该任务将继续等待已删除的存档重做日志，而不是因相应的错误而失败。

标准

增强

• Snowflake 元数据模式

  在此版本中，如果 Snowflake 元数据架构（用于暂存文件）不存在，则会创建该架构。

已解决的问题

• 更改重命名数据集规则（将表名与架构名连接起来）并将视图添加到着陆任务后，“准备”操作将失败，并出现以下错误：

  QRI SQL error not implemented.

• 已将 java_file_factory 组件更新到没有任何已知漏洞的版本。
• 已将 org.postgresql:postgresql 更新到没有任何已知漏洞的版本。
• 当移动数据到 SQL Server 时，如果索引名称超过 128 个字符，“准备”操作将失败。通过更改逻辑以创建较短的索引名称，解决了此问题。

• 从 SQL Server 移动数据时，表定义中缺少列名会导致 repsrv.log 文件中出现无限通知循环，并显示以下消息：

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

标准

增强

• 并行元数据检索

  增加了对同时检索多个表的元数据的支持。

• 改进的监控性能

  现在，登陆和复制任务的监控信息将每 10 秒更新一次（而不是每 60 秒更新一一次），从而更准确地指示其当前状态。

• 新支持的地区

  日本现在作为 Qlik Cloud 租户地区受支持。

已解决的问题

• 数据网关和 Qlik Cloud 之间的重试间隔会不断延长，但永远不会重置（除非重新启动服务）。
• 当从 SaaS 应用程序源移动数据时，表有时会在重新加载期间进入错误状态。

• 在 CDC 期间，MySQL 源的任务有时会失败，并出现以下错误：

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• 以前，CD C审核事件只会记录在登陆任务中。现在，它们将被记录以执行复制任务。
• 从 SQL Server (MS-CDC) 中移动数据时，具有大量表的任务有时需要几个小时才能启动。

• 当源表包含 CLOB 列并且“限制 LOB 大小”值超过 10240 时，复制到 Snowflake 将失败，并出现以下错误：

  Invalid character length: 0

标准

支持在 Red Hat 9.x 上安装 数据移动网关

客户现在可以在 Red Hat 9.x 或任何相应的兼容 Linux 发行版上进行安装 数据移动网关。

设置 数据移动网关

数据移动网关 服务命令的更改

停止、启动和检查 数据移动网关 服务状态的命令已更改。

数据移动网关 服务命令

对 Amazon Redshift 数据类型映射的更改

• 在 Amazon Redshift 中映射到 VARCHAR(1) 的 BOOLEAN 数据类型现在将映射到 BOOLEAN。
• 在 Amazon Redshift 中映射到 VARCHAR(1) 的 BYTES 和 BLOB 数据类型现在将映射到 VARBINARY（长度）。

最新支持的数据库、数据库版本和驱动程序版本

本部分列出了最新支持的数据库、数据库版本和驱动程序版本。

• 新支持的数据源版本。

  现在支持以下数据源版本：

  • Azure Database for MySQL - Flexible Server（通过 MySQL 源连接器支持）
  • MariaDB 10.4-10.11（之前为 10.4 和 10.5）

• 新支持的目标数据平台和版本

  现在支持以下数据目标版本：

  • Azure Database for MySQL - Flexible Server（通过 MySQL 目标连接器支持）
  • Databricks：Databricks 13.3 LTS 和 Serverless SQL Warehouse

• 新支持的 SAP HANA 驱动程序版本

  拥有 SAP HANA 源代码的客户如果要在 Red Hat Linux 9.x 上安装 数据移动网关，则必须安装 SAP HANA ODBC 64 位驱动程序 2.0.19 或更高版本。

结束支持的数据库版本

本部分提供有关结束支持的数据库版本的信息。

• 已停止支持以下数据源版本：

  • Oracle 11.x
  • SAP HANA 1.0

已解决的问题

• 在不提供服务器密码的情况下安装 数据移动网关 将不允许在一个命令中配置租户和代理 URL。
• 从 Salesforce（SaaS应用程序）数据源移动数据会打印大量冗余警告，从而影响数据加载性能。
• 在检索 SaaS 应用程序数据源的更改时，如果检索其中一个表的更改时发生错误，该表将被挂起并从管道中删除。现在，当遇到错误时，该任务将尝试在挂起表之前检索最多三次更改。

标准

复制项目的新数据湖目标

我们正在继续扩大n Qlik Cloud Data Integration 中复制项目的支持目标，除了 Amazon S3，您现在可以选择 Azure Data Lake Storage (ADLS) 和 Google Cloud Storage (GCS) 进行数据湖交付，如 Parquet、JSON 或 CSV 文件格式。

已解决的问题：

• IBM DB2 for LUW 数据源连接器

  当连接所需的文件（例如 SSL 客户端证书和密钥库文件）的大小超过 4 KB 时，与 IBM DB2 for LUW 的连接将失败。

• IBM DB2 for LUW 和 IBM DB2 for z/OS 数据源连接器的驱动程序

  使用驱动程序安装实用程序时，DB2 驱动程序安装将失败。

标准

支持将 Microsoft Fabric 作为数据管道目标

Microsoft Fabric 加入了不断扩展的数据仓库列表，这些数据仓库可以用作数据管道项目的目标。

已解决的问题：

更新了驱动程序安装实用程序中的 Snowflake 驱动程序版本。

标准

扩展了对专用连接的支持

可以使用专用连接来确保您的数据流量保持安全和合规。它简化了 VPC（虚拟私有云）的网络管理和安全，无需打开入站防火墙端口、代理设备或路由表。Qlik Cloud 数据集成已经支持到 Snowflake、Microsoft SQL Server 和 Amazon S3 数据管道目标的私有连接。有了这个版本，客户在将数据移动到 Databricks、Microsoft Azure Synapse、Google BigQuery 和 Amazon Redshift 时还可以使用私人连接。

基于 PostgreSQL 的数据源

• 所有基于 PostgreSQL 的数据源 - 多范围数据类型支持：现在所有基于 PostgreSQL 的数据源（本地和云）都支持以下多范围数据。

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud for PostgreSQL数据源 - 非超级用户角色支持：在 PostgreSQL 连接器中指定的用户不再需要拥有超级用户角色才能从 AWS AuroraCloud for PostgresSQL 数据源中移动数据。这对于具有公司安全策略的组织尤其有用，因为这些策略阻止他们将超级用户访问权限授予非特权用户。

Microsoft Azure SQL (MS-CDC) 数据源：地理复制支持

从 Microsoft Azure SQL (MS-CDC) 数据源移动数据的客户现在可以使用地理副本数据库。

Oracle 数据源：HSM（硬件安全模块）支持

Qlik Cloud 数据集成现在支持在 CDC 期间从 Oracle 加密的表空间和加密的列中读取数据。

新地区支持

Qlik Cloud 数据集成现在支持德国和英国地区的租户。

最新支持的版本和第三方软件

本节列出了最新支持的数据库和驱动程序版本。

• 新支持的数据源版本。现在支持以下数据源版本：

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1（使用 IBM DB2 for z/OS 时）
  • IBM DB2 for iSeries

• 最新支持的目标数据平台版本现在支持以下数据目标版本：

  • Databricks（云存储）：Databricks 12.2 LTS 和 Databricks SQL Serverless

• 驱动程序版本。现在支持以下 ODBC 驱动程序版本：

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ 以及 IBM DB2 for LUW
  • Simba ODBC 驱动程序 3.0.0.1001，适用于 Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64 位 8.0.32

Microsoft SQL Server 驱动程序 - 需要升级

往返于 icrosoft SQL Server 移动数据的客户需要将其 SQL Server ODBC 驱动程序版本升级到 18.x 或更高版本。请注意，继续使用 SQL Server ODBC Driver 17.x 可能会导致数据错误。可以使用驱动程序安装实用程序或手动方式升级驱动程序。有关说明，请参阅驱动程序设置。

结束支持的数据库版本

本部分提供有关结束支持的数据库版本的信息。

• 结束支持的数据源版本。已停止支持以下数据源版本：

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• 结束支持的目标数据平台版本已停止支持以下数据目标版本：

  • Databricks 9.1 LTS

2022.11.74

标准

2023 年 8 月 15 日

Replication 支持

我们采用云优先的方法，实现快速创新和采用。然而，这并不意味着我们只是云。作为我们持续致力于提高客户长期价值的一部分，我们很高兴地宣布，在创建数据项目时，将发布一个新的复制用例。新的 Replication 用例是对现有能力的补充，可以为您的所有数据集成需求（如数据仓库现代化）创建数据管道。

Replication 项目支持从受支持的数据源到受支持的目标的实时数据复制。

从最新版本开始，第一个支持实时复制数据的目标是 Microsoft SQL Server。除了支持 Microsoft SQL Server 内部部署外，还支持以下云提供者：

• 内部：
• Amazon RDS
• Google Cloud
• Microsoft Azure（Microsoft Azure 托管实例和 Microsoft Azure 数据库）

Microsoft Azure Synapse Analytic s目标 - 需要升级驱动程序

将数据移动到 Microsoft Azure Synapse Analytics 的客户需要将其 SQL Server ODBC 驱动程序版本升级到 18.x 或更高版本。请注意，继续使用 SQL Server ODBC Driver 17.x 可能会导致数据错误。可以使用驱动程序安装实用程序或手动方式升级驱动程序。有关说明，请参阅驱动程序设置。

SaaS 应用程序源的新“从源加载数据”选项

引入了一个新的从源加载数据选项，允许客户在满负载期间直接从源读取数据，而不是使用缓存的数据。

有关此选项（包括使用情况）的详细信息，请参阅登陆设置。

已更新 CA 证书

数据移动网关 2022.11.74 包括验证 Qlik Cloud 租户所需的更新的 CA 证书。更新后的 CA 证书还为爱尔兰和法兰克福地区提供支持。因此，在爱尔兰或法兰克福拥有 Qlik Cloud 租户的客户如果想要使用 Qlik Cloud Data Integration ，必须升级到此版本。

已解决问题

当宽型表格包含未使用或不支持的列，或未复制的 LOB 列时，从 Oracle 源获取数据的任务有时会失败。

2022.11.70

标准

2023 年 6 月 28 日

改进了 SAP 客户端的驱动程序安装实用程序

在以前的版本中，客户在安装 SAP 客户端时需要运行“source arep_login.sh”命令。从该版本开始，不再需要运行此命令。

更新了 CA 证书

此版本包含更新的 CA 证书，这些证书是验证 Qlik Cloud 租户所需的。

已解决的问题

• 当 数据移动网关 上的复制任务失败并自动恢复时，恢复的状态将不会传达给 Qlik Cloud 中的登陆数据资产。

• 数据移动网关 的端到端加密默认情况下将不会启用，而是由运行时标志控制。

2022.11.63

标准

2023 年 5 月 2 日

驱动程序安装工具

此版本引入了一个驱动程序安装工具，不再需要手动安装和配置驱动程序。新工具缩短了安装过程，同时大大降低了用户出错的可能性。当工具运行时，如果可能，会自动下载并安装所需的驱动程序。如果无法下载驱动程序（例如，DB2 驱动程序需要登录），您所需要做的就是下载驱动程序，将其复制到数据移动网关计算机上的专用文件夹中，然后运行该工具。

有关使用驱动程序安装工具安装 PostgreSQL 驱动程序的示例，请参阅先决条件

Snowflake 云数据平台

Snowflake 连接器现在支持 4 字节表情符号字符。

支持 Azure Database for PostgreSQL - Flexible Server 作为数据源

PostgreSQL 连接器现在可以从 Azure Database for PostgreSQL - Flexible Server 移动数据。

支持 Cloud SQL for PostgreSQL 作为数据源

PostgreSQL 连接器现在可以为 PostgreSQL 从 Cloud SQL 中移动数据。

新支持的数据源版本

此版本引入了对以下新数据源版本的支持：

• PostgreSQL 14
• DB2（适用于 IBM DB2 for z/OS）12.1
• IBM DB2 for z/OS 2.5

最新支持的云数据平台版本

Databricks 11.3 LTS

已停止支持以下数据源版本

不再支持以下数据源版本：

• DB2（适用于 IBM DB2 for z/OS）11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

已解决的问题

此版本解决了以下问题：

• Oracle 数据源：在停止和恢复任务时，任务有时会失败，并出现“无法在上下文中设置数据流位置”错误。
• SAP 应用程序源：在登陆 任务期间不会捕捉到更改。