升级和卸载 数据移动网关

2024.5.35

补丁

该补丁解决了以下问题：

• Microsoft Fabric 目标：数据类型转换问题

  在存储任务期间，数据类型 NVARCHAR(3500) 将被错误地转换为 VARCHAR(10500)，而不是 VARCHAR(8000)（允许的最大值），从而导致错误。

• IBM DB2 for LUW 源：支持 GRAPHIC 数据类型，采用代码页 941（日语）

  当源表包含代码页为 941（日语）的 GRAPHIC 数据类型时，将出现以下错误（摘录）：

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

补丁

在 Workday Reports 源连接器中更新用户名和密码，然后重新加载任务后，即使凭据正确，也会出现“无效用户名或密码”错误。该问题现已解决。

补丁

该补丁解决了以下问题：

安全性

数据移动网关 随附的 Oracle Java Standard Edition 17.0.8 有几个已知漏洞。此补丁将 17.0.8 替换为 17.0.12，从而解决了问题。

Salesforce 源

在 CDC 期间，对于每个更改，将向关联的 _ct 表添加多个 INSERT 操作（而不是只有一个）。这将显著增加 _ct 表中的记录数量。

标准

补丁

该补丁解决了以下问题：

Snowflake JDBC 驱动程序漏洞

2024 年 8 月 14 日，Snowflake 发布了一份关于 Snowflake JDBC 驱动程序 >= 3.2.6 & <= 3.19.1 的安全公告，其中一些驱动程序与以前版本的 数据移动网关 一起使用。该漏洞已在 Snowflake JDBC Driver 3.20 中修补，该版本现在随驱动程序安装实用程序一起安装。现有客户应按照驱动程序设置中描述的程序更新驱动程序，尽早升级其驱动程序。

Oracle 源

• 当使用重做事件 11.22 时，在未在 INSERT 之前压缩的压缩页面上处理多个 INSERT 时，会出现丢失 INSERT 的情况。
• 在极少数情况下，对重做日志记录中的 DELETE 事件的错误解析会生成“重做日志 DELETE 事件包含未知结构”警告，随后出现各种问题。

SAP Extractor 源

YAML 文件中的说明已更新，以反映 SAP Java Connector 的正确版本。

Snowflake 目标

当使用 数据移动网关 通过代理连接到 Snowflake 目标时，连接将失败，并出现以下错误：

500 Failed to connect to Data Movement Gateway

补丁

补丁

已解决的问题

• Oracle 源

  • 使用重做事件 11.22 时，在多个插入操作中有时会出现缺失的插入。

  • 在将 Oracle 19g 升级到 July 2024 修补程序后，更新操作有时不会被捕获，并且会显示以下警告：

    A compressed row cannot be parsed

• Snowflake 目标

  当任务设置被配置为创建控制表模式时，任务将失败，并出现以下错误：

  Failed to delete directory

• 已计划 CDC

  当任务计划定期运行时，它有时会失败，并出现以下错误：

  The task stopped abnormally

• 转换和存储任务受阻

  转换和存储任务有时会长时间处于排队状态。

• 元数据管理器

  将 use_manipulation_pk_for_apply 特性标志用于存储更改复制时，任务将失败。

• 超时时间过长导致 SaaS 应用程序源出现问题

  将 S3 超时时间延长至 6 小时，以防止因超时时间过长而导致的问题，例如丢失下载文件的令牌。

标准

增强

• 已向 Snowflake 目标连接器添加了密钥对身份验证

  密钥/对提供了一种比用户/密码更强大的身份验证方法，用于使用您的服务帐户连接到 Snowflake。建议将此方法用于数据加载（复制或登陆任务）和转换等工作负载。

• 支持并行从多个表中检索元数据

  在以前的版本中，刷新现有数据集或新添加的数据集上的元数据有时会因错误而失败。此增强功能确保可以从多个表中并行检索元数据，而不会出现任何问题。

已解决的问题

• 在 Google BigQuery 中，DECIMAL 数据类型错误地映射到 STRING

  当源表包含 DECIMAL 数据类型的列时，例如 DECIMAL (38, 20)，在 Google BigQuery 上准备存储任务将失败，并出现以下错误（摘录）：

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  通过将源 DECIMAL 数据类型映射到 Google BigQuery 中的 DECIMAL，该问题得到了解决。

• 模式规则错误

  在数据任务中更改现有架构规则后，将出现以下错误：

  QRI SQL error not implemented

• SAP 传输中缺少 /QTQVC/QRI 表

  在准备连接到 SAP 应用程序源的登录任务时，该任务将成功完成，但 repsrv.log 日志文件中会报告以下错误：

  Invalid object name 'hk1./QTQVC/QRI'

标准

增强

• 支持复制和数据湖登陆任务中的元数据更改，无需删除和重新创建所有表

  以前，当元数据发生更改时，即使元数据更改不会影响所有表，也会删除并重新创建所有表。现在，只有更改的表将被删除并重新创建，从而提高性能。

• 支持在复制任务中自动加载新表

  在复制数据任务期间在源数据库中创建的与包含模式匹配的表格现在将在 CDC（更改数据捕获）期间自动捕获。

• Microsoft SQL Server (MS-CDC) 源增强

  • 时间戳和事务 ID 保存

    以前，从 Microsoft SQL Server (MS-CDC) 读取多个事务时，Qlik Talend Data Integration 只会保留第一个事务的事务 ID 和时间戳。在目标上，这使记录看起来像是单个事务的一部分。现在，Qlik Talend Data Integration 将保留每个单独记录的原始事务 ID 和时间戳。这有利于希望利用更改表中的事务 ID 和时间戳头列的客户。

  • 事务 ID 字节顺序

    以前，事务 ID 中的字节以相反的顺序编码。从这个版本开始，字节将以正确的顺序编码。希望保留现有行为的信息客户可以使用内部参数来如此操作。有关详细信息，请联系 Qlik 支持部门。

• 支持使用 MySQL 缓存 SHA-2 可插入身份验证

  Qlik Talend Data Integration 现在支持在本地或云中使用 MySQL 源或目标时缓存 SHA-2 可插入身份验证 (caching_sha2_password)。在以前的版本中，只支持原生可插入身份验证 (mysql_native_password)。

• Amazon Redshift 数据类型映射更改

  BYTES 和 BLOB 数据类型现在将映射到 Amazon Redshift 上的 VARBYTE，而不是映射到 VARCHAR。

新认证的平台、端点和版本

• 数据源

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• 目标平台

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• 驱动程序

  • SQL Server ODBC Driver 18.3

支持结束

已停止支持以下数据库版本：

• 所有早于 Oracle 19.x 的 Oracle 版本和驱动程序
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS：z/OS 2.3

已解决的问题

• SAP（应用程序）源：

  当捕获的集群文档更改删除了其所有捕获表的所有行时，将遇到缺失的 DELETE 操作和不必要的断言消息。

• 安全漏洞

  将 Microsoft Authentication Library for Java (MSAL4J) 和 Bouncy Castle 更新为没有已知漏洞的版本。

• Snowflake 目标

  • 使用 Snowflake 内部存储时，该任务有时会失败。
  • 当目标模式名称为日语片假名时，该任务将失败。

• Oracle 源

  当使用 Oracle 源恢复任务时，该任务将继续等待已删除的存档重做日志，而不是因相应的错误而失败。

标准

增强

• Snowflake 元数据模式

  在此版本中，如果 Snowflake 元数据架构（用于暂存文件）不存在，则会创建该架构。

已解决的问题

• 更改重命名数据集规则（将表名与架构名连接起来）并将视图添加到着陆任务后，“准备”操作将失败，并出现以下错误：

  QRI SQL error not implemented.

• 已将 java_file_factory 组件更新到没有任何已知漏洞的版本。
• 已将 org.postgresql:postgresql 更新到没有任何已知漏洞的版本。
• 当移动数据到 SQL Server 时，如果索引名称超过 128 个字符，“准备”操作将失败。通过更改逻辑以创建较短的索引名称，解决了此问题。

• 从 SQL Server 移动数据时，表定义中缺少列名会导致 repsrv.log 文件中出现无限通知循环，并显示以下消息：

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

标准

增强

• 并行元数据检索

  增加了对同时检索多个表的元数据的支持。

• 改进的监控性能

  现在，登陆和复制任务的监控信息将每 10 秒更新一次（而不是每 60 秒更新一一次），从而更准确地指示其当前状态。

• 新支持的地区

  日本现在作为 Qlik Cloud 租户地区受支持。

已解决的问题

• 数据网关和 Qlik Cloud 之间的重试间隔会不断延长，但永远不会重置（除非重新启动服务）。
• 当从 SaaS 应用程序源移动数据时，表有时会在重新加载期间进入错误状态。

• 在 CDC 期间，MySQL 源的任务有时会失败，并出现以下错误：

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• 以前，CD C审核事件只会记录在登陆任务中。现在，它们将被记录以执行复制任务。
• 从 SQL Server (MS-CDC) 中移动数据时，具有大量表的任务有时需要几个小时才能启动。

• 当源表包含 CLOB 列并且“限制 LOB 大小”值超过 10240 时，复制到 Snowflake 将失败，并出现以下错误：

  Invalid character length: 0

标准

支持在 Red Hat 9.x 上安装 数据移动网关

客户现在可以在 Red Hat 9.x 或任何相应的兼容 Linux 发行版上进行安装 数据移动网关。

设置 数据移动网关

数据移动网关 服务命令的更改

停止、启动和检查 数据移动网关 服务状态的命令已更改。

数据移动网关 服务命令

对 Amazon Redshift 数据类型映射的更改

• 在 Amazon Redshift 中映射到 VARCHAR(1) 的 BOOLEAN 数据类型现在将映射到 BOOLEAN。
• 在 Amazon Redshift 中映射到 VARCHAR(1) 的 BYTES 和 BLOB 数据类型现在将映射到 VARBINARY（长度）。

最新支持的数据库、数据库版本和驱动程序版本

本部分列出了最新支持的数据库、数据库版本和驱动程序版本。

• 新支持的数据源版本。

  现在支持以下数据源版本：

  • Azure Database for MySQL - Flexible Server（通过 MySQL 源连接器支持）
  • MariaDB 10.4-10.11（之前为 10.4 和 10.5）

• 新支持的目标数据平台和版本

  现在支持以下数据目标版本：

  • Azure Database for MySQL - Flexible Server（通过 MySQL 目标连接器支持）
  • Databricks：Databricks 13.3 LTS 和 Serverless SQL Warehouse

• 新支持的 SAP HANA 驱动程序版本

  拥有 SAP HANA 源代码的客户如果要在 Red Hat Linux 9.x 上安装 数据移动网关，则必须安装 SAP HANA ODBC 64 位驱动程序 2.0.19 或更高版本。

结束支持的数据库版本

本部分提供有关结束支持的数据库版本的信息。

• 已停止支持以下数据源版本：

  • Oracle 11.x
  • SAP HANA 1.0

已解决的问题

• 在不提供服务器密码的情况下安装 数据移动网关 将不允许在一个命令中配置租户和代理 URL。
• 从 Salesforce（SaaS应用程序）数据源移动数据会打印大量冗余警告，从而影响数据加载性能。
• 在检索 SaaS 应用程序数据源的更改时，如果检索其中一个表的更改时发生错误，该表将被挂起并从管道中删除。现在，当遇到错误时，该任务将尝试在挂起表之前检索最多三次更改。

标准

Replication 项目的新数据湖目标

我们正在继续扩大n Qlik Cloud Data Integration 中复制项目的支持目标，除了 Amazon S3，您现在可以选择 Azure Data Lake Storage (ADLS) 和 Google Cloud Storage (GCS) 进行数据湖交付，如 Parquet、JSON 或 CSV 文件格式。

已解决的问题：

• IBM DB2 for LUW 源连接器

  当连接所需的文件（如 SSL 客户端证书和密钥库文件）的大小超过 4 KB 时，指向 IBM DB2 for LUW 的连接将失效。

• 用于 IBM DB2 for LUW 和 IBM DB2 for z/OS 源连接器的驱动程序

  使用驱动程序安装实用程序时，DB2 驱动程序安装会失败。

标准

支持将 Microsoft Fabric 作为数据管道目标

Microsoft Fabric 加入了不断扩展的数据仓库列表，这些数据仓库可以用作数据管道项目的目标。

已解决的问题：

更新了驱动程序安装实用程序中的 Snowflake 驱动程序版本。

标准

扩展了对专用连接的支持

可以使用专用连接来确保您的数据流量保持安全和合规。它简化了 VPC（虚拟私有云）的网络管理和安全，无需打开入站防火墙端口、代理设备或路由表。Qlik Cloud 数据集成已经支持到 Snowflake、Microsoft SQL Server 和 Amazon S3 数据管道目标的私有连接。有了这个版本，客户在将数据移动到 Databricks、Microsoft Azure Synapse、Google BigQuery 和 Amazon Redshift 时还可以使用私人连接。

基于 PostgreSQL 的数据源

• 所有基于 PostgreSQL 的数据源 - 多范围数据类型支持：现在所有基于 PostgreSQL 的数据源（本地和云）都支持以下多范围数据。

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• AWS Aurora Cloud for PostgreSQL数据源 - 非超级用户角色支持：在 PostgreSQL 连接器中指定的用户不再需要拥有超级用户角色才能从 AWS AuroraCloud for PostgresSQL 数据源中移动数据。这对于具有公司安全策略的组织尤其有用，因为这些策略阻止他们将超级用户访问权限授予非特权用户。

Microsoft Azure SQL (MS-CDC) 数据源：地理复制支持

从 Microsoft Azure SQL (MS-CDC) 数据源移动数据的客户现在可以使用地理副本数据库。

Oracle 数据源：HSM（硬件安全模块）支持

Qlik Cloud 数据集成现在支持在 CDC 期间从 Oracle 加密的表空间和加密的列中读取数据。

新地区支持

Qlik Cloud 数据集成现在支持德国和英国地区的租户。

最新支持的版本和第三方软件

本节列出了最新支持的数据库和驱动程序版本。

• 新支持的数据源版本。现在支持以下数据源版本：

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1（使用 IBM DB2 for z/OS 时）
  • IBM DB2 for iSeries

• 最新支持的目标数据平台版本现在支持以下数据目标版本：

  • Databricks（云存储）：Databricks 12.2 LTS 和 Databricks SQL Serverless

• 驱动程序版本。现在支持以下 ODBC 驱动程序版本：

  • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ 以及 IBM DB2 for LUW
  • Simba ODBC 驱动程序 3.0.0.1001，适用于 Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64 位 8.0.32

Microsoft SQL Server 驱动程序 - 需要升级

往返于 icrosoft SQL Server 移动数据的客户需要将其 SQL Server ODBC 驱动程序版本升级到 18.x 或更高版本。请注意，继续使用 SQL Server ODBC Driver 17.x 可能会导致数据错误。可以使用驱动程序安装实用程序或手动方式升级驱动程序。有关说明，请参阅驱动程序设置。

结束支持的数据库版本

本部分提供有关结束支持的数据库版本的信息。

• 结束支持的数据源版本。已停止支持以下数据源版本：

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• 结束支持的目标数据平台版本已停止支持以下数据目标版本：

  • Databricks 9.1 LTS

2022.11.74

标准

2023 年 8 月 15 日

Replication 支持

我们采用云优先的方法，实现快速创新和采用。然而，这并不意味着我们只是云。作为我们持续致力于提高客户长期价值的一部分，我们很高兴地宣布，在创建数据项目时，将发布一个新的复制用例。新的 Replication 用例是对现有能力的补充，可以为您的所有数据集成需求（如数据仓库现代化）创建数据管道。

Replication 项目支持从受支持的数据源到受支持的目标的实时数据复制。

从最新版本开始，第一个支持实时复制数据的目标是 Microsoft SQL Server。除了支持 Microsoft SQL Server 内部部署外，还支持以下云提供者：

• 内部：
• Amazon RDS
• Google Cloud
• Microsoft Azure（Microsoft Azure 托管实例和 Microsoft Azure 数据库）

Microsoft Azure Synapse Analytic s目标 - 需要升级驱动程序

将数据移动到 Microsoft Azure Synapse Analytics 的客户需要将其 SQL Server ODBC 驱动程序版本升级到 18.x 或更高版本。请注意，继续使用 SQL Server ODBC Driver 17.x 可能会导致数据错误。可以使用驱动程序安装实用程序或手动方式升级驱动程序。有关说明，请参阅驱动程序设置。

SaaS 应用程序源的新“从源加载数据”选项

引入了一个新的从源加载数据选项，允许客户在满负载期间直接从源读取数据，而不是使用缓存的数据。

有关此选项（包括使用情况）的详细信息，请参阅登陆设置。

已更新 CA 证书

数据移动网关 2022.11.74 包括验证 Qlik Cloud 租户所需的更新的 CA 证书。更新后的 CA 证书还为爱尔兰和法兰克福地区提供支持。因此，在爱尔兰或法兰克福拥有 Qlik Cloud 租户的客户如果想要使用 Qlik Cloud Data Integration ，必须升级到此版本。

已解决问题

当宽型表格包含未使用或不支持的列，或未复制的 LOB 列时，从 Oracle 源获取数据的任务有时会失败。

2022.11.70

标准

2023 年 6 月 28 日

改进了 SAP 客户端的驱动程序安装实用程序

在以前的版本中，客户在安装 SAP 客户端时需要运行 "source arep_login.sh" 命令。在此版本中，不再需要运行此命令。

已更新 CA 证书

该版本包括验证 Qlik Cloud 租户所需的更新的 CA 证书。

已解决的问题

• 当 数据移动网关 上的复制任务失败并自动恢复时，恢复的状态将不会传达给 Qlik Cloud 中的登陆数据资产。

• 数据移动网关 的端到端加密默认情况下将不会启用，而是由运行时标志控制。

2022.11.63

标准

2023 年 5 月 2 日

驱动程序安装工具

此版本引入了一个驱动程序安装工具，不再需要手动安装和配置驱动程序。新工具缩短了安装过程，同时大大降低了用户出错的可能性。当工具运行时，如果可能，会自动下载并安装所需的驱动程序。如果无法下载驱动程序（例如，DB2 驱动程序需要登录），您所需要做的就是下载驱动程序，将其复制到数据移动网关计算机上的专用文件夹中，然后运行该工具。

有关使用驱动程序安装工具安装 PostgreSQL 驱动程序的示例，请参阅先决条件

Snowflake 云数据平台

Snowflake 连接器现在支持 4 字节表情符号字符。

支持 Azure Database for PostgreSQL - Flexible Server 作为数据源

PostgreSQL 连接器现在可以从 Azure Database for PostgreSQL - Flexible Server 移动数据。

支持 Cloud SQL for PostgreSQL 作为数据源

PostgreSQL 连接器现在可以为 PostgreSQL 从 Cloud SQL 中移动数据。

新支持的数据源版本

此版本引入了对以下新数据源版本的支持：

• PostgreSQL 14
• DB2（适用于 IBM DB2 for z/OS）12.1
• IBM DB2 for z/OS 2.5

最新支持的云数据平台版本

Databricks 11.3 LTS

已停止支持以下数据源版本

不再支持以下数据源版本：

• DB2（适用于 IBM DB2 for z/OS）11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

已解决的问题

此版本解决了以下问题：

• Oracle 数据源：在停止和恢复任务时，任务有时会失败，并出现“无法在上下文中设置数据流位置”错误。
• SAP 应用程序源：在登陆 任务期间不会捕捉到更改。