跳到主要内容 跳到补充内容

升级和卸载 数据移动网关

本主题介绍如何升级或卸载您的 数据移动网关 安装。它还提供了一个表,列出了每个 数据移动网关 版本中引入的更改。

升级程序

要验证您当前的版本,请转到 管理 > 数据网关 并检查与您的 数据移动网关 对应的版本列。

如果有可用的新版本,则在版本号后面添加 !。您可以将鼠标悬停在 上面以获取更多信息。如果不支持已安装的网关版本,则状态将为停用,并且需要升级才能激活网关。

每当有新版本的 数据移动网关 rpm 可用时,您都应该从 Administration 下载并升级现有安装。

为此:

  1. 单击网关上的 ,然后单击升级,下载新版本。

    确认客户协议,然后继续下载 RPM。

  2. 打开 shell 提示符并将工作目录更改为包含 RPM 文件的目录:
  3. 然后运行以下命令:

    语法:

    rpm -U <rpm name>

    示例:

    sudo rpm -U qlik-data-gateway-data-movement.rpm

  4. 启动 数据移动网关 服务:

    sudo systemctl start repagent

  5. 可选择确认服务已启动:

    sudo systemctl status repagent

    状态应如下所示:

    Active: active (running) since <timestamp> ago

数据移动网关 版本历史记录

版本

发布日期

重大变化

支持日期结束

2024.5.28 2024 年 11 月 12 日 提供即将发布的架构演进特性所需的功能。 已确定下一个主要版本的发布时间
2024.5.27 2024 年 11 月 5 日

此版本解决了以下问题:

  • 当使用重做事件 11.22 时,在未在 INSERT 之前压缩的压缩页面上处理多个 INSERT 时,会出现丢失 INSERT 的情况。
  • 在极少数情况下,对重做日志记录中的 DELETE 事件的错误解析会生成“重做日志 DELETE 事件包含未知结构”警告,随后出现各种问题。

YAML 文件中的说明已更新,以反映 SAP Java Connector 的正确版本。

当使用 Data Movement Gateway 通过代理连接到 Snowflake 目标时,连接将失败,并出现以下错误:

500 Failed to connect to Data Movement Gateway

已确定下一个主要版本的发布时间
2024.5.22 2024 年 10 月 15 日 此版本解决了满负载 + CDC 复制任务中的一个问题,具体表现为,CDC 任务的数据任务更新为字段会显示满负载时间戳,而不是 CDC 时间戳。 已确定下一个主要版本的发布时间
2024.5.16 2024 年 10 月 8 日
    • 使用重做事件 11.22 时,在多个插入操作中有时会出现缺失的插入。
    • 在将 Oracle 19g 升级到 July 2024 修补程序后,更新操作有时不会被捕获,并且会显示以下警告:

      A compressed row cannot be parsed

  • 当任务设置被配置为创建控制表模式时,任务将失败,并出现以下错误:

    Failed to delete directory

  • 当任务计划定期运行时,它有时会失败,并出现以下错误:

    The task stopped abnormally

  • 转换和存储任务有时会长时间处于排队状态。

  • use_manipulation_pk_for_apply 特性标志用于存储更改复制时,任务将失败。

  • 将 S3 超时时间延长至 6 小时,以防止因超时时间过长而导致的问题,例如丢失下载文件的令牌。

已确定下一个主要版本的发布时间
2024.5.14 2024 年 9 月 10 日
  • 密钥/对提供了一种比用户/密码更强大的身份验证方法,用于使用您的服务帐户连接到 Snowflake。建议将此方法用于数据加载(复制或登陆任务)和转换等工作负载。

  • 在以前的版本中,刷新现有数据集或新添加的数据集上的元数据有时会因错误而失败。此增强功能确保可以从多个表中并行检索元数据,而不会出现任何问题。

  • 当源表包含 DECIMAL 数据类型的列时,例如 DECIMAL (38, 20),在 Google BigQuery 上准备存储任务将失败,并出现以下错误(摘录):

    Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

    通过将源 DECIMAL 数据类型映射到 Google BigQuery 中的 DECIMAL,该问题得到了解决。

  • 在数据任务中更改现有架构规则后,将出现以下错误:

    QRI SQL error not implemented

  • 在准备连接到 SAP 应用程序源的登录任务时,该任务将成功完成,但 repsrv.log 日志文件中会报告以下错误:

    Invalid object name 'hk1./QTQVC/QRI'

已确定下一个主要版本的发布时间
2024.5.7 2024 年 8 月 6 日
  • 以前,当元数据发生更改时,即使元数据更改不会影响所有表,也会删除并重新创建所有表。现在,只有更改的表将被删除并重新创建,从而提高性能。

  • 在复制数据任务期间在源数据库中创建的与包含模式匹配的表格现在将在 CDC(更改数据捕获)期间自动捕获。

    • 以前,从 Microsoft SQL Server (MS-CDC) 读取多个事务时,Qlik Talend Data Integration 只会保留第一个事务的事务 ID 和时间戳。在目标上,这使记录看起来像是单个事务的一部分。现在,Qlik Talend Data Integration 将保留每个单独记录的原始事务 ID 和时间戳。这有利于希望利用更改表中的事务 ID 和时间戳头列的客户。

    • 以前,事务 ID 中的字节以相反的顺序编码。从这个版本开始,字节将以正确的顺序编码。希望保留现有行为的信息客户可以使用内部参数来如此操作。有关详细信息,请联系 Qlik 支持部门。

  • Qlik Talend Data Integration 现在支持在本地或云中使用 MySQL 源或目标时缓存 SHA-2 可插入身份验证 (caching_sha2_password)。在以前的版本中,只支持原生可插入身份验证 (mysql_native_password)。

  • BYTES 和 BLOB 数据类型现在将映射到 Amazon Redshift 上的 VARBYTE,而不是映射到 VARCHAR。

    • PostgreSQL 16.x

    • MySQL 8.1
    • IBM DB2 for z/OS 3.1
    • PostgreSQL 16.x
    • MySQL 8.1
    • Databricks 14.3 LTS
    • SQL Server ODBC Driver 18.3

已停止支持以下数据库版本:

  • 所有早于 Oracle 19.x 的 Oracle 版本和驱动程序
  • Microsoft SQL Server 2014
  • MySQL 5.7
  • PostgreSQL 11
  • IBM DB2 for LUW 10.5
  • IBM DB2 for z/OS:z/OS 2.3
  • 当捕获的集群文档更改删除了其所有捕获表的所有行时,将遇到缺失的 DELETE 操作和不必要的断言消息。

  • 将 Microsoft Authentication Library for Java (MSAL4J) 和 Bouncy Castle 更新为没有已知漏洞的版本。

    • 使用 Snowflake 内部存储时,该任务有时会失败。
    • 当目标模式名称为日语片假名时,该任务将失败。
  • 当使用 Oracle 源恢复任务时,该任务将继续等待已删除的存档重做日志,而不是因相应的错误而失败。

已确定下一个主要版本的发布时间
2023.11.23 2024 年 6 月 26 日
  • 在此版本中,如果 Snowflake 元数据架构(用于暂存文件)不存在,则会创建该架构。

  • 更改重命名数据集规则(将表名与架构名连接起来)并将视图添加到着陆任务后,“准备”操作将失败,并出现以下错误:

    QRI SQL error not implemented.

  • 已将 java_file_factory 组件更新到没有任何已知漏洞的版本。
  • 已将 org.postgresql:postgresql 更新到没有任何已知漏洞的版本。
  • 当移动数据到 SQL Server 时,如果索引名称超过 128 个字符,“准备”操作将失败。通过更改逻辑以创建较短的索引名称,解决了此问题。
  • 从 SQL Server 移动数据时,表定义中缺少列名会导致 repsrv.log 文件中出现无限通知循环,并显示以下消息:

    mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

2025 年 2 月 6 日

2023.11.11 2024 年 5 月 21 日
  • 增加了对同时检索多个表的元数据的支持。

  • 现在,登陆和复制任务的监控信息将每 10 秒更新一次(而不是每 60 秒更新一一次),从而更准确地指示其当前状态。

  • 日本现在作为 Qlik Cloud 租户地区受支持。

  • 数据网关和 Qlik Cloud 之间的重试间隔会不断延长,但永远不会重置(除非重新启动服务)。
  • 当从 SaaS 应用程序源移动数据时,表有时会在重新加载期间进入错误状态。
  • 在 CDC 期间,MySQL 源的任务有时会失败,并出现以下错误:

    Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

  • 以前,CD C审核事件只会记录在登陆任务中。现在,它们将被记录以执行复制任务。
  • 从 SQL Server (MS-CDC) 中移动数据时,具有大量表的任务有时需要几个小时才能启动。
  • 当源表包含 CLOB 列并且“限制 LOB 大小”值超过 10240 时,复制到 Snowflake 将失败,并出现以下错误:

    Invalid character length: 0

已确定下一个主要版本的发布时间
2023.11.4 2024 年 3 月 12 日

客户现在可以在 Red Hat 9.x 或任何相应的兼容 Linux 发行版上进行安装 数据移动网关

设置 数据移动网关

停止、启动和检查 数据移动网关 服务状态的命令已更改。

数据移动网关 服务命令

  • 在 Amazon Redshift 中映射到 VARCHAR(1) 的 BOOLEAN 数据类型现在将映射到 BOOLEAN。
  • 在 Amazon Redshift 中映射到 VARCHAR(1) 的 BYTES 和 BLOB 数据类型现在将映射到 VARBINARY(长度)。

本部分列出了最新支持的数据库、数据库版本和驱动程序版本。

  • 新支持的数据源版本。

    现在支持以下数据源版本:

    • Azure Database for MySQL - Flexible Server(通过 MySQL 源连接器支持)
    • MariaDB 10.4-10.11(之前为 10.4 和 10.5)
  • 新支持的目标数据平台和版本

    现在支持以下数据目标版本:

    • Azure Database for MySQL - Flexible Server(通过 MySQL 目标连接器支持)
    • Databricks:Databricks 13.3 LTS 和 Serverless SQL Warehouse
  • 新支持的 SAP HANA 驱动程序版本

    拥有 SAP HANA 源代码的客户如果要在 Red Hat Linux 9.x 上安装 数据移动网关,则必须安装 SAP HANA ODBC 64 位驱动程序 2.0.19 或更高版本。

本部分提供有关结束支持的数据库版本的信息。

  • 已停止支持以下数据源版本:

    • Oracle 11.x
    • SAP HANA 1.0
  • 在不提供服务器密码的情况下安装 数据移动网关 将不允许在一个命令中配置租户和代理 URL。
  • 从 Salesforce(SaaS应用程序)数据源移动数据会打印大量冗余警告,从而影响数据加载性能。
  • 在检索 SaaS 应用程序数据源的更改时,如果检索其中一个表的更改时发生错误,该表将被挂起并从管道中删除。现在,当遇到错误时,该任务将尝试在挂起表之前检索最多三次更改。
已确定下一个主要版本的发布时间
2023.5.16 2024 年1 月 9 日

我们正在继续扩大n Qlik Cloud Data Integration 中复制项目的支持目标,除了 Amazon S3,您现在可以选择 Azure Data Lake Storage (ADLS) 和 Google Cloud Storage (GCS) 进行数据湖交付,如 Parquet、JSON 或 CSV 文件格式。

  • 当连接所需的文件(如 SSL 客户端证书和密钥库文件)的大小超过 4 KB 时,指向 IBM DB2 for LUW 的连接将失效。

  • 使用驱动程序安装实用程序时,DB2 驱动程序安装会失败。

2024 年 9 月 7 日

2023.5.15 2023 年 12 月 12 日

Microsoft Fabric 加入了不断扩展的数据仓库列表,这些数据仓库可以用作数据管道项目的目标。

更新了驱动程序安装实用程序中的 Snowflake 驱动程序版本。

2024 年 9 月 7 日

2023.5.10 2023 年 10 月 31 日

可以使用专用连接来确保您的数据流量保持安全和合规。它简化了 VPC(虚拟私有云)的网络管理和安全,无需打开入站防火墙端口、代理设备或路由表。Qlik Cloud 数据集成已经支持到 Snowflake、Microsoft SQL Server 和 Amazon S3 数据管道目标的私有连接。有了这个版本,客户在将数据移动到 Databricks、Microsoft Azure Synapse、Google BigQuery 和 Amazon Redshift 时还可以使用私人连接。

  • 所有基于 PostgreSQL 的数据源 - 多范围数据类型支持:现在所有基于 PostgreSQL 的数据源(本地和云)都支持以下多范围数据。

    • INT4MULTIRANGE
    • INT8MULTIRANGE
    • NUMMULTIRANGE
    • TSMULTIRANGE
  • AWS Aurora Cloud for PostgreSQL数据源 - 非超级用户角色支持:在 PostgreSQL 连接器中指定的用户不再需要拥有超级用户角色才能从 AWS AuroraCloud for PostgresSQL 数据源中移动数据。这对于具有公司安全策略的组织尤其有用,因为这些策略阻止他们将超级用户访问权限授予非特权用户。

从 Microsoft Azure SQL (MS-CDC) 数据源移动数据的客户现在可以使用地理副本数据库。

Qlik Cloud 数据集成现在支持在 CDC 期间从 Oracle 加密的表空间和加密的列中读取数据。

Qlik Cloud 数据集成现在支持德国和英国地区的租户。

本节列出了最新支持的数据库和驱动程序版本。

  • 新支持的数据源版本。现在支持以下数据源版本:

    • Microsoft SQL Server 2022
    • Oracle 21c
    • PostgreSQL 15.x
    • DB2 13.1(使用 IBM DB2 for z/OS 时)
    • IBM DB2 for iSeries
  • 最新支持的目标数据平台版本现在支持以下数据目标版本:

    • Databricks(云存储):Databricks 12.2 LTS 和 Databricks SQL Serverless
  • 驱动程序版本。现在支持以下 ODBC 驱动程序版本:

    • IBM Data Server Client 11.5.8 for IBM DB2 for z/OZ 以及 IBM DB2 for LUW
    • Simba ODBC 驱动程序 3.0.0.1001,适用于 Google Cloud BigQuery
    • MySQL ODBC Unicode Driver 64 位 8.0.32

往返于 icrosoft SQL Server 移动数据的客户需要将其 SQL Server ODBC 驱动程序版本升级到 18.x 或更高版本。请注意,继续使用 SQL Server ODBC Driver 17.x 可能会导致数据错误。可以使用驱动程序安装实用程序或手动方式升级驱动程序。有关说明,请参阅驱动程序设置

本部分提供有关结束支持的数据库版本的信息。

  • 结束支持的数据源版本。已停止支持以下数据源版本:

    • PostgreSQL 10
    • MySQL 5.6
    • MariaDB 10.3
  • 结束支持的目标数据平台版本已停止支持以下数据目标版本:

    • Databricks 9.1 LTS

2024 年 9 月 7 日

2022.11.74

2023 年 8 月 15 日

我们采用云优先的方法,实现快速创新和采用。然而,这并不意味着我们只是云。作为我们持续致力于提高客户长期价值的一部分,我们很高兴地宣布,在创建数据项目时,将发布一个新的复制用例。新的 Replication 用例是对现有能力的补充,可以为您的所有数据集成需求(如数据仓库现代化)创建数据管道。

Replication 项目支持从受支持的数据源到受支持的目标的实时数据复制。

从最新版本开始,第一个支持实时复制数据的目标是 Microsoft SQL Server。除了支持 Microsoft SQL Server 内部部署外,还支持以下云提供者:

  • 内部:
  • Amazon RDS
  • Google Cloud
  • Microsoft Azure(Microsoft Azure 托管实例和 Microsoft Azure 数据库)

将数据移动到 Microsoft Azure Synapse Analytics 的客户需要将其 SQL Server ODBC 驱动程序版本升级到 18.x 或更高版本。请注意,继续使用 SQL Server ODBC Driver 17.x 可能会导致数据错误。可以使用驱动程序安装实用程序或手动方式升级驱动程序。有关说明,请参阅驱动程序设置

引入了一个新的从源加载数据选项,允许客户在满负载期间直接从源读取数据,而不是使用缓存的数据。

有关此选项(包括使用情况)的详细信息,请参阅登陆设置

数据移动网关 2022.11.74 包括验证 Qlik Cloud 租户所需的更新的 CA 证书。更新后的 CA 证书还为爱尔兰和法兰克福地区提供支持。因此,在爱尔兰或法兰克福拥有 Qlik Cloud 租户的客户如果想要使用 Qlik Cloud Data Integration ,必须升级到此版本。

当宽型表格包含未使用或不支持的列,或未复制的 LOB 列时,从 Oracle 源获取数据的任务有时会失败。

2024 年 4 月 31 日

2022.11.70

2023 年 6 月 28 日

在以前的版本中,客户在安装 SAP 客户端时需要运行 "source arep_login.sh" 命令。在此版本中,不再需要运行此命令。

该版本包括验证 Qlik Cloud 租户所需的更新的 CA 证书。

  • 数据移动网关 上的复制任务失败并自动恢复时,恢复的状态将不会传达给 Qlik Cloud 中的登陆数据资产。

  • 数据移动网关 的端到端加密默认情况下将不会启用,而是由运行时标志控制。
2023 年 9 月 15 日

2022.11.63

2023 年 5 月 2 日

此版本引入了一个驱动程序安装工具,不再需要手动安装和配置驱动程序。新工具缩短了安装过程,同时大大降低了用户出错的可能性。当工具运行时,如果可能,会自动下载并安装所需的驱动程序。如果无法下载驱动程序(例如,DB2 驱动程序需要登录),您所需要做的就是下载驱动程序,将其复制到数据移动网关计算机上的专用文件夹中,然后运行该工具。

有关使用驱动程序安装工具安装 PostgreSQL 驱动程序的示例,请参阅先决条件

Snowflake 连接器现在支持 4 字节表情符号字符。

PostgreSQL 连接器现在可以从 Azure Database for PostgreSQL - Flexible Server 移动数据。

PostgreSQL 连接器现在可以为 PostgreSQL 从 Cloud SQL 中移动数据。

此版本引入了对以下新数据源版本的支持:

  • PostgreSQL 14
  • DB2(适用于 IBM DB2 for z/OS)12.1
  • IBM DB2 for z/OS 2.5

Databricks 11.3 LTS

不再支持以下数据源版本:

  • DB2(适用于 IBM DB2 for z/OS)11
  • PostgreSQL 9.6
  • Microsoft SQL Server 2012
  • MariaDB 10.2

此版本解决了以下问题:

  • Oracle 数据源:在停止和恢复任务时,任务有时会失败,并出现“无法在上下文中设置数据流位置”错误。
  • SAP 应用程序源:在登陆 任务期间不会捕捉到更改。

2023 年 9 月 15 日

2022.5.13

2022 年 10 月 19 日

初始版本

2023 年 8 月 2 日

卸载 数据移动网关

要卸载 数据移动网关,请运行以下命令:

rpm -e <installation package name>

示例:

rpm -e qlik-data-gateway-data-movement-2023.11-1.x86_64

如果您不知道程序包名称,请运行:

rpm -qa | grep qlik

警告注释卸载 数据移动网关 将导致当前使用数据网关的所有任务失败。

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们如何改进!