升级 Qlik Data Gateway - Direct Access

新增功能和改进

• 数据块恢复机制

  此版本引入了对发送丢失或损坏的数据块的支持。为了控制重新加载的数据块在内存中的大小，在 configuration.properties 文件中添加了一个新属性：RELOAD_CACHE_MEMORY_MB

  要了解如何设置此属性，请参阅存储损坏或丢失的数据块以供将来重新加载

• 不再要求必须使用 .NET 6.0.x

  从这个版本开始，运行 Direct Access gateway 不再必须使用 .NET 6.0.x。在安装 Direct Access gateway 之前，新客户应该先安装 .NET 4.8（安装所需）以及 .NET 8.0 和 ASP.NET Core Runtime（用于使用 Direct Access gateway）。

  有关 Direct Access gateway 先决条件的更多信息，请参阅系统先决条件

• 改进了所依赖流程的批处理操作

  从这个版本开始，依赖进程将接受并行检查，而不是顺序检查，从而避免了由于运行时修改进程列表而导致的异常。

  有关进程隔离的更多信息，请参阅减轻重新加载过程中的连接器崩溃

• 改进了故障排除

  日志中的资源使用警告中添加了更多上下文（例如“进程 ID”和“提交大小”）。

已解决的问题

Direct Access gateway 1.6.8 解析以下问题：

• 误导性错误信息

  重新启动网关（手动或由于崩溃）后，请求可能会在初始化之前发送到连接器代理 (ConnectorAgent.exe) 。在这种情况下，错误消息会造成误导。现在，错误消息将指示网关已断开连接。

• 由于已断开连接，重新加载失败

  初始负载后的 Direct Access gateway 断开连接有时会导致后续重新加载失败，并出现以下错误：

  Requested endpoint could not be provisioned due to failure to acquire a load slot: Command getReloadSlot error for reload

  由于记忆棒关闭导致的重新加载失败

  分析引擎有时会缓存来自早期会话的连接，并向被请求关闭的记忆棒发送请求。这将导致重新加载失败，并出现以下错误：

  Connector error: data loading error (DirectAccess-4008)

• 重新启动 Direct Access gateway 服务后重新加载卡滞

  在某些情况下，连接器代理在重新加载期间断开连接后不会尝试重新连接，从而导致以下错误：

  Reload web socket was aborted due to a failure (DirectAccess-1103)

• Amazon Redshift 连接器：SELECT 表将填充重复的列

  当表存在于从 Datashare 中创建的数据库引用的外部模式中时，DLE/数据管理器预览中将显示重复的列。

新增功能和改进

• 在处理进程隔离时支持自动端口分配

  以前，使用默认端口号和范围设置时，无法将 [ODBC|SAPBW|SAPSQL|SAPPACKAGE]_MAX_PROCESS_COUNT 值设置为高于 10。从这个版本开始，端口将自动分配，允许并发重新加载进程的数量大于 10。

• 使用 SQP SQL（通过 Direct Access gateway）连接器时增强的元数据分页

  通过此增强功能，当检索到 10000 个或更多表时，将以 10000 个为一批的方式检索这些表，以防止超时。

已解决的问题

Direct Access gateway 1.6.7 解析以下问题：

• 使用进程隔离时未释放过期的重新加载

  使用进程隔离时，连接器进程不会因过期的重新加载而释放。

• 尽管取消了应用程序，但 Amazon Redshift 会话仍在继续运行

  即使正在运行的 QCS 应用程序被取消，Amazon Redshift 会话也会继续运行，直到查询完成。

• 已解决的安全漏洞

  • Direct Access gateway 连接器将所有服务绑定到 0.0.0.0，允许从本地计算机上的每个 IP 地址进行连接，这可能会使服务器暴露在每个可能的网络中。
  • Direct Access gateway 将尝试从用户临时文件路径中不存在的动态生成目录加载 MPR.dll。由于预期位置没有 MPR.dll，攻击者可以在此路径中放置恶意 DLL，安装程序随后可以加载并执行该 DLL。

• 重新启动 Direct Access gateway 服务后重新加载卡滞

  当使用非选择查询和存储过程时，重新加载将在重新启动 Direct Access gateway 服务后挂起几个小时。

• 数据预览和重新加载问题

  使用 ODBC（经由 Direct Access gateway）连接器访问 Microsoft Fabric 时，有时会遇到数据预览和重新加载问题。

• 添加 ORDER BY 子句时出错

  在使用 ODBC（经由 Direct Access gateway）连接器和 SQL Anywhere 17 时，添加 ORDER BY 子句会导致错误。

新增功能和改进：

Direct Access gateway 1.6.6 引入了以下功能和增强功能：

• 支持通过 Direct Access gateway 访问 ServiceNow

  此版本引入了对 ServiceNow（经由 Direct Access gateway）连接器的支持，允许客户通过严格的出站、加密和相互验证的连接安全地访问防火墙 ServiceNow 数据源。

• 使用以下 Direct Access gateway 连接器时支持新的身份验证方法：

  • Azure Synapse Analytics：Azure OAuth 和 Azure Active Directory
  • Azure SQL 数据库：Azure OAuth 和 Azure Active Directory
  • Snowflake：OAuth
  • Databricks：Azure OAuth
  • MongoDB：SCRAM-SHA-256 和 LDAP

• 使用 ODBC 连接器时增强了元数据分页

  通过此增强功能，当检索到 10000 个或更多表时，将以 10000 个为一批的方式检索这些表，以防止超时。

• .NET 8.x 要求

  在此版本中，将要求客户同时安装版本 .NET 6 和 .NET 8.x 后方可使用 Direct Access gateway。在安装或升级过程中，如果尚未安装，安装程序将自动安装它们。

• 提高了可支持性

  为了帮助故障排除，添加了额外的日志记录，用于测量 Direct Access gateway 请求的持续时间。

已解决的问题

Direct Access gateway 1.6.6 解析以下问题：

• 如果 Direct Access gateway 和 Qlik Cloud 之间的连接空闲 30 秒或更长时间，则重新加载操作有时会失败，并出现以下错误：无效的对象名称 '#<TempTableName>'（表示 Direct Access gateway 临时表不可用）。

  为了解决此问题，在 C:\ProgramData\Qlik\Gateway\<GATEWAY-INSTALL-DIR>\configuration.properties 文件中添加了一个新的 ODBC_RELOAD_SESSION_LIFE 参数。新参数设置 ODBC 连接器的重新加载会话持续时间，默认值为 20 秒。

• 取消重新加载有时会导致 ODBC 进程创建和终止循环。
• Direct Access gateway 和 Qlik Cloud Services 之间的连接有时会在没有明显原因的情况下突然终止。

• Direct Access gateway 连接重试间隔将不断延长，但永远不会自行重置。重新启动 Direct Access gateway 服务将是重置重试间隔的唯一方法。

• 当使用不正确的语法从 Oracle 调用存储过程时，重载操作将挂起数小时，而不是立即终止并显示一个信息性错误。

新增功能和改进：

Direct Access gateway 1.6.5 引入了以下功能和增强功能：

• 对 SAP ODP 连接器的支持

  此版本引入了通过 Direct Access gateway 访问 SAP ODP 源的功能。为了便于实现这一点，在 SAP ODP 连接器中添加了一个新的数据网关字段。新字段允许客户选择使用哪个网关来访问其 SAP ODP 源。

  另请参阅：SAP ODP 连接器 （仅提供英文版本）

• 扩展的日志记录功能

  此版本引入了一个新的记录器，Qlik 支持可以使用它来解决特定网关组件的问题。

• 新支持的地区

  日本现在作为 Qlik Cloud 租户地区受支持。

• 性能增强

  改进了加密会话的内存分配。

已解决的问题

Direct Access gateway 1.6.5 解析以下问题：

• 安全漏洞

  使用 ODBC 连接器时，密钥会写入 DCAAS 日志。

• 进程隔离性能

  进程在重负载下启动时需要很长时间。

• 安装路径不正确

  如果安装 Direct Access gateway，则总是会将 Qlik 设置为根文件夹，即使用户在安装向导中选择了不同的文件夹。

新增功能和改进

• 支持从 管理 活动中心查看和下载日志文件

  此版本引入了在 管理 活动中心中查看 Direct Access gateway 日志文件并在需要时与 Qlik 支持人员共享这些日志文件的功能。在正常情况下，没有理由查看日志文件，但如果您遇到重复故障或其他问题，日志文件通常有助于查明原因。

  另请参阅：查看和下载日志文件

• 支持静默安装 Direct Access gateway

  客户现在可以静默安装 Direct Access gateway，如果您需要在整个组织的多台机器上进行安装 Direct Access gateway，这将非常有用。

  另请参见：静默安装 Direct Access gateway

• 改进了会话连续性

  当重新加载会话过期时，有时会发生 DirectAccess-1012 错误。现在，Direct Access gateway 将尝试通过更频繁地对 Qlik Cloud 进行 ping 检测来保持重新加载会话的有效性。

已解决的问题

Direct Access gateway 1.6.4 解析以下问题：

• configuration.properties 文件中的参数名称不正确

  执行 Direct Access gateway 的新安装时，C:\ProgramData\Qlik\Gateway\configuration.properties 文件中的 EXTEND_FIRST_REQUEST_TIMEOUT 参数名称将被错误地称为 FIRST_REQUEST_TIME_EXTENSION。

• 重新加载 pod 可用性

  当多个重载共享相同的重载 ID 时，QCS 中的重载 pod 数量将达到最大值。

Direct Access gateway 1.6.3 包括以下增强和错误修复：

• 数据丢失保护

  在以前的版本中，为了防止潜在的数据丢失，Direct Access gateway 在重新加载期间不会自动重新连接到数据源。从这个版本开始， Direct Access gateway 现在将根据需要自动重新连接到数据源。为防止数据丢失，在重新连接之前，将验证已完成的重新加载摘要。如果检测到数据丢失，则重新加载将失败。

• 重载会话超时

  在极少数情况下，重新加载会话将无限期保持活动状态。为了防止这种情况发生，此版本为重新加载会话引入了三个小时的超时时间。

• 加载请求的超时扩展

  重新加载有时会失败，并出现以下错误：

  Connector error: The session does not exist (DirectAccess-1509)

  Connector error: The stream session expired for the load data request (DirectAccess-1012)

  为了缓解此问题，在 C:\ProgramData\Qlik\Gateway\configuration.properties文件中添加了一个 EXTEND_FIRST_REQUEST_TIMEOUT 参数（用于延长加载请求超时）。参数值的计量单位为分钟。经常遇到这些错误的客户应该尝试将值设置为 5-10 分钟。

  有关详细说明，请参阅 Direct Access gateway 故障排除

• 支持详细的连接错误信息

  增加了在使用基于 ODBC 的 Direct Access gateway 连接器时查看详细连接错误消息的支持。客户现在可以将高级连接器设置中的 ShowErrorDetailMessage 参数设置为“true”，以查看 ODBC 驱动程序返回的完整错误。详细的错误消息将显示在数据加载编辑器中。

  信息注释错误消息由您正在使用的数据源完整提供。Qlik 不会在错误消息中附加任何附加信息，也不会以任何方式对其进行编辑。

• 处理具有相同重载 ID 的多次重载

  在此版本中，引擎会话 ID 将用于区分具有相同重新加载 ID 的多个重新加载。这将防止潜在的冲突，这些冲突会导致重新加载失败并出现以下错误：

  Connector error: data loading error (DirectAccess-4008

Direct Access gateway 1.6.2 解决了在进程隔离模式下工作时有时会导致连接器代理崩溃的问题。

新功能和改进

Direct Access gateway 1.6.1 引入了几个重要的功能和增强功能，提高了整体稳定性和性能。

• 支持在多个连接器进程中分散重新加载

  连接器进程隔离已添加到 Direct Access gateway。这是一个选择加入功能，意味着它在默认情况下是关闭的。 进程隔离 允许直接访问网关服务器操作系统的管理员控制每个连接器类型可用于重新加载的进程数。通过减少每个连接器进程上同时运行的重新加载次数，在多个连接器进程之间分散重新加载可以提高隔离级别。这反过来又可以在发生连接器崩溃的情况下提高整体 Direct Access gateway 稳定性。

  另请参阅：减轻重新加载过程中的连接器崩溃

• 添加了在使用 SAP BW（通过 Direct Access gateway）连接器时禁用分块的功能

  此版本为 SAP BW（通过 Direct Access gateway）连接器引入了 BEX_ONE_CHUNK 应用程序参数。当直接从 Qlik Cloud 访问 SAP BW 时（即，不通过 Direct access gateway），为了优化性能，结果集在 SAP 后端被划分为块，并作为单独的线程读取。然而，当通过 Direct Access gateway 访问 SAP BW 时，将结果集划分为块并没有真正的优势。相反，它消耗了 SAP 中更多的共享内存，因为它需要在数据传输期间创建一个额外的临时表。可以（尽管通常不是必需的）通过在 appsettings.json 文件中设置 BEX_ONE_CHUNK:false 来开始分块，该文件位于 SAP 连接器二进制文件文件夹中。

• SAP BW（通过 Direct Access gateway）和 SAP SQL（通过 Direct Access gateway）连接器的诊断改进

  对于 SAP BW（通过 Direct Access gateway）和 SAP SQL（通过 Direct Access gateway）连接器日志，在日志文件扩展名之前添加 _port 后缀，并在连接器的日志文件中添加 ProcessID=### 消息，以便区分在同一端口上侦听的连接器的新实例中的事件。

• 识别改进

  重新加载期间的重新连接机制得到了改进，因此 Direct Access gateway 不再需要连接到启动重新加载的记忆棒（与以前一样）。现在，它将连接到第一个可用的记忆棒，而不是重复尝试连接到启动重新加载的记忆棒（这通常会导致重新加载失败）。

已解决的问题

Direct Access gateway 1.6.0 解析以下问题：

• ODBC（经由 Direct Access gateway）连接器日志：

  当从不同的数据源执行重新加载时，来自一个数据源的进程将错误地出现在另一个数据来源的日志中。

• 安装程序中缺少文件

  在 Direct Access gateway 安装过程中不会复制 configuration.properties 文件。

• Qlik Cloud 资源扩展期间的重新加载错误

  Qlik Cloud 资源扩展有时会导致 DirectAccess-1006 错误。进行了增强，以改进对某些 Qlik Cloud 资源扩展场景的处理，这些场景发生在通过 Direct Access gateway 执行应用程序重新加载期间。

• Snowflake 连接故障

  通过 ODBC（通过 Direct Access gateway）连接器连接到 Snowflake 将失败。

• DLE 中调试应用程序脚本失败

  在启用限制结果选项的情况下，在数据加载编辑器 (DLE) 中调试应用程序脚本有时会失败，并出现以下错误：

  Connector error: Invalid load request (DirectAccess-1006).

已解决的问题：

• ODBC（经由 Direct Access gateway）连接器：取消大型表格的重新加载时，连接器有时会崩溃。进行了改进以防止这种情况。

• Microsoft SQL 服务器（经由 Direct Access gateway）连接器：试图与托管在较旧的 Windows Server 版本上的 SQL Server 的建立连接时，由于 TLS 兼容性问题，会连接失败，并返回以下错误：

  Please check the values for Username‚ Password‚ Host and other properties. Description: Client unable to establish connection - ERROR [08001] [Qlik][SqlServer] Problem establishing connection to the server.

  已更新 SQL Server 驱动程序以解决此问题。

• SAP SQL（经由 Direct Access gateway）连接器：尝试预览表格时，有时会出现以下错误：

  Exception of Type System.OutOfMemoryException

• SAP SQL（经由 Direct Access gateway）连接器：尝试预览表格有时会在几分钟后超时，并出现以下错误：

  Request could not be completed.

• SAP SQL（经由 Direct Access gateway）和 SAP BW（经由 Direct Access gateway）连接器：在日志中增加诊断信息，帮助解决多个并发请求的问题。

新增功能和改进：

• 提供对 ODBC（经由 Direct Access gateway） （仅提供英文版本） 连接器的支持。

• 管理 活动中心中的版本列现在将显示 Direct Access gateway 版本，而不是 RepAgent（其子组件之一）版本。

已解决的问题：

• 升级 Direct Access gateway 会将高级 ODBC 连接器日志记录设置（如日志文件保留期和最大大小）重置为默认值。
• 在极少数情况下，ODBC 连接器会崩溃，Direct Access gateway 代理无法重新启动。
• 当连接失败或 SQL 查询无效时，将返回一个通用的“偏移量和长度越界…”错误，而不是实际的错误原因。
• 在极少数情况下，对于在初始网关查询后延迟或处理时间延长的大于 3 GB 的应用程序，应用中心重新加载将失败，并出现“DirectAccess-4008”错误。添加了额外的日志记录，以帮助识别任何相关问题。

已解决的问题：

• 对 C:\ProgramData\Qlik\Gateway\configuration.properties 文件中 ODBC_LOG_LEVEL 值的更改将无效。

• 如果激活的直接访问网关连接在几分钟内未使用，则重新加载将失败，并出现以下错误：

  Connector error: Invalid load request (DirectAccess-1006)

  如果会话仍然有效，则不超时，从而解决了此问题。

• 从 MySQL 和 PostgreSQL 加载具有大量列的表有时会失败，并出现以下错误：

  System.InvalidOperationException: Failed to HPACK encode the headers

• 当用户对包含直接访问网关的托管空间没有权限时，将显示以下不明的错误：

  Requested endpoint could not be provisioned due to failure to acquire a load slot: Object reference not set to an instance of an object.

  对该问题进行了更准确的描述，从而改进了错误消息。

• 由于内存消耗过大，多次重新加载尝试有时会失败。

特性和改进：

Direct Access gateway 定期检查其运行状况。从该版本开始，如果服务在五分钟内没有响应，运行状况检查将重新启动 Direct Access gateway 服务。

已解决的问题：

• 当使用立即返回元数据但几分钟后仅返回第一个数据块的查询启动重新加载时，有时会出现以下错误：

  Connector error: data loading error (DirectAccess-4008)

• 在某些情况下，Direct Access gateway 将不会在重新加载中断时重新连接到 Qlik Cloud。

• 在极少数情况下，重新加载时会遇到以下错误：

  No connection could be made because the target machine actively refused it.

• 连接到 SQL Server 时，密码中的特殊字符无法正确编码，导致以下错误：

  Command test connection returned non-success: Error message: Please check the values for Username‚ Password‚ Host and other properties. Description: Access credentials are not valid for this connection.

• 当查询返回数据时，如果中止用户界面的加载活动，ODBC 连接器有时会崩溃。

• 在与重载相关的极少数情况下，重载有时会失败，并出现以下错误：

  Connector error: Unknown reason:. Index was outside the bounds of the array. (DirectAccess-1500)

已更新对 Qlik Cloud 租户进行身份验证所需的 CA 证书。

此版本解决了以下问题：

Qlik Data Gateway - Direct Access 1.3.1 在某些情况下容易出现 CPU 利用率过高的情况。1.3.2 版解决了这个问题，不包含其他更改。为了防止与 CPU 相关的故障，我们鼓励所有客户立即升级到 1.3.2 版本。

此版本包括 Qlik Cloud 政府 的 CA 捆绑，并解决了几个问题。

Qlik Cloud 政府 的 CA 捆绑文件

CA 捆绑包验证 Qlik Cloud 租户的身份，从而确保可信连接。

在以前的 Direct Access gateway 版本中，Qlik Cloud 政府 客户的 CA 捆绑文件是由 Qlik 根据需要提供的。在此版本中，CA 捆绑包文件包含在安装中。

在默认设置中，CA 捆绑包文件安装到以下位置：C:\Program Files\Qlik\ConnectorAgent\caBundle]qcg_ca_bundle.pem

已解决的问题

• 发现了一个安全漏洞，由此代理连接的 HTTP 客户端将遵循重定向。

• Direct Access gateway 代理程序有时会因以下错误而崩溃：

  Unable to write data to the transport connection: An established connection was aborted by the software in your host machine

• 在日志初始化期间有时会发生异常，这将导致 Direct Access gateway 在重新启动时挂起。
• 改进了重新加载会话处理，以防止不必要的超时。
• 管理 活动中心中的 Direct Access gateway 版本列将指示错误的版本。
• 在用户停止任务或达到配额限制后，代理将继续向网关发送数据。
• 数据网关的端到端加密默认情况下将不会启用，而是由运行时标志控制。

此版本解决了以下问题：

• Qlik 数据网关 – 直接访问 1.2 版由于其数字签名问题，可能无法安装。
• 升级过程中将覆盖配置文件，导致更改丢失

特性和改进：

• 增加了对 SAP BW 和 SAP SQL 源的支持。有关设置与这些源的连接的信息，请参阅 SAP NetWeaver （仅提供英文版本）。

已解决的问题：

• 提高了 Qlik Data Gateway - Direct Access 服务的稳定性和可恢复性，无需手动重新启动服务
• 支持覆盖默认的 Direct Access gateway 安装和配置参数

特性和改进：

• 添加了 Windows Server 2022 支持

已解决的问题：

• 解决了安装过程中与选择自定义路径相关的潜在稳定性问题

1.1.0

2022 年 10 月 18 日

特性和改进：

• 支持 Oracle Wallet
• 支持 Google BigQuery
• 改进了错误消息

已解决的问题：

• 已改进驱动程序崩溃后的系统恢复能力
• Qlik Data Gateway - Direct Access 服务有时会意外停止