升級並解除安裝 資料移動閘道

2024.5.32

修補

在 Workday Reports 來源連接器中更新使用者名稱和密碼並載入任務之後，即使認證正確，也會出現「使用者名稱或密碼無效」錯誤。此問題現已解決。

修補

此版本解決了下列問題：

安全性

隨 資料移動閘道 提供的 Oracle Java 標準版 17.0.8 具有多個已知弱點。此修補程式將 17.0.8 替換為 17.0.12，藉此解決了這些問題。

Salesforce 來源

在 CDC 期間，對於每次變更，都會將多個 INSERT 操作新增至關聯的 _ct 表格 (而不是只有一個)。這會顯著增加 _ct 表格中的記錄數量。

標準

修補

此版本解決了下列問題：

Snowflake JDBC 驅動程式弱點

2024 年 8 月 14 日，Snowflake 發佈了有關 Snowflake JDBC 驅動程式的安全公告 >= 3.2.6 & <= 3.19.1，其中部分內容與先前版本的 資料移動閘道 一起使用。該弱點已在 Snowflake JDBC 驅動程式 3.20 中修補，現在與驅動程式安裝公用程式一起安裝。現有客戶應盡早按照驅動程式設定中所述的更新驅動程式程序升級其驅動程式。

Oracle 來源

• 使用重做事件 11.22 時，若在 INSERT 之前未壓縮的壓縮頁面上處理多個 INSERT，會發生遺失 INSERT。
• 在極少數情況下，對重做記錄中的 DELETE 事件進行錯誤剖析，會產生「重做記錄 DELETE 事件包含未知結構」警告，然後出現各種問題。

SAP 擷取器來源

YAML 檔案中的說明已更新，以反映 SAP Java 連接器的正確版本。

Snowflake 目標

使用 資料移動閘道 透過 Proxy 連線至 Snowflake 目標時，連線將失敗並出現以下錯誤：

500 Failed to connect to Data Movement Gateway

修補

修補

已解決的問題

• Oracle 來源

  • 使用重做事件 11.22 時，有時會在多個 INSERT 操作中發生遺失 INSERT。

  • Oracle 19g 升級到 July 2024 修補程式後，有時會無法擷取 UPDATE 操作，並顯示下列警告：

    A compressed row cannot be parsed

• Snowflake 目標

  若任務設定已設定為建立控制表格結構描述，任務將失敗並出現下列錯誤：

  Failed to delete directory

• 已排程 CDC

  若任務排程為定期執行，有時會失敗並出現以下錯誤：

  The task stopped abnormally

• 卡住的轉換和儲存任務

  轉換和儲存任務有時會長時間處於佇列狀態。

• 中繼資料管理員

  使用 use_manipulation_pk_for_apply 功能旗標搭配儲存變更複寫時，任務會失敗。

• 長時間逾時導致 SaaS 應用程式來源出現問題

  將 S3 逾時延長至 6 小時，以防止長時間逾時導致的問題，例如遺失下載檔案的 Token。

標準

增強事項

• 已將金鑰組驗證新增至 Snowflake 目標連接器

  相較於用於透過服務帳戶連線至 Snowflake 的使用者/密碼，金鑰/金鑰組提供了更強大的驗證方法。建議將此方法用於資料載入 (複製或登陸任務) 和轉換等工作負載。

• 支援從多個表格平行擷取中繼資料

  在先前的版本中，對現有資料集或新增的資料集重新整理中繼資料有時會失敗並出現錯誤。此增強功能可確保毫無問題地從多個表格中平行擷取中繼資料。

已解決的問題

• DECIMAL 資料類型錯誤地對應至 Google BigQuery 中的 STRING

  若來源表格包含了 DECIMAL 資料類型的欄，例如 DECIMAL (38, 20)，則在 Google BigQuery 準備儲存任務將會失敗，並出現以下錯誤 (摘錄)：

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  將來源 DECIMAL 資料類型對應至 Google BigQuery 中的 DECIMAL，藉此解決了該問題。

• 結構描述規則錯誤

  在資料任務中變更現有結構描述規則後，會出現以下錯誤：

  QRI SQL error not implemented

• SAP 傳輸中遺失 /QTQVC/QRI 表格

  準備連線至 SAP 應用程式來源的登陸任務時，該任務將成功完成，但會在 resrv.log 記錄檔中報告以下錯誤：

  Invalid object name 'hk1./QTQVC/QRI'

標準

增強事項

• 支援複寫和湖登陸任務的中繼資料變更，不需要捨棄並重新建立所有表格

  之前，若發生中繼資料變更，則即使中繼資料變更沒有影響所有表格，也會捨棄並重新建立所有表格。現在，只會捨棄並重新建立變更的表格，藉此改善效能。

• 支援在複寫任務中自動載入新的表格

  在符合納入模式的複寫資料任務期間，於來源資料庫中建立的表格，現在將會於 CDC (變更資料擷取) 期間自動擷取。

• Microsoft SQL Server (MS-CDC) 來源提升事項

  • 時間戳記和交易 ID 保留

    之前，從 Microsoft SQL Server (MS-CDC) 讀取多個交易時，Qlik Talend Data Integration 只會保留第一個交易的交易 ID 和時間戳記。在目標上，記錄看起來屬於單一交易。現在，Qlik Talend Data Integration 將會保留每個個別記錄的原始交易 ID 和時間戳記。這有利於希望在變更表格中運用交易 ID 和時間戳記標頭欄的客戶。

  • 交易 ID 位元組順序

    之前，交易 ID 中的位元組以相反順序編碼。從此版本開始，將會以正確順序編碼位元組。想要保留現有行為的資訊客戶可以使用內部參數這麼做。如需詳細資訊，請聯絡 Qlik 支援。

• 支援透過 MySQL 快取 SHA-2 插入式驗證

  以內部部署方式或在雲端中使用 MySQL 來源或目標時，Qlik Talend Data Integration 現在支援快取 SHA-2 插入式驗證 (caching_sha2_password)。在之前的版本，僅支援原生插入式驗證 (mysql_native_password)。

• Amazon Redshift 資料類型對應變更

  BYTES 和 BLOB 資料類型現在將對應到 Amazon Redshift 上的 VARBYTE，而不是 VARCHAR。

新認證的平台、端點和版本

• 資料來源

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• 目標平台

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• 驅動程式

  • SQL Server ODBC 驅動程式 18.3

支援結束

已中斷對於下列資料庫版本的支援：

• 早於 Oracle 19.x 的所有 Oracle 版本和驅動程式
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

已解決的問題

• SAP (應用程式) 來源

  若擷取的叢集文件變更刪除了所有擷取表格的所有列，會遇到遺失的 DELETE (刪除) 操作和不必要的判斷訊息。

• 安全性弱點

  用於 Java (MSAL4J) 和 Bouncy Castle 的 Microsoft 驗證庫已更新為沒有已知弱點的版本。

• Snowflake 目標

  • 使用 Snowflake 內部儲存時，任務有時候會失敗。
  • 若目標結構描述名稱是日文片假名，任務會失敗。

• Oracle 來源

  若繼續進行使用 Oracle 來源的任務，該任務會繼續等待已刪除的封存重做記錄，而非失敗並顯示適當錯誤。

標準

增強事項

• Snowflake 中繼資料結構描述

  自此版本起，若不存在 Snowflake 中繼資料結構描述，將會建立 (對於暫存檔案)。

已解決的問題

• 對重新命名資料集規則 (這串連表格名稱與結構描述名稱) 進行變更且檢視畫面新增至登陸任務後，準備操作會失敗，並有下列錯誤：

  QRI SQL error not implemented.

• java_file_factory 元件已更新至沒有任何已知弱點的版本。
• org.postgresql:postgresql 已更新至沒有任何已知弱點的版本。
• 將資料移至 SQL Server 時，若索引名稱超過 128 個字元，則準備操作會失敗。已改變邏輯，建立較短的索引名稱，藉此解決問題。

• 從 SQL Server 移動資料時，表格定義中遺失的欄名稱會在 repsrv.log 檔案中造成無限通知迴圈，並有下列訊息：

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

標準

增強事項

• 平行中繼資料擷取

  對同時擷取多個表格的中繼資料新增支援。

• 改善監控效能

  登陸和複寫任務的監控資訊現在每 10 秒更新一次 (而非每 60 秒)，對目前狀態提供更精確的指示。

• 新支援的區域

  日本現在作為 Qlik Cloud 租用戶區域受到支援。

已解決的問題

• 資料閘道和 Qlik Cloud 之間的重試間隔會持續增加，但不會重設 (除非重新啟動服務)。
• 從 SaaS 應用程式來源移動資料時，表格有時候會在載入期間輸入錯誤狀態。

• CDC 期間，具有 MySQL 來源的任務有時候會失敗並有下列錯誤：

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• 之前，只會為登陸任務記錄 CDC 稽核事件。現在，也會為複寫任務進行記錄。
• 從 SQL Server (MS-CDC) 移動資料時，具有許多表格的任務有時候需要幾個小時才能開始。

• 若來源表格包含 CLOB 欄且「限制 LOB 大小」值超過 10240，則複寫至 Snowflake 會失敗並有下列錯誤：

  Invalid character length: 0

標準

支援在 Red Hat 9.x 安裝 資料移動閘道

客戶現在可以在 Red Hat 9.x 或在任何對應且相容的 Linux 發佈版本上安裝 資料移動閘道。

設定 資料移動閘道

變更為 資料移動閘道 服務命令

用於停止、開始和檢查 資料移動閘道 服務狀態的命令已變更。

資料移動閘道 服務命令

變更為 Amazon Redshift 資料類型對應

• 在 Amazon Redshift 對應至 VARCHAR(1) 的 BOOLEAN 資料類型現在將對應至 BOOLEAN。
• 在 Amazon Redshift 對應至 VARCHAR(1) 的 BYTES 和 BLOB 資料類型現在將對應至 VARBINARY (長度)。

新支援的資料庫、資料庫版本和驅動程式版本

此區段列出新支援的資料庫、資料庫版本和驅動程式版本。

• 新支援的資料來源版本

  現在支援下列資料來源版本：

  • Azure Database for MySQL - 彈性伺服器 (透過 MySQL 來源連接器支援)
  • MariaDB 10.4 - 10.11 (之前是 10.4 和 10.5)

• 新支援的目標資料平台和版本

  現在支援下列資料目標版本：

  • Azure Database for MySQL - 彈性伺服器 (透過 MySQL 目標連接器支援)
  • Databricks：Databricks 13.3 LTS 和無伺服器 SQL 倉庫

• 新支援的 SAP HANA 驅動程式版本

  具有 SAP HANA 來源且想要在 Red Hat Linux 9.x 安裝 資料移動閘道 的客戶必須安裝 SAP HANA ODBC 64 位元驅動程式版本 2.0.19 或更高版本。

結束支援資料庫版本

此區段提供關於結束支援資料庫版本的資訊。

• 已中斷對於下列資料來源版本的支援：

  • Oracle 11.x
  • SAP HANA 1.0

已解決的問題

• 安裝 資料移動閘道 而不提供伺服器密碼不允許以一個命令設定租用戶和 Proxy URL。
• 從 Salesforce (SaaS 應用程式) 資料來源移動資料會列印大量冗餘警告，藉此影響資料載入效能。
• 擷取 SaaS 應用程式資料來源的變更時，若擷取表格之一的變更時發生錯誤，會暫停並從管道移除該表格。現在，遇到錯誤時，任務將會先嘗試擷取變更最多三次，再暫停表格。

標準

複寫專案的新資料湖目標

除了 Amazon S3，我們持續在 Qlik Cloud Data Integration 中為複寫專案擴展支援的目標，您現在可以選擇 Azure Data Lake Storage (ADLS) 和 Google Cloud Storage (GCS) 以 parquet、JSON 或 CSV 檔案格式進行資料湖傳遞。

已解決的問題：

• IBM DB2 for LUW 來源連接器

  若連線所需的檔案大小 (例如 SSL 用戶端憑證和金鑰儲存區檔案) 超過 4 KB，連線至 IBM DB2 for LUW 將會失敗。

• IBM DB2 for LUW 的驅動程式和 IBM DB2 for z/OS 來源連接器

  使用驅動程式安裝公用程式時，DB2 驅動程式安裝會失敗。

標準

支援 Microsoft Fabric 作為資料管道目標

Microsoft Fabric 聯結不斷展開的資料倉庫清單，這可以作為資料管道專案中的目標使用。

已解決的問題：

已更新驅動程式安裝公用程式中的 Snowflake 驅動程式版本。

標準

私人連線的擴展支援

私人連線可用來確保資料流量保持安全且合規。這簡化 VPC (虛擬私人雲端) 的網路管理和安全性，不需要開啟傳入防火牆連接埠、Proxy 裝置或路由表格。Qlik Cloud 資料整合已支援私人連線至 Snowflake、Microsoft SQL Server 和 Amazon S3 資料管道目標。透過此版本，客戶將資料移至 Databricks、Microsoft Azure Synapse、Google BigQuery 和 Amazon Redshift 時，可以額外運用私人連線。

基於 PostgreSQL 的資料來源

• 所有基於 PostgreSQL 的資料來源 - 多範圍資料類型支援：現在透過所有基於 PostgreSQL 的資料來源 (內部部署和雲端) 支援下列多範圍資料類型。

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• 適用於 PostgreSQL 資料來源的 AWS Aurora Cloud - 非超級使用者角色支援：在 PostgreSQL 連接器中指定的使用者不再需要有超級使用者角色，即可從適用於 PostgreSQL 資料來源的 AWS Aurora Cloud 移動資料。對於具有企業安全性政策 (防止向超級使用者授予非權限使用者的存取權限) 的組織，這特別實用。

Microsoft Azure SQL (MS-CDC) 資料來源：地理複寫支援

從 Microsoft Azure SQL (MS-CDC) 資料來源移動資料的客戶現在可以使用地理複寫資料庫。

Oracle 資料來源：HSM (硬體安全性模組) 支援

Qlik Cloud 資料整合現在支援在 CDC 期間從 Oracle 加密表格空間和加密欄讀取資料。

新的地區支援

Qlik Cloud 資料整合現在支援 DE 和 UK 地區的租用戶。

新支援的版本和第三方軟體

此區段列出新支援的資料庫和驅動程式版本。

• 新支援的資料來源版本。現在支援下列資料來源版本：

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (若使用 IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• 新支援的目標資料平台版本。現在支援下列資料目標版本：

  • Databricks (雲端儲存空間)：Databricks 12.2 LTS 和 Databricks SQL Serverless

• 驅動程式版本。現在支援下列 ODBC 驅動程式版本：

  • 適用於 IBM DB2 for z/OZ 和 IBM DB2 for LUW 的 IBM Data Server Client 11.5.8
  • Simba ODBC 驅動程式 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64 位元 8.0.32

Microsoft SQL Server 驅動程式 - 所需升級

將資料移至 Microsoft SQL Server 或從 Microsoft SQL Server 移動資料的客戶需要將 SQL Server ODBC 驅動程式版本升級為 18.x 或更高版本。請注意，繼續使用 SQL Server ODBC 驅動程式 17.x 可能會造成資料錯誤。可以使用驅動程式安裝公用程式或手動方式來升級驅動程式。如需說明，請參閱驅動程式設定。

結束支援資料庫版本

此區段提供關於結束支援資料庫版本的資訊。

• 結束支援的資料來源版本。已中斷對於下列資料來源版本的支援：

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• 結束支援的目標資料平台版本。已中斷對於下列資料目標版本的支援：

  • Databricks 9.1 LTS

2022.11.74

標準

2023 年 8 月 15 日

複寫支援

我們採用雲端優先方法，實現迅速創新和採用。不過，這不表示我們只採用雲端。作為我們持續為客戶致力於改善長期價值的一環，我們很高興宣佈推出建立資料專案時新的複寫使用案例。新的複寫使用案例是現有功能外的額外功能，可為您的所有資料整合需求建立資料管道，例如資料倉庫現代化。

複寫專案支援將資料從支援的資料來源即時複寫到支援的目標。

從這次最新版本開始，支援即時複寫資料的第一個目標是 Microsoft SQL Server。除了支援 Microsoft SQL Server 內部部署，也支援下列雲端提供者：

• 內部部署
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure 受管理執行個體和 Microsoft Azure 資料庫)

Microsoft Azure Synapse Analytics 目標 - 必需的驅動程式升級

將資料移至 Microsoft Azure Synapse Analytics 的客戶需要將 SQL Server ODBC 驅動程式版本升級為 18.x 或更高版本。請注意，繼續使用 SQL Server ODBC 驅動程式 17.x 可能會造成資料錯誤。可以使用驅動程式安裝公用程式或手動方式來升級驅動程式。如需說明，請參閱驅動程式設定。

SaaS 應用程式來源的「從來源載入資料」新選項

已推出新的從來源載入資料選項，這可讓客戶在完整載入期間直接從來源讀取資料，而非使用快取資料。

如需更多關於此選項的資訊，包括使用案例，請參閱登陸設定。

更新 CA 憑證

資料移動閘道 2022.11.74 包括更新後的 CA 憑證，需要以此驗證 Qlik Cloud 租用戶。更新後的 CA 憑證也為愛爾蘭和法蘭克福地區提供支援。因此，愛爾蘭和法蘭克福具有 Qlik Cloud 租用戶並想要使用 Qlik Cloud 資料整合的客戶必須升級至此版本。

已解決的問題

若寬表格包含未使用或不支援的欄，或未複寫的 LOB 欄，則從 Oracle 來源登陸資料的任務有時候會失敗。

2022.11.70

標準

2023 年 6 月 28 日

改善 SAP 用戶端的驅動程式安裝公用程式

在之前的版本中，客戶需要在安裝 SAP 用戶端時執行「source arep_login.sh」命令。從此版本起，不必再執行此命令。

更新 CA 憑證

此版本包括更新後的 CA 憑證，需要以此驗證 Qlik Cloud 租用戶。

已解決的問題

• 資料移動閘道 上的複寫任務失敗並自動復原時，復原狀態不會傳遞至 Qlik Cloud 中的登陸資料資產。

• 依照預設，不會啟用 資料移動閘道 的端對端加密且透過執行階段旗標控制。

2022.11.63

標準

2023 年 5 月 2 日

驅動程式安裝公用程式

此版本簡介驅動程式安裝公用程式，這不需要手動安裝並設定驅動程式。新的公用程式可縮短安裝流程，同時大幅降低使用者錯誤的可能性。公用程式執行時，會自動下載所需的驅動程式 (若可行) 並安裝。若無法下載驅動程式 (例如 DB2 驅動程式需要登入)，您需要做的一切就是下載驅動程式、複製到資料管理閘道機器上的專用資料夾並執行公用程式。

如需使用驅動程式安裝公用程式來安裝 PostgreSQL 驅動程式的範例，請參閱先決條件

Snowflake 雲端資料平台

Snowflake 連接器現在支援 4 位元組表情圖示字元。

支援適用於 PostgreSQL 的 Azure 資料庫 - 彈性伺服器作為資料來源

PostgreSQL 連接器現在可以從適用於 PostgreSQL 的 Azure 資料庫 - 彈性伺服器移動資料。

支援作為資料來源用於 PostgreSQL 的雲端 SQL

PostgreSQL 連接器現在可以從適用於 PostgreSQL 的雲端 SQL 移動資料。

新支援的資料來源版本

此版本簡介對於下列新資料來源版本的支援：

• PostgreSQL 14
• DB2 (適用於 IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

新支援的雲端資料平台版本

Databricks 11.3 LTS

中斷對於下列資料來源版本的支援

不再支援下列資料來源版本：

• DB2 (適用於 IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

已解決的問題

此版本解決下列問題：

• Oracle 資料來源：停止並繼續任務時，任務有時候會失敗，出現「無法設定內容的串流位置」錯誤。
• SAP 應用程式來源：不會在登陸任務期間擷取變更。