升級並解除安裝 資料移動閘道

Databricks 主索引鍵支援

從此版本開始，資料任務將在目標 Databricks Delta 表格上建立主索引鍵，並使用 RELY 關鍵字。雖然 Databricks 不強制執行主索引鍵限制，但具有 RELY 關鍵字的主索引鍵會假定為沒有重複內容，因此可由 Databricks 用於查詢最佳化。

要求：

• 您必須在連接器設定中選取目錄

• Databricks 14.2 或更高版本

資料類型增強事項

• IBM DB2 for iSeries 來源：已新增對下列資料類型的支援：BINARY-DECIMAL 和 ZONED-DECIMAL

• Databricks 目標：在先前的版本中，BYTES 對應至 STRING。從這個版本開始，這將對應至 VARCHAR (位元組長度)

• Google Cloud BigQuery 目標：Google Cloud BigQuery 目標現在支援 JSON 子類型

基於 PostgreSQL 的來源：現已預設支援分割表格

現已預設支援從基於 PostgreSQL 的資料來源複寫分割區和子分割區 (以及子子分割區) (完整載入和 CDC)。

Google Cloud BigQuery 目標：支援資料截斷錯誤處理

Google Cloud BigQuery 目標現在支援資料截斷錯誤處理。如果發生資料截斷錯誤，您現在可以選擇將記錄記錄到例外控制表格 (預設)、忽略記錄、暫停表格或停止任務。

新支援的版本

現在支援下列來源和目標端點版本：

• MariaDB (內部部署) 和 Amazon RDS for MariaDB：11.4

• MySQL (內部部署)、MySQL Percona、Google Cloud SQL for MySQL、Amazon RDS for MySQL 和 Microsoft Azure Database for MySQL - 彈性伺服器：8.4

• PostgreSQL (內部部署)、Google Cloud SQL for PostgreSQL、Amazon RDS for PostgreSQL 和 Microsoft Azure Database for PostgreSQL - 彈性伺服器：17.x

新支援的驅動程式版本

IBM Data Server Client 11.5.9 現已支援下列 DB2 來源：

• IBM DB2 for LUW

• IBM DB2 for z/OS

終止支援的來源和驅動程式版本

• 終止支援的來源和目標：已終止支援 Microsoft Azure Database for MySQL 和 Microsoft Azure Database for PostgreSQL，這些產品已由 Microsoft 正式淘汰。

• 終止支援的來源版本：已終止支援 IBM DB2 for iSeries 7.2。

• 終止支援的驅動程式版本：已終止支援 IBM Data Server Client 11.5.6。

已解決的問題

• HSTS 支援

  HSTS 未在 Qlik 資料閘道 - 資料移動 機器上啟用。

• 資料移動閘道 安裝失敗

  在 Redhat 9.7 版上安裝 資料移動閘道 將會失敗並顯示「找不到 OPENSSL_3.4.0」錯誤。

• PostgreSQL 15.7 來源 - CDC 期間未擷取任何資料

  在 CDC 期間，任務會持續讀取相同的 WAL 項目並處理相同的串流位置。

• SAP ODP - CDC 失敗

  在 CDC 任務於變更期間停止後 (例如，由於連線問題)，重新啟動任務有時會導致列長度錯誤。

• 遺失來源連線記錄

  執行使用預覽版或精簡版連接器的任務後，來源連線記錄將無法使用。

• 監控 - 資訊遺失

  當表格在完整載入和 CDC 任務的 CDC 階段暫停時，監控索引標籤不會顯示錯誤訊息。

支援在 Databricks 上建立知識超市

以前，只有 Snowflake 支援知識超市。現在，您也可以在 Databricks 上建立並執行知識超市和基於檔案的知識超市。

已解決的問題：

任務在準備期間會間歇性失敗，並出現以下錯誤：

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

已解決的問題：

當 metadataschema 內部屬性以特殊字元定義時，工作會在 CDC 期間失敗。

已解決的問題：

• EU-Central-1 區域中的生產警示

  EU-Central-1 區域的客戶在使用 資料移動閘道 時，會遇到頻繁的生產警示。

• Jira 資料來源：卡住的表格

  當從 Jira 複製資料時，USERS 資料表在首次執行時會卡在「已排入佇列」狀態，而其他資料表則成功載入完成。

• 監控問題

  任務監控器中缺少 CDC 監控。

• Oracle-to-Oracle 複寫失敗

  Oracle-to-Oracle 複寫任務有時會因為字串長度計算不正確而失敗。

• 安全性

  Java 伺服器元件 (sqlite-jdbc) 已更新至 3.47.0 版，因為較早版本存在已知漏洞。

• 啟動任務時發生錯誤

  當任務首次以恢復模式啟動，且之前未曾啟動過時，有時會發生「資料庫無授權」錯誤。

• Salesforce 連接器在新資料集方面的問題

  新增資料集至使用 Salesforce 資料來源的登陸任務，會導致任務失敗並出現「'資料表不存在'」錯誤。

已解決的問題：

• 儲存任務連線錯誤

  儲存任務會因連線錯誤而失敗，需要重新啟動閘道。

• DB2 驅動程式安裝失敗

  當對 /tmp 資料夾的存取受限時，DB2 驅動程式安裝會失敗。

• 連線至 Qlik Cloud 的時間過長

  升級至 資料移動閘道 2024.11.65 版本後，連線至 Qlik Cloud 會花費過多的時間。此問題已透過新增一個設定兩分鐘逾時的取消 Token 來解決。

• 服務在升級後當機

  在升級到 資料移動閘道 2024.11.67 後，external-data-provider 服務 (Lite 連接器使用) 因 /tmp 資料夾的存取限制而當機。

• 安全性修正

  下列元件已因為已知弱點而替換為較新版本：

  • SQLite 3.49.1

  • Java 執行階段引擎 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• 知識市集 - 檔案共用 (SMB)

  連線到 SMB 會失敗並出現下列錯誤：

  SmbConnection' object has no attribute 'docs_path'

• 準備失敗

  第二次準備任務時，且在第一次準備後發生 DDL，準備作業有時會失敗並出現下列錯誤 (摘錄)：

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• 預覽資料問題

  當使用 Microsoft SQL Server 目標時，預覽資料選項無法運作。

增強事項：

• 新增對 Qlik Cloud Government DoD 的支援

  此版本新增了對使用 資料移動閘道 與 Qlik Cloud Government DoD 的支援。

增強事項：

• 控制何時觸發表格錯誤處理策略

  複寫和登陸任務的表格錯誤處理設定中新增了新的傳回表格錯誤之前的重試次數設定。以前，當表格發生錯誤時，會暫停表格或停止任務 (根據所選的錯誤處理動作)。這有時候會導致表格在 SaaS 應用程式維護視窗期間遭到暫停。有了這個新選項，現在可以決定在觸發表格錯誤處理政策之前應該重試表格的次數。如果您的 SaaS 應用程式需要定期維護，此選項特別實用，因為您可以覆寫預設重試次數 (3)，即可在不觸發表格錯誤處理政策的情況下完成維護。

  表格錯誤處理

  資訊備註只有透過精簡版或標準版 SaaS 應用程式連接器設定的任務，才會顯示此選項。

• 預覽資料現在包括欄資料類型

  預覽 SQL 轉換時，結果現在將包括欄資料類型。

  預覽資料

增強事項：

• 變換和清除複寫記錄檔案

  已經對閘道機器上的複寫記錄檔案實施了變換和清除政策。變換政策將防止記錄檔案變得過大 (這會影響效能和分析)，而清除政策將防止記錄檔案累積並消耗過多磁碟空間。

已解決的問題：

• 載入後表格狀態不正確

  載入暫停的表格時，螢幕中顯示的表格狀態有時候會不正確。

• 準備操作逾時

  在新增資料集後準備登陸任務時，在編目資產階段有時候會發生逾時。這會導致準備操作失敗。

此修補程式解決了以下問題：

• 新增表格時準備失敗

  在複製任務中新增表格並按一下準備時，有時會出現以下錯誤：

  Prepare data task failed: Object reference not set to an instance of an object.

• 解決了弱點

  以下 資料移動閘道 安裝檔案已更新為沒有已知弱點的版本：
  

  • java

  • jetty-io-<version>.jar

  • jetty-http-<version>.jar

  • spring-expression-<version>.jar

  • spring-core-<version>.jar

  • spring-context-<version>.jar

此修補程式解決了以下問題：

• IBM DB2 for LUW 連線失敗

  升級到 資料移動閘道 2024.11.54 後，連線至資料庫會失敗。

• 準備失敗

  若透過 SaaS 應用程式來源和 Google BigQuery 目標設定了任務，準備資料任務將會失敗。

• 升級後，含有 Java 式來源的任務失敗

  升級到 資料移動閘道 2024.11.54 後，含有 Java 式資料來源的任務將會失敗。

• Snowflake 目標：任務有時候會在 CDC 期間切換到「逐一」模式

  在 CDC 期間，當來源表格中的 STRING 欄超過 65536 個位元組時，將會截斷目標 STRING 欄中的資料。然後任務將切換到「逐一」套用模式。

• 安全性

  java_file_factory.jar 和 arep-google-cloud.jar 檔案已升級至沒有已知弱點的版本。

此修補程式解決了以下問題：

• 忽略任務設定的完整載入

  在完整載入期間，任務會捨棄並重新建立目標表格，即使已透過如果目標表格已存在：忽略設定任務，仍是如此。

• 記錄計數不正確

  在停止並準備現有複寫任務且將複寫模式設為完整載入並套用變更後，CDC 處理的記錄計數會增加，導致計數不正確。

• JIRA 來源連接器

  將新的資料集新增至現有任務時，任務將失敗並出現以下錯誤：

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• 測試連線失敗

  與 SAP 和基於 SQL 之來源的測試連線將會失敗。

• 升級

  升級閘道後，任務有時候無法如預期恢復。

Snowpipe 串流支援

之前，批次載入是將資料載入到 Snowflake 的唯一可用方法。現在，客戶可以使用批次載入或 Snowpipe 串流，將他們的資料上線或複寫到 Snowflake。

Snowpipe 串流相對於批次載入的優勢包括：

• 成本較低：由於 Snowpipe 串流不使用 Snowflake 倉庫，因此操作成本應該會便宜許多，不過這取決於您的具體使用情況。
• 減少延遲：由於資料直接串流到目標表格 (而不是透過暫存)，從資料來源複寫到目標的速度應該會更快。

已解決的問題

此修補程式解決了以下問題：

• Microsoft Fabric：連線性問題

  使用 Microsoft Fabric 連接器瀏覽資料庫時，會出現以下錯誤 (摘錄)：

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  該問題是由於與驅動程式安裝公用程式一起安裝的 12.9.0-preview.jar JDBC 驅動程式不相容所引起。該公用程式現已更新，可安裝相容的驅動程式。

• Java 伺服器重啟失敗

  升級 資料移動閘道 或重新啟動 資料移動閘道 服務後，Java 伺服器 (基於 Java 的連接器 (例如 SAP ODP) 所需) 將無法啟動。

• 安全性強化

  • 對於從 Qlik Cloud 管理活動中心傳回客戶託管記錄的記錄命令裝載，不會相互強制執行端對端加密。

  • 由於版本 3.42.0 (CVE-2023-7104) 存在弱點，已升級 資料移動閘道 使用的 SQLite 版本。

  • 因版本 h2-2.1.212 (CVE-2022-45868) 存在弱點而升級了 資料移動閘道 使用的 com.h2database 檔案。

此修補程式解決了從 IBM DB2 for iSeries 資料來源移動資料時出現的下列問題：

使用 iSeries Access ODBC Driver 07.01.026 或更高版本時，任務會在 CDC 期間失敗，並出現「錯誤剖析」錯誤。

標準

Databricks 目標的 OAuth 支援

客戶現在可以使用 OAuth 驗證連線到 Databricks 目標，這是 Databricks 建議的帳戶驗證方法。個人存取 Token 驗證目前仍提供回溯相容性，但被認為不如 OAuth 安全。

已解決的問題

• 平行載入問題

  若以平行載入定義了資料集，而之後停用了完整載入，則即使從時間戳記恢復，任務仍會執行該資料集的完整載入。

2024.11.24

修補

此修補程式解決了以下問題：

• SAP ODP 來源：中繼資料產生失敗

  對於名稱中含有點的表格 (例如 Deprec.Area)，中繼資料產生將無法完成。

• 任務復原

  如果任務在完整載入期間因環境問題而失敗，則只能復原一次。現在將復原在設定 > 錯誤處理 > 環境錯誤 > 最大重試計數中設定的次數。

增強事項

PostgreSQL 容錯移轉憑證

容錯移轉後使用輔助資料庫已透過以下資料來源受到認證 (所有資料來源均可使用 PostgreSQL 來源連接器存取)：

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (內部部署)

另請參閱：設定容錯移轉

MySQL 效能改善

在先前的版本中，若在設定了有限 LOB 大小的任務中使用基於 MySQL 的來源端點，資料移動閘道 會使用來源查詢來讀取 LOB 欄。現在，資料移動閘道 將直接從 binlog 讀取 LOB 欄，藉此提高效能。

資料類型對應變更

對於 Amazon Redshift 和 Snowflake 目標，已變更 LOB 欄的對應。

Amazon Redshift 目標

• BLOB 現在對應至 VARBYTE(16777216)
• NCLOB 現在對應至 NVARCHAR(65535)
• CLOB 現在對應至 NVARCHAR(65535)

Snowflake 目標

• BLOB 現在對應至 BINARY (8388608)
• NCLOB 現在對應至 NVARCHAR(16777216)
• CLOB 現在對應至 VARCHAR(16777216)

新支援的資料類型

• IBM DB2 for LUW 來源

  現在支援布林值資料類型 (從 DB2 for LUW 11.5)。

• Google BigQuery 目標

  現在支援 BIGNUMERIC 資料類型。

擴展了對 DDL 歷史記錄控制表格的目標支援

在先前的 資料移動閘道 版本中，DDL 歷史記錄控制表格僅受 Databricks 和 Microsoft Fabric 目標支援。此版本採用了對以下附加目標連接器的支援：

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

另請參閱：DDL 歷史記錄

支援以非超級使用者身分使用 Google Cloud SQL for PostgreSQL

從此版本開始，從 Google Cloud SQL for PostgreSQL 複寫時，可以指定非超級使用者帳戶

另請參閱：使用沒有超級使用者角色的帳戶

新認證的平台和驅動程式版本

• Databricks 目標

  15.4 LTS

• Oracle 來源和目標

  23ai

  資訊備註

  • Oracle 23ai 來源和目標僅受 Oracle 標準版認證。
  • Oracle 23ai 來源僅受 TDE 加密支援。

• Databricks 驅動程式更新

  當資料移至 Databricks 時，現在需要 Simba Spark ODBC Driver 2.8.2 或更高版本。客戶應該執行驅動程式安裝公用程式或手動安裝驅動程式。

  另請參閱：驅動程式設定

支援結束

已中斷對於下列資料庫版本的支援：

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

已解決的問題

• SAP HANA (資料庫) 連接器：無法建立 __CT 表格

  若複寫模式設定為儲存變更，且表格包含 .INCLUDE 欄，則該任務將無法在目標上建立 __CT 表格。

• 湖登陸任務：誤導性錯誤

  若 Azure Data Lake Storage 密鑰過期，任務將失敗並顯示「沒有資料庫授權」錯誤。

• Amazon S3 目標連接器：不會刪除舊檔案

  執行新任務時不會刪除舊檔案。這可能導致任務因重複記錄或不相符的記錄而失敗。

   

• SAP HANA (資料庫) 來源：由於使用者定義的表格而導致連線失敗

  選取使用者定義的表格進行複寫時，會出現「不支援的功能：無法選取使用者定義的類型」錯誤。從表格選擇器中排除使用者定義的表格 (這不受支援)，藉此解決了該問題。

• Microsoft Fabric 目標連接器：復原錯誤

  從 CDC 期間發生的連線錯誤恢復後，有時會出現「轉換失敗」錯誤。

• Databricks 目標連接器：在沒有 LOB 支援的情況下運作時，CDC 失敗

  若停用 LOB 支援，CDC 在嘗試將變更插入到 __ct 表格時，會失敗並顯示「資料欄不足」。在「儲存變更」模式下運作時，會出現此錯誤，這是唯一可用於登陸任務的模式。

• MySQL 來源到 Snowflake 目標：CDC 失敗

  在 CDC 期間，複寫具有 mediumtext 資料類型的「NOT NULL」欄時，任務有時會失敗並出現以下錯誤：

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Microsoft Fabric 目標連接器：截斷錯誤

  插入 VARCHAR 欄時，會發生下列截斷錯誤：

  String or binary data would be truncated while reading column of type 'VARCHAR'

  將 Microsoft Fabric 中的 VARCHAR 欄相乘，藉此解決了這個問題。

新特徵

對於指定其他 ODBC 和 JDBC 連線屬性的支援已新增至 Snowflake 目標連接器。

如需詳細資訊，請參閱其他連線屬性。

已解決的問題

• 中繼資料未更新

  若來源上的主要金鑰變更，載入後目標中繼資料不會更新。

• Amazon S3 目標

  建立和執行新任務時，不會從表格位置刪除先前任務留下的檔案。

• SAP HANA 來源

  嘗試使用基於記錄的 CDC 連線至 SAP HANA 來源將導致以下錯誤：

  Cannot select user-defined type

2024.5.41

修補

此修補程式解決了以下問題：

• Amazon S3、Google Cloud Storage 和 Qlik Cloud 目標：引用空字串值

  現在，將在 CSV 檔案中引用空的字串，以區分 NULL 值。

• Databricks 目標：資料不相符

  在某些情況下，來源資料和目標資料之間可能會有不相符的情形。

• Databricks 目標：因停用 LOB 支援而導致 CDC 失敗

  在登陸任務中停用 LOB 支援會導致 CDC 失敗，並出現以下錯誤 (摘錄)：

  Cannot write to '<name>__ct', not enough data columns

• Microsoft Fabric 目標：連線錯誤導致 CDC 失敗

  從連線錯誤中復原後將變更套用到目標，有時候會失敗，並出現「轉換失敗」錯誤。

2024.5.35

修補

此修補程式解決了以下問題：

• Microsoft Fabric 目標：資料類型轉換問題

  在儲存任務期間，資料類型 NVARCHAR(3500) 會錯誤地轉換為 VARCHAR(10500)，而不是 VARCHAR(8000) (允許上限)，導致錯誤。

• IBM DB2 for LUW 來源：代碼頁面 941 (日文) 對 GRAPHIC 資料類型的支援

  若來源表格包含代碼頁面 941 (日文) 的 GRAPHIC 資料類型，會出現以下錯誤 (摘錄)：

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

修補

在 Workday Reports 來源連接器中更新使用者名稱和密碼並載入任務之後，即使認證正確，也會出現「使用者名稱或密碼無效」錯誤。此問題現已解決。

修補

此修補程式解決了以下問題：

安全性

隨 資料移動閘道 提供的 Oracle Java 標準版 17.0.8 具有多個已知弱點。此修補程式將 17.0.8 替換為 17.0.12，藉此解決了這些問題。

Salesforce 來源

在 CDC 期間，對於每次變更，都會將多個 INSERT 操作新增至關聯的 _ct 表格 (而不是只有一個)。這會顯著增加 _ct 表格中的記錄數量。

標準

修補

此修補程式解決了以下問題：

Snowflake JDBC 驅動程式弱點

2024 年 8 月 14 日，Snowflake 發佈了有關 Snowflake JDBC 驅動程式的安全公告 >= 3.2.6 & <= 3.19.1，其中部分內容與先前版本的 資料移動閘道 一起使用。該弱點已在 Snowflake JDBC 驅動程式 3.20 中修補，現在與驅動程式安裝公用程式一起安裝。現有客戶應盡早按照驅動程式設定中所述的更新驅動程式程序升級其驅動程式。

Oracle 來源

• 使用重做事件 11.22 時，若在 INSERT 之前未壓縮的壓縮頁面上處理多個 INSERT，會發生遺失 INSERT。
• 在極少數情況下，對重做記錄中的 DELETE 事件進行錯誤剖析，會產生「重做記錄 DELETE 事件包含未知結構」警告，然後出現各種問題。

SAP 擷取器來源

YAML 檔案中的說明已更新，以反映 SAP Java 連接器的正確版本。

Snowflake 目標

使用 資料移動閘道 透過 Proxy 連線至 Snowflake 目標時，連線將失敗並出現以下錯誤：

500 Failed to connect to Data Movement Gateway

修補

修補

已解決的問題

• Oracle 來源

  • 使用重做事件 11.22 時，有時會在多個 INSERT 操作中發生遺失 INSERT。

  • Oracle 19g 升級到 July 2024 修補程式後，有時會無法擷取 UPDATE 操作，並顯示下列警告：

    A compressed row cannot be parsed

• Snowflake 目標

  若任務設定已設定為建立控制表格結構描述，任務將失敗並出現下列錯誤：

  Failed to delete directory

• 已排程 CDC

  若任務排程為定期執行，有時會失敗並出現以下錯誤：

  The task stopped abnormally

• 卡住的轉換和儲存任務

  轉換和儲存任務有時會長時間處於佇列狀態。

• 中繼資料管理員

  使用 use_manipulation_pk_for_apply 功能旗標搭配儲存變更複寫時，任務會失敗。

• 長時間逾時導致 SaaS 應用程式來源出現問題

  將 S3 逾時延長至 6 小時，以防止長時間逾時導致的問題，例如遺失下載檔案的 Token。

標準

增強事項

• 已將金鑰組驗證新增至 Snowflake 目標連接器

  相較於用於透過服務帳戶連線至 Snowflake 的使用者/密碼，金鑰/金鑰組提供了更強大的驗證方法。建議將此方法用於資料載入 (複製或登陸任務) 和轉換等工作負載。

• 支援從多個表格平行擷取中繼資料

  在先前的版本中，對現有資料集或新增的資料集重新整理中繼資料有時會失敗並出現錯誤。此增強功能可確保毫無問題地從多個表格中平行擷取中繼資料。

已解決的問題

• DECIMAL 資料類型錯誤地對應至 Google BigQuery 中的 STRING

  若來源表格包含了 DECIMAL 資料類型的欄，例如 DECIMAL (38, 20)，則在 Google BigQuery 準備儲存任務將會失敗，並出現以下錯誤 (摘錄)：

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  將來源 DECIMAL 資料類型對應至 Google BigQuery 中的 DECIMAL，藉此解決了該問題。

• 結構描述規則錯誤

  在資料任務中變更現有結構描述規則後，會出現以下錯誤：

  QRI SQL error not implemented

• SAP 傳輸中遺失 /QTQVC/QRI 表格

  準備連線至 SAP 應用程式來源的登陸任務時，該任務將成功完成，但會在 resrv.log 記錄檔中報告以下錯誤：

  Invalid object name 'hk1./QTQVC/QRI'

標準

增強事項

• 支援複寫和湖登陸任務的中繼資料變更，不需要捨棄並重新建立所有表格

  之前，若發生中繼資料變更，則即使中繼資料變更沒有影響所有表格，也會捨棄並重新建立所有表格。現在，只會捨棄並重新建立變更的表格，藉此改善效能。

• 支援在複寫任務中自動載入新的表格

  在符合納入模式的複寫資料任務期間，於來源資料庫中建立的表格，現在將會於 CDC (變更資料擷取) 期間自動擷取。

• Microsoft SQL Server (MS-CDC) 來源提升事項

  • 時間戳記和交易 ID 保留

    之前，從 Microsoft SQL Server (MS-CDC) 讀取多個交易時，Qlik Talend Data Integration 只會保留第一個交易的交易 ID 和時間戳記。在目標上，記錄看起來屬於單一交易。現在，Qlik Talend Data Integration 將會保留每個個別記錄的原始交易 ID 和時間戳記。這有利於希望在變更表格中運用交易 ID 和時間戳記標頭欄的客戶。

  • 交易 ID 位元組順序

    之前，交易 ID 中的位元組以相反順序編碼。從此版本開始，將會以正確順序編碼位元組。想要保留現有行為的資訊客戶可以使用內部參數這麼做。如需詳細資訊，請聯絡 Qlik 支援。

• 支援透過 MySQL 快取 SHA-2 插入式驗證

  以內部部署方式或在雲端中使用 MySQL 來源或目標時，Qlik Talend Data Integration 現在支援快取 SHA-2 插入式驗證 (caching_sha2_password)。在之前的版本，僅支援原生插入式驗證 (mysql_native_password)。

• Amazon Redshift 資料類型對應變更

  BYTES 和 BLOB 資料類型現在將對應到 Amazon Redshift 上的 VARBYTE，而不是 VARCHAR。

新認證的平台、端點和版本

• 資料來源

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 for z/OS 3.1

• 目標平台

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• 驅動程式

  • SQL Server ODBC 驅動程式 18.3

支援結束

已中斷對於下列資料庫版本的支援：

• 早於 Oracle 19.x 的所有 Oracle 版本和驅動程式
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 for LUW 10.5
• IBM DB2 for z/OS: z/OS 2.3

已解決的問題

• SAP (應用程式) 來源

  若擷取的叢集文件變更刪除了所有擷取表格的所有列，會遇到遺失的 DELETE (刪除) 操作和不必要的判斷訊息。

• 安全性弱點

  用於 Java (MSAL4J) 和 Bouncy Castle 的 Microsoft 驗證庫已更新為沒有已知弱點的版本。

• Snowflake 目標

  • 使用 Snowflake 內部儲存時，任務有時候會失敗。
  • 若目標結構描述名稱是日文片假名，任務會失敗。

• Oracle 來源

  若繼續進行使用 Oracle 來源的任務，該任務會繼續等待已刪除的封存重做記錄，而非失敗並顯示適當錯誤。

標準

增強事項

• Snowflake 中繼資料結構描述

  自此版本起，若不存在 Snowflake 中繼資料結構描述，將會建立 (對於暫存檔案)。

已解決的問題

• 對重新命名資料集規則 (這串連表格名稱與結構描述名稱) 進行變更且檢視畫面新增至登陸任務後，準備操作會失敗，並有下列錯誤：

  QRI SQL error not implemented.

• java_file_factory 元件已更新至沒有任何已知弱點的版本。
• org.postgresql:postgresql 已更新至沒有任何已知弱點的版本。
• 將資料移至 SQL Server 時，若索引名稱超過 128 個字元，則準備操作會失敗。已改變邏輯，建立較短的索引名稱，藉此解決問題。

• 從 SQL Server 移動資料時，表格定義中遺失的欄名稱會在 repsrv.log 檔案中造成無限通知迴圈，並有下列訊息：

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

標準

增強事項

• 平行中繼資料擷取

  對同時擷取多個表格的中繼資料新增支援。

• 改善監控效能

  登陸和複寫任務的監控資訊現在每 10 秒更新一次 (而非每 60 秒)，對目前狀態提供更精確的指示。

• 新支援的區域

  日本現在作為 Qlik Cloud 租用戶區域受到支援。

已解決的問題

• 資料閘道和 Qlik Cloud 之間的重試間隔會持續增加，但不會重設 (除非重新啟動服務)。
• 從 SaaS 應用程式來源移動資料時，表格有時候會在載入期間輸入錯誤狀態。

• CDC 期間，具有 MySQL 來源的任務有時候會失敗並有下列錯誤：

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• 之前，只會為登陸任務記錄 CDC 稽核事件。現在，也會為複寫任務進行記錄。
• 從 SQL Server (MS-CDC) 移動資料時，具有許多表格的任務有時候需要幾個小時才能開始。

• 若來源表格包含 CLOB 欄且「限制 LOB 大小」值超過 10240，則複寫至 Snowflake 會失敗並有下列錯誤：

  Invalid character length: 0

標準

支援在 Red Hat 9.x 安裝 資料移動閘道

客戶現在可以在 Red Hat 9.x 或在任何對應且相容的 Linux 發佈版本上安裝 資料移動閘道。

設定 資料移動閘道

變更為 資料移動閘道 服務命令

用於停止、開始和檢查 資料移動閘道 服務狀態的命令已變更。

資料移動閘道 服務命令

變更為 Amazon Redshift 資料類型對應

• 在 Amazon Redshift 對應至 VARCHAR(1) 的 BOOLEAN 資料類型現在將對應至 BOOLEAN。
• 在 Amazon Redshift 對應至 VARCHAR(1) 的 BYTES 和 BLOB 資料類型現在將對應至 VARBINARY (長度)。

新支援的資料庫、資料庫版本和驅動程式版本

此區段列出新支援的資料庫、資料庫版本和驅動程式版本。

• 新支援的資料來源版本

  現在支援下列資料來源版本：

  • Azure Database for MySQL - 彈性伺服器 (透過 MySQL 來源連接器支援)
  • MariaDB 10.4 - 10.11 (之前是 10.4 和 10.5)

• 新支援的目標資料平台和版本

  現在支援下列資料目標版本：

  • Azure Database for MySQL - 彈性伺服器 (透過 MySQL 目標連接器支援)
  • Databricks：Databricks 13.3 LTS 和無伺服器 SQL 倉庫

• 新支援的 SAP HANA 驅動程式版本

  具有 SAP HANA 來源且想要在 Red Hat Linux 9.x 安裝 資料移動閘道 的客戶必須安裝 SAP HANA ODBC 64 位元驅動程式版本 2.0.19 或更高版本。

結束支援資料庫版本

此區段提供關於結束支援資料庫版本的資訊。

• 已中斷對於下列資料來源版本的支援：

  • Oracle 11.x
  • SAP HANA 1.0

已解決的問題

• 安裝 資料移動閘道 而不提供伺服器密碼不允許以一個命令設定租用戶和 Proxy URL。
• 從 Salesforce (SaaS 應用程式) 資料來源移動資料會列印大量冗餘警告，藉此影響資料載入效能。
• 擷取 SaaS 應用程式資料來源的變更時，若擷取表格之一的變更時發生錯誤，會暫停並從管道移除該表格。現在，遇到錯誤時，任務將會先嘗試擷取變更最多三次，再暫停表格。

標準

複寫專案的新資料湖目標

除了 Amazon S3，我們持續在 Qlik Cloud Data Integration 中為複寫專案擴展支援的目標，您現在可以選擇 Azure Data Lake Storage (ADLS) 和 Google Cloud Storage (GCS) 以 parquet、JSON 或 CSV 檔案格式進行資料湖傳遞。

已解決的問題：

• IBM DB2 for LUW 來源連接器

  若連線所需的檔案大小 (例如 SSL 用戶端憑證和金鑰儲存區檔案) 超過 4 KB，連線至 IBM DB2 for LUW 將會失敗。

• IBM DB2 for LUW 的驅動程式和 IBM DB2 for z/OS 來源連接器

  使用驅動程式安裝公用程式時，DB2 驅動程式安裝會失敗。

標準

支援 Microsoft Fabric 作為資料管道目標

Microsoft Fabric 聯結不斷展開的資料倉庫清單，這可以作為資料管道專案中的目標使用。

已解決的問題：

已更新驅動程式安裝公用程式中的 Snowflake 驅動程式版本。

標準

私人連線的擴展支援

私人連線可用來確保資料流量保持安全且合規。這簡化 VPC (虛擬私人雲端) 的網路管理和安全性，不需要開啟傳入防火牆連接埠、Proxy 裝置或路由表格。Qlik Cloud 資料整合已支援私人連線至 Snowflake、Microsoft SQL Server 和 Amazon S3 資料管道目標。透過此版本，客戶將資料移至 Databricks、Microsoft Azure Synapse、Google BigQuery 和 Amazon Redshift 時，可以額外運用私人連線。

基於 PostgreSQL 的資料來源

• 所有基於 PostgreSQL 的資料來源 - 多範圍資料類型支援：現在透過所有基於 PostgreSQL 的資料來源 (內部部署和雲端) 支援下列多範圍資料類型。

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• 適用於 PostgreSQL 資料來源的 AWS Aurora Cloud - 非超級使用者角色支援：在 PostgreSQL 連接器中指定的使用者不再需要有超級使用者角色，即可從適用於 PostgreSQL 資料來源的 AWS Aurora Cloud 移動資料。對於具有企業安全性政策 (防止向超級使用者授予非權限使用者的存取權限) 的組織，這特別實用。

Microsoft Azure SQL (MS-CDC) 資料來源：地理複寫支援

從 Microsoft Azure SQL (MS-CDC) 資料來源移動資料的客戶現在可以使用地理複寫資料庫。

Oracle 資料來源：HSM (硬體安全性模組) 支援

Qlik Cloud 資料整合現在支援在 CDC 期間從 Oracle 加密表格空間和加密欄讀取資料。

新的地區支援

Qlik Cloud 資料整合現在支援 DE 和 UK 地區的租用戶。

新支援的版本和第三方軟體

此區段列出新支援的資料庫和驅動程式版本。

• 新支援的資料來源版本。現在支援下列資料來源版本：

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (若使用 IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• 新支援的目標資料平台版本。現在支援下列資料目標版本：

  • Databricks (雲端儲存空間)：Databricks 12.2 LTS 和 Databricks SQL Serverless

• 驅動程式版本。現在支援下列 ODBC 驅動程式版本：

  • 適用於 IBM DB2 for z/OZ 和 IBM DB2 for LUW 的 IBM Data Server Client 11.5.8
  • Simba ODBC 驅動程式 3.0.0.1001 for Google Cloud BigQuery
  • MySQL ODBC Unicode Driver 64 位元 8.0.32

Microsoft SQL Server 驅動程式 - 所需升級

將資料移至 Microsoft SQL Server 或從 Microsoft SQL Server 移動資料的客戶需要將 SQL Server ODBC 驅動程式版本升級為 18.x 或更高版本。請注意，繼續使用 SQL Server ODBC 驅動程式 17.x 可能會造成資料錯誤。可以使用驅動程式安裝公用程式或手動方式來升級驅動程式。如需說明，請參閱驅動程式設定。

結束支援資料庫版本

此區段提供關於結束支援資料庫版本的資訊。

• 結束支援的資料來源版本。已中斷對於下列資料來源版本的支援：

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• 結束支援的目標資料平台版本。已中斷對於下列資料目標版本的支援：

  • Databricks 9.1 LTS

2022.11.74

標準

2023 年 8 月 15 日

複寫支援

我們採用雲端優先方法，實現迅速創新和採用。不過，這不表示我們只採用雲端。作為我們持續為客戶致力於改善長期價值的一環，我們很高興宣佈推出建立資料專案時新的複寫使用案例。新的複寫使用案例是現有功能外的額外功能，可為您的所有資料整合需求建立資料管道，例如資料倉庫現代化。

複寫專案支援將資料從支援的資料來源即時複寫到支援的目標。

從這次最新版本開始，支援即時複寫資料的第一個目標是 Microsoft SQL Server。除了支援 Microsoft SQL Server 內部部署，也支援下列雲端提供者：

• 內部部署
• Amazon RDS
• Google Cloud
• Microsoft Azure (Microsoft Azure 受管理執行個體和 Microsoft Azure 資料庫)

Microsoft Azure Synapse Analytics 目標 - 必需的驅動程式升級

將資料移至 Microsoft Azure Synapse Analytics 的客戶需要將 SQL Server ODBC 驅動程式版本升級為 18.x 或更高版本。請注意，繼續使用 SQL Server ODBC 驅動程式 17.x 可能會造成資料錯誤。可以使用驅動程式安裝公用程式或手動方式來升級驅動程式。如需說明，請參閱驅動程式設定。

SaaS 應用程式來源的「從來源載入資料」新選項

已推出新的從來源載入資料選項，這可讓客戶在完整載入期間直接從來源讀取資料，而非使用快取資料。

如需更多關於此選項的資訊，包括使用案例，請參閱登陸設定。

更新 CA 憑證

資料移動閘道 2022.11.74 包括更新後的 CA 憑證，需要以此驗證 Qlik Cloud 租用戶。更新後的 CA 憑證也為愛爾蘭和法蘭克福地區提供支援。因此，愛爾蘭和法蘭克福具有 Qlik Cloud 租用戶並想要使用 Qlik Cloud 資料整合的客戶必須升級至此版本。

已解決的問題

若寬表格包含未使用或不支援的欄，或未複寫的 LOB 欄，則從 Oracle 來源登陸資料的任務有時候會失敗。

2022.11.70

標準

2023 年 6 月 28 日

改善 SAP 用戶端的驅動程式安裝公用程式

在之前的版本中，客戶需要在安裝 SAP 用戶端時執行「source arep_login.sh」命令。從此版本起，不必再執行此命令。

更新 CA 憑證

此版本包括更新後的 CA 憑證，需要以此驗證 Qlik Cloud 租用戶。

已解決的問題

• 資料移動閘道 上的複寫任務失敗並自動復原時，復原狀態不會傳遞至 Qlik Cloud 中的登陸資料資產。

• 依照預設，不會啟用 資料移動閘道 的端對端加密且透過執行階段旗標控制。

2022.11.63

標準

2023 年 5 月 2 日

驅動程式安裝公用程式

此版本簡介驅動程式安裝公用程式，這不需要手動安裝並設定驅動程式。新的公用程式可縮短安裝流程，同時大幅降低使用者錯誤的可能性。公用程式執行時，會自動下載所需的驅動程式 (若可行) 並安裝。若無法下載驅動程式 (例如 DB2 驅動程式需要登入)，您需要做的一切就是下載驅動程式、複製到資料管理閘道機器上的專用資料夾並執行公用程式。

如需使用驅動程式安裝公用程式來安裝 PostgreSQL 驅動程式的範例，請參閱先決條件

Snowflake 雲端資料平台

Snowflake 連接器現在支援 4 位元組表情圖示字元。

支援適用於 PostgreSQL 的 Azure 資料庫 - 彈性伺服器作為資料來源

PostgreSQL 連接器現在可以從適用於 PostgreSQL 的 Azure 資料庫 - 彈性伺服器移動資料。

支援作為資料來源用於 PostgreSQL 的雲端 SQL

PostgreSQL 連接器現在可以從適用於 PostgreSQL 的雲端 SQL 移動資料。

新支援的資料來源版本

此版本簡介對於下列新資料來源版本的支援：

• PostgreSQL 14
• DB2 (適用於 IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

新支援的雲端資料平台版本

Databricks 11.3 LTS

中斷對於下列資料來源版本的支援

不再支援下列資料來源版本：

• DB2 (適用於 IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

已解決的問題

此版本解決下列問題：

• Oracle 資料來源：停止並繼續任務時，任務有時候會失敗，出現「無法設定內容的串流位置」錯誤。
• SAP 應用程式來源：不會在登陸任務期間擷取變更。