Qlik 資料閘道 - 資料移動
Qlik 資料閘道 - 資料移動 (之後稱為 資料移動閘道) 有利於透過嚴格傳出、加密且相互驗證的連線,將資料從企業資料來源和 SaaS 應用程式移到支援的目標。因無需開啟傳入的防火牆連接埠,資料移動閘道 能以安全且受信任的方式移動您的企業資料。
何時需要 資料移動閘道?
在下列情況下需要 資料移動閘道:
-
您的資料來源或目標無法從 Qlik Cloud 直接存取。無法從 Qlik Cloud 直接存取的資料來源或目標的範例包括位於 VPC 或靠近傳入通訊之防火牆後方的資料來源或目標。
如需更多關於私人連線的資訊,請參閱以下 支援私人連線於 Qlik Talend Data Integration。
- 您需要來自資料庫來源且幾乎即時的 CDC
- 您需要透過 Proxy 伺服器存取目標平台
-
您有進階或企業訂閱,且您需要以低於每 30 分鐘的頻率從 SaaS 應用程式來源進行增量載入。使用 資料移動閘道 時,您可以透過這些訂閱將間隔設定為 5 分鐘這麼短。
如需關於根據資料來源類型和訂閱層級的最低排程間隔的資訊,請參閱 最低允許的排程間隔。
- 您的資料來源是下列項目之一:
- IBM DB2 for z/OS
- IBM DB2 for iSeries
- IBM DB2 for LUW
- SAP 擷取器
- SAP (應用程式)
- SAP ODP
- SAP HANA (資料庫)
- Oracle
- Microsoft SQL Server (Microsoft 記錄為主)
- 您需要 資料移動閘道 提供的額外一層安全性,這防止資料透過 Qlik Cloud 傳遞,並允許客戶控制資料路徑。這僅與 RDBMS、主機和 SAP 資料來源相關。
在下列範例中,不需要 資料移動閘道,因為 SaaS 應用程式來源和資料倉庫目標都可從 Qlik Cloud 直接存取:
保護您的資料
會為每個連線至 Qlik Cloud 租用戶的 資料移動閘道 伺服器建立唯一金鑰組。此金鑰組用於驗證,除了 HTTPS 傳輸層級加密,也用於端對端資料加密。此外,由於與 Qlik Cloud 的通訊和資料傳輸是過傳出連接埠發起,您不需要對公司網路開啟任何傳入連接埠。
若安裝了 資料移動閘道 的 Linux 平台設定為以 FIPS 140-2 核准的操作模式 (亦稱為「FIPS 模式」) 執行,則 Qlik Cloud 政府 支援使用 資料移動閘道。
常見使用案例
下列區段醒目提示兩個常見使用案例:將資料移動至只能透過私人連線存取的目標,以及將資料移動至可從 Qlik Cloud 直接存取的目標。
Qlik 資料閘道 - 資料移動 在資料移動過程中扮演中心角色。下圖說明 資料移動閘道 如何與 Qlik Cloud 和資料來源互動,以安全地將資料移動至支援的目標。
需要部署的 資料移動閘道 數量取決於特定環境和使用情況。若資料來源彼此極為相近,且目標可從 Qlik Cloud 直接存取,則單一 資料移動閘道 通常已足夠。不過,在下列情況下,最佳做法是使用多個 資料閘道:
- 從彼此在地理上相距遙遠的資料來源擷取資料
- 從多個資料來源移動大量資料
- 將資料移動至可從 Qlik Cloud 存取的目標 (例如 VPC 中的 SQL Server)
支援私人連線於 Qlik Talend Data Integration
私人連線表示資料來源或目標未暴露於網際網路,因此無法從 Qlik Cloud 存取。
有幾種私人連線類型,範例包括:
- Snowflake AWS PrivateLink,其中已停用公用連線能力 (透過連接埠 443)
- Microsoft SQL Server (或任何其他 RDBMS),僅在具有私人 IP 位址的 VPC 中執行
部署的 資料移動閘道 可存取目標平台 ETL 操作,這包括下列部分或所有事項:資料註冊、儲存、轉換和資料超市。
請注意,雖然可以使用相同的閘道存取資料來源和資料目標,但使用兩個閘道 (一個存取來源,另一個存取目標) 通常會提供更好的效能。例如,若來源資料庫是 Oracle 內部部署且目標資料庫是 Snowflake AWS PrivateLink,則一個閘道 (在 Oracle 來源連線中定義) 會用來將資料從 Oracle 登陸到 Snowflake,而另一個閘道 (在 Snowflake 目標連線中定義) 將用來執行 ELT 操作。若來源和目標資料庫彼此並不相近,尤其建議使用兩個閘道。在此情況下,登陸閘道應盡可能靠近來源,而目標閘道應盡可能靠近目標。若正在從多個資料來源擷取資料,可能也適合為每個資料來源設定專用閘道,視資料來源的類型和位置而定。此設定類型的範例顯示於下圖。
將資料從企業資料來源移動至支援的目標
高層級通訊順序如下:
-
資料移動閘道 使用 HTTPS 對 Qlik Cloud 建立相互驗證的加密連線。
-
Qlik Cloud 將任務執行說明傳送至 資料移動閘道,這反過來會向 Qlik Cloud 報告任務狀態。
-
資料移動閘道 從資料來源擷取資料並發佈至指定目標。
將資料從 SaaS 應用程式移至支援的目標
高層級通訊順序如下:
-
資料移動閘道 使用 HTTPS 對 Qlik Cloud 建立相互驗證的加密連線。
-
Qlik Cloud 將登陸任務執行說明傳送至 資料移動閘道,這反過來會向 Qlik Cloud 報告任務狀態。
-
啟動登陸任務後,Qlik Cloud 會從 SaaS 應用程式提取資料並儲存 (透過租用戶金鑰加密)。
-
資料移動閘道 從 Qlik Cloud 擷取 SaaS 應用程式並發佈至指定目標。
將資料從 SaaS 應用程式和企業資料來源移動至支援的目標
高階通訊序列是上述「從企業資料來源移動資料」和「從 SaaS 應用程式移動資料」使用案例的組合。
將資料從 VPC 中的 SaaS 應用程式和企業資料來源移動至 VPC 中的目標
從 SaaS 應用程式移動資料的高階通訊序列如下:
-
資料移動閘道 使用 HTTPS 對 Qlik Cloud 建立相互驗證的加密連線。
-
Qlik Cloud 將登陸任務執行說明傳送至 資料移動閘道,這反過來會向 Qlik Cloud 報告任務狀態。
-
啟動登陸任務後,Qlik Cloud 會從 SaaS 應用程式提取資料並儲存 (透過租用戶金鑰加密)。
-
資料移動閘道 從 Qlik Cloud 擷取 SaaS 應用程式並發佈至指定目標。
從企業資料來源移動資料的高階通訊序列如下:
-
資料移動閘道 使用 HTTPS 對 Qlik Cloud 建立相互驗證的加密連線。
-
Qlik Cloud 將登陸任務執行說明傳送至 資料移動閘道,這反過來會向 Qlik Cloud 報告任務狀態。
-
資料移動閘道 從資料來源擷取資料並發佈至指定目標。