Qlik 資料閘道 - 資料移動
Qlik 資料閘道 - 資料移動 (以下簡稱 資料移動閘道) 透過嚴格的對外、加密且相互驗證的連線,促進從您的企業資料來源和 SaaS 應用程式到支援目標的資料移動。藉由消除開啟對內防火牆連接埠的需求,資料移動閘道 提供了一種安全且值得信賴的方式來移動您的企業資料。
何時需要 資料移動閘道?
在下列情況下需要 資料移動閘道:
-
無法從 Qlik Cloud 直接存取您的資料來源或目標。無法從 Qlik Cloud 直接存取的資料來源或目標範例,包括位於 VPC 中或在關閉對內通訊的防火牆後方的資料來源或目標。
如需有關私人連線的詳細資訊,請參閱下方的 在 Qlik Talend Data Integration 中支援私人連線。
- 您需要來自資料庫來源的近乎即時 CDC。
- 您需要透過 Proxy 伺服器存取目標平台。
- 您想要使用知識市集 (knowledge marts)。
-
您擁有 Premium 或 Enterprise 訂閱,且需要每隔不到 30 分鐘從 SaaS 應用程式來源進行增量載入。使用 資料移動閘道 時,您可以透過 Premium 和 Enterprise 訂閱將間隔設定為短至 5 分鐘。
如需關於根據資料來源類型和訂閱層級的最低排程間隔的資訊,請參閱 最低允許的排程間隔。
- 您的資料來源為下列之一:
- IBM DB2 for z/OS
- IBM DB2 for iSeries
- IBM DB2 for LUW
- SAP Extractor
- SAP (Application)
- SAP ODP
- SAP OData
- SAP HANA (Database)
- Oracle
資訊備註您可以將 資料移動閘道 用於任何資料來源。上述資料來源是需要 資料移動閘道 的資料來源。對於所有其他資料來源,如果您需要其提供的額外功能,則可以使用 資料移動閘道,但這不是標準需求。 - 您需要 資料移動閘道 提供的額外安全圖層,這可防止資料通過 Qlik Cloud 並允許客戶控制資料路徑。這僅與 RDBMS、大型主機和 SAP 資料來源相關。
在下列範例中,不需要 資料移動閘道,因為 SaaS 應用程式來源和資料倉儲目標都可以從 Qlik Cloud 直接存取:
在沒有 資料移動閘道 的情況下將資料從 SaaS 應用程式移動到資料倉儲目標

資料移動閘道 部署矩陣
| 使用案例 | 資料移動閘道 部署 |
|---|---|
| 為來源和目標連接器使用不同的 資料移動閘道 | 資料移動工作一律在為來源連接器定義的 資料移動閘道 上執行。這表示安裝來源閘道器的機器必須能夠存取資料來源和目標平台。為目標連接器定義的 資料移動閘道 允許 Qlik Cloud 存取目標以執行轉換和其他 ELT 作業。 |
| 將資料從 SaaS 來源移動到位於 VPC 中的目標平台 | 雖然存取 SaaS 來源不需要 資料移動閘道,但如果資料工作的目標平台位於 VPC 中或無法從 Qlik Cloud 存取,則需要它。在這種情況下,資料移動工作將在為 SaaS 連接器定義的 資料移動閘道 上執行。 |
| 為目標連接器定義 資料移動閘道 | 只有當目標平台位於 VPC 中或無法從 Qlik Cloud 存取時,您才需要為目標連接器定義 資料移動閘道。目標 資料移動閘道 不會執行任何資料移動,因為這完全是來源 資料移動閘道 的角色。相反地,它允許 Qlik Cloud 存取目標以執行轉換和其他 ELT 作業。 |
保護您的資料
會為連線至 Qlik Cloud 租用戶的每個 資料移動閘道 伺服器建立唯一的金鑰對。此金鑰對用於驗證以及在 HTTPS 傳輸層級加密之上的端對端資料加密。此外,由於與 Qlik Cloud 的通訊和資料傳輸僅透過對外連接埠起始,因此您不需要開啟任何對內連接埠至您的企業網路。
當安裝 資料移動閘道 的 Linux 平台設定為在 FIPS 140-2 核准的作業模式 (也稱為「FIPS 模式」) 下執行時,Qlik Cloud 政府 支援使用 資料移動閘道。
常見使用案例
下列區段強調兩個常見的使用案例:將資料移動到只能透過私人連線存取的目標,以及將資料移動到可從 Qlik Cloud 直接存取的目標。
Qlik 資料閘道 - 資料移動 在資料移動程序中扮演核心角色。下圖說明 資料移動閘道 如何與 Qlik Cloud 和您的資料來源互動,以安全地將資料移動到支援的目標。
需要部署的 資料移動閘道 數量取決於特定環境和使用情況。若資料來源彼此極為相近,且目標可從 Qlik Cloud 直接存取,則單一 資料移動閘道 通常已足夠。不過,在下列情況下,最佳做法是使用多個 資料閘道:
- 從彼此在地理上相距遙遠的資料來源擷取資料
- 從多個資料來源移動大量資料
- 將資料移動至可從 Qlik Cloud 存取的目標 (例如 VPC 中的 SQL Server)
在 Qlik Talend Data Integration 中支援私人連線
私人連線表示您的資料來源或目標未暴露於網際網路,使其無法從 Qlik Cloud 存取。
有幾種類型的私人連線,其範例包括:
- 已停用公用連線 (透過連接埠 443) 的 Snowflake AWS PrivateLink
- 在僅具有私人 IP 位址的 VPC 中執行的 Microsoft SQL Server (或任何其他 RDBMS)
部署以存取您目標的 資料移動閘道 會執行 ELT 作業,其中包含下列部分或全部項目:資料註冊、儲存、轉換和資料市集。
請注意,雖然可以使用相同的閘道器來存取資料來源和資料目標,但使用兩個閘道器 (一個存取來源,另一個存取目標) 通常會提供更好的效能。例如,如果來源資料庫是內部部署的 Oracle,而目標資料庫是 Snowflake AWS PrivateLink,則一個閘道器 (在 Oracle 來源連線中定義) 將用於將資料從 Oracle 登陸到 Snowflake,而另一個閘道器 (在 Snowflake 目標連線中定義) 將用於執行 ELT 作業。如果來源和目標資料庫彼此不靠近,則特別建議使用兩個閘道器。在這種情況下,登陸閘道器應盡可能靠近來源,而目標閘道器應盡可能靠近目標。如果正在從多個資料來源擷取資料,則根據資料來源的類型和位置,為每個資料來源設定專用閘道器可能也是合理的。下圖顯示了這種類型設定的範例。
將資料從分散式資料來源移動到 VPC 中的目標,然後在目標上執行 ELT 作業

將資料從企業資料來源移動到支援的目標
高階通訊順序如下:
-
資料移動閘道 使用 HTTPS 建立與 Qlik Cloud 相互驗證且加密的連線。
-
Qlik Cloud 將工作執行指示傳送至 資料移動閘道,後者接著會向 Qlik Cloud 報告工作狀態。
-
資料移動閘道 從資料來源擷取資料,並將其推送到指定的目標。
資料移動閘道 - 將資料從企業資料來源移動到支援的目標

將資料從 SaaS 應用程式移動到支援的目標
高階通訊順序如下:
-
資料移動閘道 使用 HTTPS 建立與 Qlik Cloud 相互驗證且加密的連線。
-
Qlik Cloud 將登陸工作執行指示傳送至 資料移動閘道,後者會將工作狀態報告回 Qlik Cloud。
-
啟動登陸工作時,Qlik Cloud 會從 SaaS 應用程式提取資料並將其儲存 (使用租用戶金鑰加密)。
-
資料移動閘道 從 Qlik Cloud 擷取 SaaS 應用程式資料,並將其推送到指定的目標。
資料移動閘道 - 將資料從 SaaS 應用程式移動到支援的目標

將資料從 SaaS 應用程式和企業資料來源移動到支援的目標
高階通訊順序是上述「將資料從企業資料來源移動」和「將資料從 SaaS 應用程式移動」使用案例的組合。
資料移動閘道 - 將資料從 SaaS 應用程式和企業資料來源移動到支援的目標

將資料從 VPC 中的 SaaS 應用程式和企業資料來源移動到 VPC 中的目標
從 SaaS 應用程式移動資料的高階通訊順序如下:
-
資料移動閘道 使用 HTTPS 建立與 Qlik Cloud 相互驗證且加密的連線。
-
Qlik Cloud 將登陸工作執行指示傳送至 資料移動閘道,後者會將工作狀態報告回 Qlik Cloud。
-
啟動登陸工作時,Qlik Cloud 會從 SaaS 應用程式提取資料並將其儲存 (使用租用戶金鑰加密)。
-
資料移動閘道 從 Qlik Cloud 擷取 SaaS 應用程式資料,並將其推送到指定的目標。
從企業資料來源移動資料的高階通訊順序如下:
-
資料移動閘道 使用 HTTPS 建立與 Qlik Cloud 相互驗證且加密的連線。
-
Qlik Cloud 將登陸工作執行指示傳送至 資料移動閘道,後者會將工作狀態報告回 Qlik Cloud。
-
資料移動閘道 從資料來源擷取資料,並將其推送到指定的目標。
資料移動閘道 - 將資料從 VPC 中的 SaaS 應用程式和企業資料來源移動到 VPC 中的目標
