Qlik 数据网关 - 数据移动

Qlik 数据网关 - 数据移动（以下简称 数据移动网关）通过严格的出站、加密和相互身份验证的连接，促进数据从企业数据源和 SaaS 应用程序移动到受支持的目标。通过消除打开入站防火墙端口的需要，数据移动网关 提供了一种安全可靠的方式来移动您的企业数据。

何时需要 数据移动网关？

在以下情况下需要 数据移动网关：

• 无法从 Qlik Cloud 直接访问您的数据源或目标。无法从 Qlik Cloud 直接访问的数据源或目标的示例包括位于 VPC 中或在关闭入站通信的防火墙后面的数据源或目标。

  有关专用连接的更多信息，请参阅下面的 在 Qlik Talend Data Integration 中支持专用连接。

• 您需要来自数据库源的近实时 CDC。
• 您需要通过代理服务器访问目标平台。
• 您想要使用知识集市。

• 您拥有 Premium 或 Enterprise 订阅，并且需要每隔不到 30 分钟从 SaaS 应用程序源进行增量加载。使用 数据移动网关 时，对于 Premium 和 Enterprise 订阅，您可以将间隔设置为短至 5 分钟。

  有关根据数据源类型和订阅层的最小调度间隔的信息，请参阅允许的最小调度间隔。

• 您的数据源是以下之一：
  • IBM DB2 for z/OS
  • IBM DB2 for iSeries
  • IBM DB2 for LUW
  • SAP Extractor
  • SAP (Application)
  • SAP ODP
  • SAP OData
  • SAP HANA (Database)
  • Oracle
  信息注释您可以将 数据移动网关 用于任何数据源。上述数据源是需要 数据移动网关 的数据源。对于所有其他数据源，如果您需要 数据移动网关 提供的附加功能，则可以使用它，但这不是标准要求。
• 您需要 数据移动网关 提供的附加安全层，它可以防止数据通过 Qlik Cloud 并允许客户控制数据路径。这仅与 RDBMS、大型机和 SAP 数据源相关。

在以下示例中，不需要 数据移动网关，因为 SaaS 应用程序源和数据仓库目标都可以从 Qlik Cloud 直接访问：

数据移动网关 部署矩阵

保护您的数据

为连接到 Qlik Cloud 租户的每个 数据移动网关 服务器建立唯一的密钥对。此密钥对用于身份验证以及在 HTTPS 传输层加密之上的端到端数据加密。此外，由于与 Qlik Cloud 的通信和数据传输仅通过出站端口启动，因此您无需向企业网络打开任何入站端口。

常见用例

以下部分重点介绍两个常见用例：将数据移动到只能通过专用连接访问的目标，以及将数据移动到可从 Qlik Cloud 直接访问的目标。

Qlik 数据网关 - 数据移动 在数据移动过程中发挥着核心作用。下图说明了 数据移动网关 如何与 Qlik Cloud 和您的数据源交互，以安全地将数据移动到受支持的目标。

在 Qlik Talend Data Integration 中支持专用连接

专用连接意味着您的数据源或目标未暴露在 Internet 中，从而无法从 Qlik Cloud 访问它。

有几种类型的专用连接，其示例包括：

• 已禁用公共连接（通过端口 443）的 Snowflake AWS PrivateLink
• 在仅具有专用 IP 地址的 VPC 中运行的 Microsoft SQL Server（或任何其他 RDBMS）

部署以访问目标的 数据移动网关 执行 ELT 操作，其中包括以下部分或全部内容：数据注册、存储、转换和数据集市。

请注意，虽然可以使用同一个网关访问数据源和数据目标，但使用两个网关（一个访问源，另一个访问目标）通常会提供更好的性能。例如，如果源数据库是本地 Oracle，目标数据库是 Snowflake AWS PrivateLink，则一个网关（在 Oracle 源连接中定义）将用于将数据从 Oracle 登陆到 Snowflake，而另一个网关（在 Snowflake 目标连接中定义）将用于执行 ELT 操作。如果源数据库和目标数据库彼此不靠近，则特别建议使用两个网关。在这种情况下，登陆网关应尽可能靠近源，而目标网关应尽可能靠近目标。如果正在从多个数据源摄取数据，则为每个数据源设置专用网关也可能是有意义的，具体取决于数据源的类型和位置。下图显示了此类设置的示例。

将数据从企业数据源移动到受支持的目标

高级通信序列如下：

1. 数据移动网关 使用 HTTPS 建立到 Qlik Cloud 的相互身份验证和加密连接。

2. Qlik Cloud 向 数据移动网关 发送任务执行指令，后者反过来向 Qlik Cloud 报告任务状态。

3. 数据移动网关 从数据源检索数据并将其推送到指定目标。

将数据从 SaaS 应用程序移动到受支持的目标

高级通信序列如下：

1. 数据移动网关 使用 HTTPS 建立到 Qlik Cloud 的相互身份验证和加密连接。

2. Qlik Cloud 向 数据移动网关 发送登陆任务执行指令，后者将任务状态报告回 Qlik Cloud。

3. 启动登陆任务时，Qlik Cloud 从 SaaS 应用程序提取数据并将其存储（使用租户密钥加密）。

4. 数据移动网关 从 Qlik Cloud 检索 SaaS 应用程序数据并将其推送到指定目标。

将数据从 SaaS 应用程序和企业数据源移动到受支持的目标

高级通信序列是上述“将数据从企业数据源移动”和“将数据从 SaaS 应用程序移动”用例的组合。

将数据从 VPC 中的 SaaS 应用程序和企业数据源移动到 VPC 中的目标

从 SaaS 应用程序移动数据的高级通信序列如下：

1. 数据移动网关 使用 HTTPS 建立到 Qlik Cloud 的相互身份验证和加密连接。

2. Qlik Cloud 向 数据移动网关 发送登陆任务执行指令，后者将任务状态报告回 Qlik Cloud。

3. 启动登陆任务时，Qlik Cloud 从 SaaS 应用程序提取数据并将其存储（使用租户密钥加密）。

4. 数据移动网关 从 Qlik Cloud 检索 SaaS 应用程序数据并将其推送到指定目标。

从企业数据源移动数据的高级通信序列如下：

1. 数据移动网关 使用 HTTPS 建立到 Qlik Cloud 的相互身份验证和加密连接。

2. Qlik Cloud 向 数据移动网关 发送登陆任务执行指令，后者将任务状态报告回 Qlik Cloud。

3. 数据移动网关 从数据源检索数据并将其推送到指定目标。