Qlik 数据网关 - 数据移动

Qlik 数据网关 - 数据移动（以下称为数据移动网关）通过严格的出站、加密和相互验证的连接，方便数据从企业数据源和 SaaS 应用程序移动到支持的目标。通过消除打开入站防火墙端口的需要，数据移动网关 为移动企业数据提供了一种安全可靠的方法。

什么时候需要 数据移动网关？

在以下情况下需要 数据移动网关：

• 您的数据源或目标无法直接从 Qlik Cloud 访问。无法直接从 Qlik Cloud 访问的数据源或目标的示例包括位于 VPC 中或禁止入站通信的防火墙后面的数据源和目标。

  有关专用连接的更多信息，请参阅下面的支持此项中的私有连接 Qlik Talend Data Integration。

• 您需要来自数据库源的近乎实时的 CDC。
• 您需要通过代理服务器访问目标平台。

• 您拥有高级或企业订阅，并且需要每 30 分钟从 SaaS 应用程序源进行增量加载。使用 数据移动网关 时，您可以将这些订阅的间隔设置为 5 分钟。

  有关根据数据源类型和订阅层的最小调度间隔的信息，请参阅允许的最小调度间隔。

• 您的数据源是以下之一：
  • IBM DB2 for z/OS
  • IBM DB2 for iSeries
  • IBM DB2 for LUW
  • SAP Extractor
  • SAP（应用程序）
  • SAP ODP
  • SAP HANA（数据库）
  • Oracle
  • Microsoft SQL Server（基于 Microsoft 日志）
• 您需要添加由 数据移动网关 提供的安全层，以防止数据通过 Qlik Cloud，并允许客户控制数据路径。这仅与 RDBMS、大型机和 SAP 数据源相关。

在以下示例中，不需要 数据移动网关，因为 SaaS 应用程序源和数据仓库目标都可以直接从 Qlik Cloud 访问：

保护您的数据

为连接到 Qlik Cloud 租户的每个 数据移动网关 服务器建立一个唯一密钥对。此密钥对用于身份验证和 HTTPS 传输级加密之上的端到端数据加密。此外，由于与 Qlik Cloud 的通信和数据传输仅通过出站端口启动，因此您不需要打开公司网络的任何入站端口。

常见用例

以下部分重点介绍了两个常见的用例：将数据移动到只能通过专用连接访问的目标，并将数据移动至可以直接从 Qlik Cloud 访问的目标。

Qlik 数据网关 - 数据移动 在数据移动过程中起着核心作用。下图说明了 数据移动网关 如何与 Qlik Cloud 和您的数据源交互，以安全地将数据移动到支持的目标。

支持此项中的私有连接 Qlik Talend Data Integration

私有连接意味着您的数据源或目标不会暴露在互联网上，因此无法从 Qlik Cloud 访问。

有几种类型的私有连接，例如：

• Snowflake AWS PrivateLink，其中公开连接（经由端口 443）已禁用
• 在仅具有私有 IP 地址的 VPC 中运行的 Microsoft SQL Server（或任何其他 RDBMS）

部署了 数据移动网关 来访问执行 ELT 操作的目标，其中包括以下项的部分或全部：数据注册、存储、转换和数据集市。

请注意，虽然可以使用同一网关同时访问数据源和数据目标，但使用两个网关（一个访问源，另一个访问目标）通常会提供更好的性能。例如，如果源数据库是 Oracle 内部部署，而目标数据库是 Snowflake AWS PrivateLink，则一个网关（在 Oracle 源连接中定义）将用于将数据从 Oracle 连接到 Snowflak，而另一个网关（在 Snowflake 目标连接中定义的）将用于执行 ELT 操作。如果源数据库和目标数据库彼此距离不近，则特别建议使用两个网关。在这种情况下，登陆网关应尽可能靠近源，而目标网关应尽可能靠近目标。如果数据是从多个数据源获取的，根据数据源的类型和位置，为每个数据源设置一个专用网关也可能是有意义的。下图显示了此类设置的示例。

将数据从企业数据源移动到支持的目标

概览性通信顺序如下：

1. 数据移动网关 使用 HTTPS 建立到 Qlik Cloud 的相互验证和加密的连接。

2. Qlik Cloud 将任务执行指令发送到 数据移动网关，网关再向 Qlik Cloud 报告任务状态。

3. 数据移动网关 从数据源检索数据并将其推送到指定的目标。

将数据从 SaaS 应用程序移动到支持的目标

概览性通信顺序如下：

1. 数据移动网关 使用 HTTPS 建立到 Qlik Cloud 的相互验证和加密的连接。

2. Qlik Cloud 将登陆任务执行指令发送到 数据移动网关，网关再向 Qlik Cloud 报告任务状态。

3. 当登陆任务启动时，Qlik Cloud 从 SaaS 应用程序中提取数据并存储（使用租户密钥加密）。

4. 数据移动网关 从 Qlik Cloud 中检索 SaaS 应用程序数据并将其推送到指定的目标。

将数据从 SaaS 应用程序和企业数据源移动到支持的目标

高级通信序列是上面描述的“从企业数据源移动数据”和“从 SaaS 应用程序移动数据”用例的组合。

将数据从 VPC 中的 SaaS 应用程序和企业数据源移动到 VPC 中的目标

从 SaaS 应用程序移动数据的高级通信顺序如下：

1. 数据移动网关 使用 HTTPS 建立到 Qlik Cloud 的相互验证和加密的连接。

2. Qlik Cloud 将登陆任务执行指令发送到 数据移动网关，网关再向 Qlik Cloud 报告任务状态。

3. 当登陆任务启动时，Qlik Cloud 从 SaaS 应用程序中提取数据并存储（使用租户密钥加密）。

4. 数据移动网关 从 Qlik Cloud 中检索 SaaS 应用程序数据并将其推送到指定的目标。

从企业数据源移动数据的高级通信顺序如下：

1. 数据移动网关 使用 HTTPS 建立到 Qlik Cloud 的相互验证和加密的连接。

2. Qlik Cloud 将登陆任务执行指令发送到 数据移动网关，网关再向 Qlik Cloud 报告任务状态。

3. 数据移动网关 从数据源检索数据并将其推送到指定的目标。