跳到主要内容 跳到补充内容

Qlik Data Gateway - Data Movement

Qlik Data Gateway - Data Movement(以下称为Data Movement gateway)通过严格的出站、加密和相互验证的连接,方便数据从企业数据源和 SaaS 应用程序移动到支持的目标。通过消除打开入站防火墙端口的需要,Data Movement gateway 为移动企业数据提供了一种安全可靠的方法。

什么时候需要 Data Movement gateway

信息注释Data Movement gateway 仅适用于具有标准、高级或企业订阅的客户。

在以下情况下需要 Data Movement gateway

  • 您的数据源或目标无法直接从 Qlik Cloud 访问。无法直接从 Qlik Cloud 访问的数据源或目标的示例包括位于 VPC 中或禁止入站通信的防火墙后面的数据源和目标。

    有关专用连接的更多信息,请参阅下面的支持此项中的私有连接 Qlik Talend Data Integration

  • 您需要来自数据库源的近乎实时的 CDC。
  • 您需要通过代理服务器访问目标平台。
  • 您拥有高级或企业订阅,并且需要每 30 分钟从 SaaS 应用程序源进行增量加载。使用 Data Movement gateway 时,您可以将这些订阅的间隔设置为 5 分钟。

    有关根据数据源类型和订阅层的最小调度间隔的信息,请参阅允许的最小调度间隔

  • 您的数据源是以下之一:
    • IBM DB2 for z/OS
    • IBM DB2 for iSeries
    • IBM DB2 for LUW
    • SAP Extractor
    • SAP(应用程序)
    • SAP ODP
    • SAP HANA(数据库)
    • Oracle
    • Microsoft SQL Server(基于 Microsoft 日志)
  • 您需要添加由 Data Movement gateway 提供的安全层,以防止数据通过 Qlik Cloud,并允许客户控制数据路径。这仅与 RDBMS、大型机和 SAP 数据源相关。

在以下示例中,不需要 Data Movement gateway,因为 SaaS 应用程序源和数据仓库目标都可以直接从 Qlik Cloud 访问:

将数据从 SaaS 应用程序移动到数据仓库目标,无需 Data Movement gateway

将数据从 SaaS 应用程序移动到数据仓库目标,而不使用 Data Movement gateway

保护您的数据

为连接到 Qlik Cloud 租户的每个 Data Movement gateway 服务器建立一个唯一密钥对。此密钥对用于身份验证和 HTTPS 传输级加密之上的端到端数据加密。此外,由于与 Qlik Cloud 的通信和数据传输仅通过出站端口启动,因此您不需要打开公司网络的任何入站端口。

Qlik Cloud Government 注释

Qlik Cloud 政府 支持在安装 Data Movement gateway 的 Linux 平台配置为以 FIPS 140-2 批准的操作模式(也称为“FIPS 模式”)运行时使用 Data Movement gateway

信息注释Data Movement gateway 文档始终反映最新应用程序版本的功能。如果您没有使用最新版本,建议您的系统管理员立即升级。有关升级的信息,请参阅升级和卸载 Data Movement gateway

常见用例

以下部分重点介绍了两个常见的用例:将数据移动到只能通过专用连接访问的目标,并将数据移动至可以直接从 Qlik Cloud 访问的目标。

Qlik Data Gateway - Data Movement 在数据移动过程中起着核心作用。下图说明了 Data Movement gateway 如何与 Qlik Cloud 和您的数据源交互,以安全地将数据移动到支持的目标。

信息注释

需要部署的 Data Movement gateway 的数量取决于您的特定环境和用例。如果您的数据源彼此非常接近,并且可以从 Qlik Cloud 直接访问您的目标,那么一个 Data Movement gateway 通常就已足够。但是,在以下情况下,最佳做法是使用多个数据网关

  • 从地理上相距遥远的数据源获取数据
  • 从多个数据源移动大量数据
  • 将数据从 Qlik Cloud 移动到无法访问的目标(例如 VPC 中的 SQL Server)

支持此项中的私有连接 Qlik Talend Data Integration

私有连接意味着您的数据源或目标不会暴露在互联网上,因此无法从 Qlik Cloud 访问。

有几种类型的私有连接,例如:

  • Snowflake AWS PrivateLink,其中公开连接(经由端口 443)已禁用
  • 在仅具有私有 IP 地址的 VPC 中运行的 Microsoft SQL Server(或任何其他 RDBMS)
提示注释尽管必须部署 Data Movement gateway 以访问您的数据源,即使可以从 Qlik Cloud 直接访问数据源,但只有在无法从 Qlik Cloud 直接访问目标的情况下,才需要部署 Data Movement gateway 以访问目标平台。

部署了 Data Movement gateway 来访问执行 ELT 操作的目标,其中包括以下项的部分或全部:数据注册、存储、转换和数据集市。

请注意,虽然可以使用同一网关同时访问数据源和数据目标,但使用两个网关(一个访问源,另一个访问目标)通常会提供更好的性能。例如,如果源数据库是 Oracle 内部部署,而目标数据库是 Snowflake AWS PrivateLink,则一个网关(在 Oracle 源连接中定义)将用于将数据从 Oracle 连接到 Snowflak,而另一个网关(在 Snowflake 目标连接中定义的)将用于执行 ELT 操作。如果源数据库和目标数据库彼此距离不近,则特别建议使用两个网关。在这种情况下,登陆网关应尽可能靠近源,而目标网关应尽可能靠近目标。如果数据是从多个数据源获取的,根据数据源的类型和位置,为每个数据源设置一个专用网关也可能是有意义的。下图显示了此类设置的示例。

将数据从分布式数据源移动到 VPC 中的目标,然后在该目标上执行 ELT 操作

将数据从企业数据源移动到支持的目标

概览性通信顺序如下:

  1. Data Movement gateway 使用 HTTPS 建立到 Qlik Cloud 的相互验证和加密的连接。

  2. Qlik Cloud 将任务执行指令发送到 Data Movement gateway,网关再向 Qlik Cloud 报告任务状态。

  3. Data Movement gateway 从数据源检索数据并将其推送到指定的目标。

Data Movement gateway - 将数据从企业数据源移动到支持的目标

将数据从 SaaS 应用程序移动到支持的目标

概览性通信顺序如下:

  1. Data Movement gateway 使用 HTTPS 建立到 Qlik Cloud 的相互验证和加密的连接。

  2. Qlik Cloud 将登陆任务执行指令发送到 Data Movement gateway,网关再向 Qlik Cloud 报告任务状态。

  3. 当登陆任务启动时,Qlik Cloud 从 SaaS 应用程序中提取数据并存储(使用租户密钥加密)。

  4. Data Movement gatewayQlik Cloud 中检索 SaaS 应用程序数据并将其推送到指定的目标。

提示注释在这个用例中,Data Movement gateway 不必安装在防火墙后面,因为源(SaaS 应用程序)和目标都没有位于防火墙后面。

Data Movement gateway - 将数据从 SaaS 应用程序移动到支持的目标

将数据从 SaaS 应用程序和企业数据源移动到支持的目标

提示注释在这个用例中,安装了两个 Data Movement gateway(在不同的机器上):一个为企业数据源服务,另一个为 SaaS 应用程序服务。用于 SaaS 应用程序的 Data Movement gateway 不必安装在防火墙后面,因为源(SaaS 应用程序)和目标都没有位于防火墙后面。

高级通信序列是上面描述的“从企业数据源移动数据”和“从 SaaS 应用程序移动数据”用例的组合。

Data Movement gateway - 将数据从 SaaS 应用程序和企业数据源移动到支持的目标

将数据从 VPC 中的 SaaS 应用程序和企业数据源移动到 VPC 中的目标

从 SaaS 应用程序移动数据的高级通信顺序如下:

  1. Data Movement gateway 使用 HTTPS 建立到 Qlik Cloud 的相互验证和加密的连接。

  2. Qlik Cloud 将登陆任务执行指令发送到 Data Movement gateway,网关再向 Qlik Cloud 报告任务状态。

  3. 当登陆任务启动时,Qlik Cloud 从 SaaS 应用程序中提取数据并存储(使用租户密钥加密)。

  4. Data Movement gatewayQlik Cloud 中检索 SaaS 应用程序数据并将其推送到指定的目标。

从企业数据源移动数据的高级通信顺序如下:

  1. Data Movement gateway 使用 HTTPS 建立到 Qlik Cloud 的相互验证和加密的连接。

  2. Qlik Cloud 将登陆任务执行指令发送到 Data Movement gateway,网关再向 Qlik Cloud 报告任务状态。

  3. Data Movement gateway 从数据源检索数据并将其推送到指定的目标。

Data Movement gateway - 将数据从 VPC 中的 SaaS 应用程序和企业数据源移动到 VPC 中的目标

本页面有帮助吗?

如果您发现此页面或其内容有任何问题 – 打字错误、遗漏步骤或技术错误 – 请告诉我们如何改进!