Pasarela de datos de Qlik - Data Movement

Pasarela de datos de Qlik - Data Movement (en adelante Pasarela Data Movement) le permite mover datos de las fuentes de datos de su empresa y aplicaciones SaaS a destinos compatibles, a través de una conexión estrictamente saliente, cifrada y mutuamente autenticada. Al eliminar la necesidad de abrir puertos de firewall entrantes, Pasarela Data Movement proporciona un medio seguro y fiable de acceder a los datos de su empresa.

¿Cuándo es obligatorio Pasarela Data Movement?

Pasarela Data Movement se requiere en los siguientes casos:

• Qlik Cloud no puede acceder directamente a su fuente o destino de datos. Entre los ejemplos de fuentes o destinos de datos a los que Qlik Cloud no puede acceder directamente, se incluyen las fuentes o destinos de datos situados en una VPC o detrás de un cortafuegos cerrado a la comunicación entrante.

  Para obtener más información sobre las conexiones privadas, consulte Compatibilidad con conexiones privadas en Qlik Talend Data Integration a continuación.

• Necesita CDC casi en tiempo real de fuentes de bases de datos
• Necesita acceder a las plataformas de destino a través de un servidor proxy

• Tiene una suscripción Premium o Enterprise y necesita cargas incrementales desde fuentes de aplicaciones SaaS con una frecuencia inferior a 30 minutos. Al utilizar Pasarela Data Movement, puede fijar el intervalo en tan solo 5 minutos con estas suscripciones.

  Para obtener información sobre los intervalos mínimos de programación según el tipo de fuente de datos y el nivel de suscripción, consulte Intervalos de programación mínimos permitidos.

• Su fuente de datos es una de las siguientes:
  • IBM DB2 para z/OS
  • IBM DB2 for iSeries
  • IBM DB2 para LUW
  • SAP Extractor
  • SAP (Aplicación)
  • SAP ODP
  • SAP HANA (Base de datos)
  • Oracle
  • Microsoft SQL Server (basado en los registros de Microsoft)
• Necesita la capa de seguridad añadida que proporciona Pasarela Data Movement, que impide que los datos pasen a través de Qlik Cloud y permite a los clientes controlar la ruta de los datos. Esto solo es relevante para las fuentes de datos RDBMS, mainframe y SAP.

En el siguiente ejemplo, Pasarela Data Movement no es necesario ya que tanto el origen de la aplicación SaaS como el destino del almacén de datos son directamente accesibles desde Qlik Cloud:

Proteger sus datos

Se establece un par de claves único para cada servidor de Pasarela Data Movement conectado al espacio empresarial inquilino de Qlik Cloud. Este par de claves se utiliza para la autenticación y el cifrado de datos de extremo a extremo además del cifrado de nivel de transporte HTTPS. Dado que la comunicación con Qlik Cloud y la transferencia de datos se inician únicamente a través de los puertos de salida, no necesita abrir ningún puerto de entrada a su red corporativa.

Casos de uso habituales

La siguiente sección destaca dos casos de uso comunes: mover datos a un destino al que solo se puede acceder a través de una conexión privada y mover datos a destinos a los que se puede acceder directamente desde Qlik Cloud.

Pasarela de datos de Qlik - Data Movement desempeña un rol central en el proceso de movimiento de datos. Los diagramas a continuación muestran cómo interactúa Pasarela Data Movement con Qlik Cloud y sus fuentes de datos para mover datos a los destinos admitidos de forma segura.

Compatibilidad con conexiones privadas en Qlik Talend Data Integration

Una conexión privada significa que su fuente de datos o destino no está expuesta a Internet, lo que la hace inaccesible desde Qlik Cloud.

Existen varios tipos de conexión privada, por ejemplo:

• Snowflake AWS PrivateLink donde la conectividad pública (a través del puerto 443) se ha deshabilitado
• Microsoft SQL Server (o cualquier otro RDBMS) que se ejecute en una VPC que solo tenga una dirección IP privada

La Pasarela Data Movement implementada para acceder al destino realiza operaciones de ELT, lo que incluye algunas o todas las siguientes: registro de datos, almacenamiento, transformaciones y data marts.

Tenga en cuenta que, aunque es posible usar la misma pasarela para acceder tanto a la fuente de datos como al destino de datos, usar dos pasarelas, una para acceder a la fuente y otra para acceder al destino, normalmente ofrece un mejor rendimiento. Por ejemplo, si la base de datos de origen es Oracle local y la base de datos de destino es Snowflake AWS PrivateLink, se usará una pasarela (definida en la conexión de origen de Oracle) para aterrizar los datos de Oracle a Snowflake, mientras que la otra pasarela (definida en la conexión de destino de Snowflake) se usará para realizar las operaciones de ELT. El uso de dos pasarelas es especialmente recomendable si las bases de datos de origen y de destino no están próximas entre sí. En un escenario así, la pasarela de aterrizaje debe estar lo más cerca posible del origen, mientras que la pasarela de destino debe estar lo más cerca posible del destino. Si los datos se ingieren desde varias fuentes de datos, también puede tener sentido configurar una pasarela específica para cada fuente de datos, dependiendo tanto del tipo como de la ubicación de las fuentes de datos. En la siguiente imagen se muestra un ejemplo de este tipo de configuración.

Mover datos desde fuentes de datos empresariales a destinos admitidos

La secuencia de comunicación de alto nivel es la siguiente:

1. La Pasarela Data Movement establece una conexión a Qlik Cloud cifrada y autenticada mutuamente a través de HTTPS.

2. Qlik Cloud envía las sentencias de ejecución de la tarea a la Pasarela Data Movement, que a su vez informa el estado de la tarea a Qlik Cloud.

3. Pasarela Data Movement recupera los datos de la fuente de datos y los inserta en el destino designado.

Mover datos de aplicaciones SaaS a destinos admitidos

La secuencia de comunicación de alto nivel es la siguiente:

1. La Pasarela Data Movement establece una conexión a Qlik Cloud cifrada y autenticada mutuamente a través de HTTPS.

2. Qlik Cloud envía las instrucciones de ejecución del aterrizaje a Pasarela Data Movement, que a su vez vuelve a informar del estado de la tarea a Qlik Cloud.

3. Cuando la tarea de aterrizaje se inicia, Qlik Cloud extrae los datos de la aplicación SaaS y los almacena (cifrados con una clave del espacio empresarial inquilino).

4. Pasarela Data Movement recupera los datos de la aplicación SaaS de Qlik Cloud y los inserta en el destino designado.

Mover datos desde aplicaciones SaaS y fuentes de datos empresariales a destinos admitidos

La secuencia de comunicación de alto nivel es una combinación de los casos de uso "Mover datos desde fuentes de datos empresariales" y "Mover datos desde aplicaciones SaaS" descritos anteriormente.

Mover datos desde aplicaciones SaaS y fuentes de datos empresariales en una VPC a destinos en la VPC

La secuencia de comunicación de alto nivel para mover datos desde la aplicación SaaS es la siguiente:

1. La Pasarela Data Movement establece una conexión a Qlik Cloud cifrada y autenticada mutuamente a través de HTTPS.

2. Qlik Cloud envía las instrucciones de ejecución del aterrizaje a Pasarela Data Movement, que a su vez vuelve a informar del estado de la tarea a Qlik Cloud.

3. Cuando la tarea de aterrizaje se inicia, Qlik Cloud extrae los datos de la aplicación SaaS y los almacena (cifrados con una clave del espacio empresarial inquilino).

4. Pasarela Data Movement recupera los datos de la aplicación SaaS de Qlik Cloud y los inserta en el destino designado.

La secuencia de comunicación de alto nivel para mover datos desde la fuente de datos empresariales es la siguiente:

1. La Pasarela Data Movement establece una conexión a Qlik Cloud cifrada y autenticada mutuamente a través de HTTPS.

2. Qlik Cloud envía las instrucciones de ejecución del aterrizaje a Pasarela Data Movement, que a su vez vuelve a informar del estado de la tarea a Qlik Cloud.

3. Pasarela Data Movement recupera los datos de la fuente de datos y los inserta en el destino designado.