Qlik Data Gateway - Data Movement

O Qlik Data Gateway - Data Movement facilita a movimentação de dados das suas fontes de dados empresariais e aplicativos SaaS para destinos compatíveis por meio de uma conexão estritamente de saída, criptografada e mutuamente autenticada. Eliminando a necessidade de abrir portas de firewall de entrada, o Qlik Data Gateway - Data Movement fornece um meio seguro e confiável de mover seus dados corporativos.

Um par de chaves exclusivo é estabelecido para cada servidor gateway Movimentação de dados conectado ao locatário do Qlik Cloud. Esse par de chaves é usado para autenticação e criptografia de dados de ponta a ponta, além de criptografia em nível de transporte HTTPS. Além disso, como a comunicação com o Qlik Cloud e a transferência de dados for iniciada somente por portas de saída, você não precisa abrir nenhuma porta de entrada para sua rede corporativa.

Casos de uso comuns

A seção a seguir destaca dois casos de uso comuns: Mover dados para um destino que somente pode ser acessado por meio de uma conexão privada e mover dados para destinos que podem ser acessados diretamente do Qlik Cloud.

O Qlik Data Gateway - Data Movement desempenha um papel central no processo de movimentação de dados. Os diagramas abaixo ilustram como o Data Movement gateway interage com o Qlik Cloud e suas fontes de dados para mover os dados com segurança para destinos compatíveis.

Oferecer suporte para conexões privadas no Qlik Cloud Data Integration

Uma conexão privada significa que sua fonte ou destino de dados não está exposto à Internet, tornando-o inacessível no Qlik Cloud.

Existem vários tipos de conexões privadas. Alguns exemplos incluem:

• Snowflake AWS PrivateLink em que a conectividade pública (via porta 443) foi desabilitada
• Microsoft SQL Server (ou qualquer outro RDBMS) em execução em uma VPC que tenha apenas um endereço IP privado

O Data Movement gateway implementado para acessar seu destino executa operações de ELT, que incluem alguns ou todos os itens a seguir: registro de dados, armazenamento, transformações e datamarts.

Observe que, embora seja possível usar o mesmo gateway para acessar a origem e o destino dos dados, o uso de dois gateways (um acessando a origem e o outro acessando o destino) geralmente oferece melhor desempenho. Por exemplo, se o banco de dados de origem for o Oracle on-premises e o banco de dados de destino for o Snowflake AWS PrivateLink, um gateway (definido na conexão de origem Oracle) será usado para transferir dados do Oracle para o Snowflake, enquanto o outro gateway (definido na conexão de destino do Snowflake) será usado para executar as operações de ELT. O uso de dois gateways é especialmente recomendado quando os bancos de dados de origem e destino não estão próximos um do outro. Nesse cenário, o gateway de destino deve estar o mais próximo possível da origem, enquanto o gateway de destino deve estar o mais próximo possível do destino. Se os dados estiverem sendo ingeridos de várias fontes de dados, também poderá fazer sentido configurar um gateway dedicado para cada fonte de dados, dependendo do tipo e da localização das fontes de dados. Um exemplo desse tipo de configuração é mostrado na imagem abaixo.

Movimentando dados de fontes de dados empresariais para destinos compatíveis

A sequência de comunicação de alto nível é a seguinte:

1. O Data Movement gateway estabelece uma conexão mutuamente autenticada e criptografada com o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas ao Data Movement gateway, que, por sua vez, relata o status da tarefa para o Qlik Cloud.

3. O Data Movement gateway recupera os dados da fonte de dados e os envia ao destino designado.

Movimentando dados de aplicativos SaaS para destinos compatíveis

A sequência de comunicação de alto nível é a seguinte:

1. O Data Movement gateway estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Data Movement gateway, que relata o status da tarefa de volta para o Qlik Cloud.

3. Quando a tarefa de aterrisagem é iniciada, o Qlik Cloudextrai os dados do aplicativo SaaS e os armazena (criptografados com a chave do locatário).

4. O Data Movement gateway recupera os dados do aplicativo SaaS do Qlik Cloud e os envia ao destino designado.

Movimentando dados de aplicativos SaaS e fontes de dados empresariais para destinos compatíveis

A sequência de comunicação de alto nível é uma combinação dos casos de uso de "Movimentando dados de fontes de dados empresariais" e "Movimentando dados de aplicativos SaaS", descritos acima.

Movimentando dados de aplicativos SaaS e fontes de dados empresariais em uma VPC para destinos na VPC

A sequência de comunicação de alto nível para mover dados do aplicativo SaaS é a seguinte:

1. O Data Movement gateway estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Data Movement gateway, que relata o status da tarefa de volta para o Qlik Cloud.

3. Quando a tarefa de aterrisagem é iniciada, o Qlik Cloudextrai os dados do aplicativo SaaS e os armazena (criptografados com a chave do locatário).

4. O Data Movement gateway recupera os dados do aplicativo SaaS do Qlik Cloud e os envia ao destino designado.

A sequência de comunicação de alto nível para movimentar dados da fonte de dados empresariais é a seguinte:

1. O Data Movement gateway estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Data Movement gateway, que relata o status da tarefa de volta para o Qlik Cloud.

3. O Data Movement gateway recupera os dados da fonte de dados e os envia ao destino designado.