Qlik Data Gateway - Data Movement

O Qlik Data Gateway - Data Movement (daqui em diante Data Movement gateway) facilita a movimentação de dados das suas fontes de dados empresariais e aplicativos SaaS para destinos compatíveis por meio de uma conexão estritamente de saída, criptografada e mutuamente autenticada. Eliminando a necessidade de abrir portas de firewall de entrada, o Data Movement gateway fornece um meio seguro e confiável de mover seus dados corporativos.

Quando o Data Movement gateway é necessário?

O Data Movement gateway é necessário nos seguintes casos:

• Sua fonte ou destino de dados não pode ser acessado diretamente do Qlik Cloud. Exemplos de fontes ou destinos de dados que não são acessíveis diretamente do Qlik Cloud incluem fontes ou destinos de dados localizados em uma VPC ou atrás de um firewall fechado para comunicação de entrada.

  Para obter mais informações sobre conexões privadas, consulte Oferecer suporte para conexões privadas no Qlik Talend Data Integration abaixo.

• Você precisa de CDC quase em tempo real de fontes de banco de dados.
• Você precisa acessar as plataformas de destino por meio de um servidor proxy.

• Você tem uma assinatura Premium ou Enterprise e precisa de cargas incrementais de fontes de aplicativos SaaS a cada 30 minutos. Ao usar o Data Movement gateway, você pode definir o intervalo para apenas 5 minutos com essas assinaturas.

  Para obter informações sobre os intervalos mínimos de agendamento de acordo com o tipo de fonte de dados e o nível de assinatura, consulte Intervalos mínimos de agendamento permitidos.

• Sua fonte de dados é uma das seguintes:
  • IBM DB2 for z/OS
  • IBM Db2 for iSeries
  • IBM DB2 for LUW
  • SAP Extractor
  • SAP (aplicativo)
  • SAP ODP
  • SAP HANA (banco de dados)
  • Oracle
  • Microsoft SQL Server (baseado em log da Microsoft)
• Você precisa da camada adicional de segurança fornecida pelo Data Movement gateway, que impede a passagem de dados pelo Qlik Cloud e permite que os clientes controlem o caminho dos dados. Isso é relevante apenas para fontes de dados RDBMS, mainframe e SAP.

No exemplo a seguir, o Data Movement gateway não é necessário, pois a origem do aplicativo SaaS e o destino do armazém de dados são acessíveis diretamente do Qlik Cloud:

Protegendo seus dados

Um par de chaves exclusivo é estabelecido para cada servidor Data Movement gateway conectado ao locatário do Qlik Cloud. Esse par de chaves é usado para autenticação e criptografia de dados de ponta a ponta, além de criptografia em nível de transporte HTTPS. Além disso, como a comunicação com o Qlik Cloud e a transferência de dados for iniciada somente por portas de saída, você não precisa abrir nenhuma porta de entrada para sua rede corporativa.

Casos de uso comuns

A seção a seguir destaca dois casos de uso comuns: Mover dados para um destino que somente pode ser acessado por meio de uma conexão privada e mover dados para destinos que podem ser acessados diretamente do Qlik Cloud.

O Qlik Data Gateway - Data Movement desempenha um papel central no processo de movimentação de dados. Os diagramas abaixo ilustram como o Data Movement gateway interage com o Qlik Cloud e suas fontes de dados para mover os dados com segurança para destinos compatíveis.

Oferecer suporte para conexões privadas no Qlik Talend Data Integration

Uma conexão privada significa que sua fonte ou destino de dados não está exposto à Internet, tornando-o inacessível no Qlik Cloud.

Existem vários tipos de conexões privadas. Alguns exemplos incluem:

• Snowflake AWS PrivateLink em que a conectividade pública (via porta 443) foi desabilitada
• Microsoft SQL Server (ou qualquer outro RDBMS) em execução em uma VPC que tenha apenas um endereço IP privado

O Data Movement gateway implementado para acessar seu destino executa operações de ELT, que incluem alguns ou todos os itens a seguir: registro de dados, armazenamento, transformações e datamarts.

Observe que, embora seja possível usar o mesmo gateway para acessar a origem e o destino dos dados, o uso de dois gateways (um acessando a origem e o outro acessando o destino) geralmente oferece melhor desempenho. Por exemplo, se o banco de dados de origem for o Oracle on-premises e o banco de dados de destino for o Snowflake AWS PrivateLink, um gateway (definido na conexão de origem Oracle) será usado para transferir dados do Oracle para o Snowflake, enquanto o outro gateway (definido na conexão de destino do Snowflake) será usado para executar as operações de ELT. O uso de dois gateways é especialmente recomendado quando os bancos de dados de origem e destino não estão próximos um do outro. Nesse cenário, o gateway de destino deve estar o mais próximo possível da origem, enquanto o gateway de destino deve estar o mais próximo possível do destino. Se os dados estiverem sendo ingeridos de várias fontes de dados, também poderá fazer sentido configurar um gateway dedicado para cada fonte de dados, dependendo do tipo e da localização das fontes de dados. Um exemplo desse tipo de configuração é mostrado na imagem abaixo.

Movimentando dados de fontes de dados empresariais para destinos compatíveis

A sequência de comunicação de alto nível é a seguinte:

1. O Data Movement gateway estabelece uma conexão mutuamente autenticada e criptografada com o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas ao Data Movement gateway, que, por sua vez, relata o status da tarefa para o Qlik Cloud.

3. O Data Movement gateway recupera os dados da fonte de dados e os envia ao destino designado.

Movimentando dados de aplicativos SaaS para destinos compatíveis

A sequência de comunicação de alto nível é a seguinte:

1. O Data Movement gateway estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Data Movement gateway, que relata o status da tarefa de volta para o Qlik Cloud.

3. Quando a tarefa de aterrisagem é iniciada, o Qlik Cloudextrai os dados do aplicativo SaaS e os armazena (criptografados com a chave do locatário).

4. O Data Movement gateway recupera os dados do aplicativo SaaS do Qlik Cloud e os envia ao destino designado.

Movimentando dados de aplicativos SaaS e fontes de dados empresariais para destinos compatíveis

A sequência de comunicação de alto nível é uma combinação dos casos de uso de "Movimentando dados de fontes de dados empresariais" e "Movimentando dados de aplicativos SaaS", descritos acima.

Movimentando dados de aplicativos SaaS e fontes de dados empresariais em uma VPC para destinos na VPC

A sequência de comunicação de alto nível para mover dados do aplicativo SaaS é a seguinte:

1. O Data Movement gateway estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Data Movement gateway, que relata o status da tarefa de volta para o Qlik Cloud.

3. Quando a tarefa de aterrisagem é iniciada, o Qlik Cloudextrai os dados do aplicativo SaaS e os armazena (criptografados com a chave do locatário).

4. O Data Movement gateway recupera os dados do aplicativo SaaS do Qlik Cloud e os envia ao destino designado.

A sequência de comunicação de alto nível para movimentar dados da fonte de dados empresariais é a seguinte:

1. O Data Movement gateway estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Data Movement gateway, que relata o status da tarefa de volta para o Qlik Cloud.

3. O Data Movement gateway recupera os dados da fonte de dados e os envia ao destino designado.