Qlik Data Gateway - Movimentação de dados

O Qlik Data Gateway - Movimentação de dados (daqui em diante Gateway Data Movement) facilita a movimentação de dados das suas fontes de dados empresariais e aplicativos SaaS para destinos compatíveis por meio de uma conexão estritamente de saída, criptografada e mutuamente autenticada. Eliminando a necessidade de abrir portas de firewall de entrada, o Gateway Data Movement fornece um meio seguro e confiável de mover seus dados corporativos.

Quando o Gateway Data Movement é necessário?

O Gateway Data Movement é necessário nos seguintes casos:

• Sua fonte ou destino de dados não pode ser acessado diretamente do Qlik Cloud. Exemplos de fontes ou destinos de dados que não são acessíveis diretamente do Qlik Cloud incluem fontes ou destinos de dados localizados em uma VPC ou atrás de um firewall fechado para comunicação de entrada.

  Para obter mais informações sobre conexões privadas, consulte Oferecer suporte para conexões privadas no Qlik Talend Data Integration abaixo.

• Você precisa de CDC quase em tempo real de fontes de banco de dados.
• Você precisa acessar as plataformas de destino por meio de um servidor proxy.
• Você deseja usar datamarts de conhecimento.

• Você tem uma assinatura Premium ou Enterprise e precisa de cargas incrementais de fontes de aplicativos SaaS a cada 30 minutos. Ao usar o Gateway Data Movement, você pode definir o intervalo para apenas 5 minutos com assinaturas Premium e Enterprise.

  Para obter informações sobre os intervalos mínimos de agendamento de acordo com o tipo de fonte de dados e o nível de assinatura, consulte Intervalos mínimos de agendamento permitidos.

• Sua fonte de dados é uma das seguintes:
  • IBM Db2 for z/OS
  • IBM Db2 for iSeries
  • IBM DB2 for LUW
  • SAP Extractor
  • SAP (aplicativo)
  • SAP ODP
  • SAP OData
  • SAP HANA (banco de dados)
  • Oracle

  • Microsoft SQL Server (baseado em log da Microsoft)

  Nota informativaVocê pode usar o Gateway Data Movement para qualquer fonte de dados. As fontes de dados acima são aquelas que requerem o Gateway Data Movement. Para todas as outras fontes de dados, o Gateway Data Movement pode ser usado se você precisar da funcionalidade adicional que ele oferece, mas isso não é um requisito padrão.
• Você precisa da camada adicional de segurança fornecida pelo Gateway Data Movement, que impede a passagem de dados pelo Qlik Cloud e permite que os clientes controlem o caminho dos dados. Isso é relevante apenas para fontes de dados RDBMS, mainframe e SAP.

No exemplo a seguir, o Gateway Data Movement não é necessário, pois a origem do aplicativo SaaS e o destino do armazém de dados são acessíveis diretamente do Qlik Cloud:

Matriz de implementação do Gateway Data Movement

Protegendo seus dados

Um par de chaves exclusivo é estabelecido para cada servidor do Gateway Data Movement conectado ao locatário do Qlik Cloud. Esse par de chaves é usado para autenticação e criptografia de dados de ponta a ponta, além de criptografia em nível de transporte HTTPS. Além disso, como a comunicação com o Qlik Cloud e a transferência de dados for iniciada somente por portas de saída, você não precisa abrir nenhuma porta de entrada para sua rede corporativa.

Casos de uso comuns

A seção a seguir destaca dois casos de uso comuns: Mover dados para um destino que somente pode ser acessado por meio de uma conexão privada e mover dados para destinos que podem ser acessados diretamente do Qlik Cloud.

O Qlik Data Gateway - Movimentação de dados desempenha um papel central no processo de movimentação de dados. Os diagramas abaixo ilustram como o Gateway Data Movement interage com o Qlik Cloud e suas fontes de dados para mover os dados com segurança para destinos compatíveis.

Oferecer suporte para conexões privadas no Qlik Talend Data Integration

Uma conexão privada significa que sua fonte ou destino de dados não está exposto à Internet, tornando-o inacessível no Qlik Cloud.

Existem vários tipos de conexões privadas. Alguns exemplos incluem:

• Snowflake AWS PrivateLink em que a conectividade pública (via porta 443) foi desabilitada
• Microsoft SQL Server (ou qualquer outro RDBMS) em execução em uma VPC que tenha apenas um endereço IP privado

O Gateway Data Movement implantado para acessar seu destino executa operações de ELT, que incluem alguns ou todos os itens a seguir: registro de dados, armazenamento, transformações e datamarts.

Observe que, embora seja possível usar o mesmo gateway para acessar a origem e o destino dos dados, o uso de dois gateways (um acessando a origem e o outro acessando o destino) geralmente oferece melhor desempenho. Por exemplo, se o banco de dados de origem for o Oracle on-premises e o banco de dados de destino for o Snowflake AWS PrivateLink, um gateway (definido na conexão de origem Oracle) será usado para transferir dados do Oracle para o Snowflake, enquanto o outro gateway (definido na conexão de destino do Snowflake) será usado para executar as operações de ELT. O uso de dois gateways é especialmente recomendado quando os bancos de dados de origem e destino não estão próximos um do outro. Nesse cenário, o gateway de destino deve estar o mais próximo possível da origem, enquanto o gateway de destino deve estar o mais próximo possível do destino. Se os dados estiverem sendo ingeridos de várias fontes de dados, também poderá fazer sentido configurar um gateway dedicado para cada fonte de dados, dependendo do tipo e da localização das fontes de dados. Um exemplo desse tipo de configuração é mostrado na imagem abaixo.

Movimentando dados de fontes de dados empresariais para destinos compatíveis

A sequência de comunicação de alto nível é a seguinte:

1. O Gateway Data Movement estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas ao Gateway Data Movement, que, por sua vez, relata o status da tarefa para o Qlik Cloud.

3. O Gateway Data Movement recupera os dados da fonte de dados e os envia ao destino designado.

Movimentando dados de aplicativos SaaS para destinos compatíveis

A sequência de comunicação de alto nível é a seguinte:

1. O Gateway Data Movement estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Gateway Data Movement, que relata o status da tarefa de volta para o Qlik Cloud.

3. Quando a tarefa de aterrisagem é iniciada, o Qlik Cloudextrai os dados do aplicativo SaaS e os armazena (criptografados com a chave do locatário).

4. O Gateway Data Movement recupera os dados do aplicativo SaaS do Qlik Cloud e os envia ao destino designado.

Movimentando dados de aplicativos SaaS e fontes de dados empresariais para destinos compatíveis

A sequência de comunicação de alto nível é uma combinação dos casos de uso de "Movimentando dados de fontes de dados empresariais" e "Movimentando dados de aplicativos SaaS", descritos acima.

Movimentando dados de aplicativos SaaS e fontes de dados empresariais em uma VPC para destinos na VPC

A sequência de comunicação de alto nível para mover dados do aplicativo SaaS é a seguinte:

1. O Gateway Data Movement estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Gateway Data Movement, que relata o status da tarefa de volta para o Qlik Cloud.

3. Quando a tarefa de aterrisagem é iniciada, o Qlik Cloudextrai os dados do aplicativo SaaS e os armazena (criptografados com a chave do locatário).

4. O Gateway Data Movement recupera os dados do aplicativo SaaS do Qlik Cloud e os envia ao destino designado.

A sequência de comunicação de alto nível para movimentar dados da fonte de dados empresariais é a seguinte:

1. O Gateway Data Movement estabelece uma conexão mutuamente autenticada e criptografada para o Qlik Cloud usando HTTPS.

2. O Qlik Cloud envia instruções de execução de tarefas de aterrisagem ao Gateway Data Movement, que relata o status da tarefa de volta para o Qlik Cloud.

3. O Gateway Data Movement recupera os dados da fonte de dados e os envia ao destino designado.