Atualizando e desinstalando o Data Movement gateway

Suporte para instalação do Data Movement gateway no Red Hat 9.x

Os clientes agora podem instalar o Data Movement gateway no Red Hat 9.x ou em qualquer distribuição Linux correspondente e compatível.

Configurando o Data Movement gateway

Alterações nos comandos de serviço do Data Movement gateway

Os comandos para parar, iniciar e verificar o status do serviço do Data Movement gateway foram alterados.

Comandos de serviço do Data Movement gateway

Alterações no mapeamento de tipos de dados do Amazon Redshift

• O tipo de dados BOOLEAN, que foi mapeado para VARCHAR(1) no Amazon Redshift, agora será mapeado para BOOLEAN.
• Os tipos de dados BYTES e BLOB, que foram mapeados para VARCHAR(1) no Amazon Redshift, agora serão mapeados para VARBINARY (comprimento).

Bancos de dados, versões de banco de dados e versões de driver recentemente compatíveis

Esta seção lista os bancos de dados recentemente suportados, versões de banco de dados e versões de driver.

• Versões e edições de fontes de dados recentemente compatíveis

  As seguintes versões de fonte de dados agora são compatíveis:

  • Azure Database for MySQL - Flexible Server (compatível por meio do conector de origem MySQL)
  • MariaDB 10.4 - 10.11 (anteriormente 10.4 e 10.5)

• Plataformas e edições de dados de destino recentemente compatíveis

  As seguintes versões de destino de dados agora são compatíveis:

  • Azure Database for MySQL - Flexible Server (compatível por meio do conector de destino MySQL)
  • Databricks: Databricks 13.3 LTS e Serverless SQL Warehouse

• Versão do driver SAP HANA recentemente compatível

  Os clientes com uma fonte SAP HANA que desejam instalar o Data Movement gateway no Red Hat Linux 9.x devem instalar o driver SAP HANA ODBC de 64 bits versão 2.0.19 ou posterior.

Versões de banco de dados em fim de suporte

Esta seção fornece informações sobre versões de banco de dados de fim de suporte.

• O suporte para as seguintes versões de fontes de dados foi descontinuado:

  • Oracle 11.x
  • SAP HANA 1.0

Problemas resolvidos

• A instalação do Data Movement gateway sem fornecer uma senha de servidor não permitiria que as URLs de locatário e proxy fossem configuradas em um comando.
• A movimentação de dados de uma fonte de dados do Salesforce (aplicativo SaaS) imprimiria um grande número de avisos redundantes, impactando assim o desempenho do carregamento de dados.
• Ao recuperar alterações para uma fonte de dados de aplicativo SaaS, se ocorresse um erro ao recuperar alterações para uma das tabelas, essa tabela seria suspensa e removida do pipeline. Agora, ao encontrar um erro, a tarefa tentará recuperar as alterações até três vezes antes de suspender a tabela.

Novos alvos de data lake para projetos de replicação

Continuamos expandindo os alvos compatíveis para o projeto de replicação no Qlik Cloud Data Integration. Além do Amazon S3, agora você pode escolher o Azure Data Lake Storage (ADLS) e o Google Cloud Storage (GCS) para entrega de data lake, como os formatos de arquivo Parquet, JSON ou CSV.

Problemas resolvidos:

• Conector de origem do IBM DB2 for LUW

  A conexão com o IBM DB2 for LUW falharia quando o tamanho dos arquivos necessários para a conexão (como o certificado do cliente SSL e o arquivo keystore) excedesse 4 KB.

• Driver para conectores de origem do IBM DB2 for LUW e do IBM DB2 for z/OS

  A instalação do driver DB2 falharia ao usar o utilitário de instalação do driver.

Suporte para Microsoft Fabric como destino de pipeline de dados

O Microsoft Fabric se junta à lista cada vez maior de data warehouses que podem ser usados como destinos em projetos de pipeline de dados.

Problemas resolvidos:

Atualizada a versão do driver Snowflake no utilitário de instalação do driver.

Suporte expandido para conexões privadas

Uma conexão privada pode ser usada para garantir que seu tráfego de dados permaneça seguro e compatível. Ela simplifica o gerenciamento de rede e a segurança da sua VPC (Virtual Private Cloud) sem a necessidade de abrir portas de firewalls de entrada, dispositivos proxy ou tabelas de roteamento. O Qlik Cloud Data Integration já oferece suporte a conexões privadas com destinos de pipeline de dados Snowflake, Microsoft SQL Server e Amazon S3. Com esta versão, os clientes também podem utilizar conexões privadas ao mover dados para o Databricks, o Microsoft Azure Synapse, o Google BigQuery e o Amazon Redshift.

Fontes de dados baseadas em PostgreSQL

• Todas as fontes de dados baseadas em PostgreSQL – Suporte a tipos de dados multirange: Os seguintes tipos de dados multirange agora são suportados com todas as fontes de dados baseadas em PostgreSQL (no local e na nuvem).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Fonte de dados AWS Aurora Cloud for PostgreSQL – suporte à função de não superusuário: O usuário especificado no conector PostgreSQL não precisa mais ter a função de superusuário para mover dados de uma fonte de dados AWS Aurora Cloud for PostgreSQL. Isto é especialmente útil para organizações com políticas de segurança corporativa que as impedem de conceder acesso de superusuário a usuários não privilegiados.

Fonte de dados Microsoft Azure SQL (MS-CDC): Suporte para replicação geográfica

Os clientes que movem dados de uma fonte de dados Microsoft Azure SQL (MS-CDC) agora podem usar um banco de dados de réplica geográfica.

Fonte de dados Oracle: Suporte ao HSM (Hardware Security Module)

O Qlik Cloud Data Integration agora oferece suporte à leitura de dados de tablespaces e colunas criptografadas da Oracle durante o CDC.

Suporte para novas regiões

O Qlik Cloud Data Integration agora oferece suporte a locatários nas regiões DE e Reino Unido.

Versões recentemente suportadas e software de terceiros

Esta seção lista as versões de banco de dados e drivers recentemente suportadas.

• Versões de fonte de dados recém-compatíveis. As seguintes versões de fonte de dados agora são compatíveis:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (ao trabalhar com o IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Versões de plataforma de dados de destino recentemente compatíveis. As seguintes versões de destino de dados agora são compatíveis:

  • Databricks (Cloud Storage): Databricks 12.2 LTS e Databricks SQL Serverless

• Versões do driver. As seguintes versões do driver ODBC agora são compatíveis:

  • IBM Data Server Client 11.5.8 para IBM DB2 for z/OZ e IBM DB2 for LUW
  • Driver ODBC Simba 3.0.0.1001 para Google Cloud BigQuery
  • Driver Unicode ODBC MySQL de 64 bits 8.0.32

Driver do Microsoft SQL Server - Upgrade necessário

Os clientes que transferem dados de ou para o Microsoft SQL Server precisam atualizar a versão do driver ODBC do SQL Server para 18.x ou posterior. Observe que continuar a usar o SQL Server ODBC Driver 17.x pode resultar em erros de dados. A atualização do driver pode ser feita usando o utilitário de instalação do driver ou manualmente. Para obter instruções, consulte Configuração do driver.

Versões de banco de dados em fim de suporte

Esta seção fornece informações sobre versões de banco de dados de fim de suporte.

• Versões de fonte de dados em fim de suporte. O suporte para as seguintes versões de fontes de dados foi descontinuado:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versões de plataforma de dados de destino em fim de suporte. O suporte para as seguintes versões de destino de dados foi descontinuado:

  • Databricks 9.1 LTS

2022.11.74

15 de agosto de 2023

Suporte para replicação

Adotamos uma abordagem que prioriza a nuvem e que permite rápida inovação e adoção. No entanto, isso não significa que estamos somente na nuvem. Como parte do nosso compromisso contínuo de melhorar o valor a longo prazo para os nossos clientes, temos o prazer de anunciar o lançamento de um novo caso de uso para replicação na criação de projetos de dados. O novo caso de uso de replicação é um acréscimo à capacidade existente de criar pipelines de dados para todas as suas necessidades de integração de dados, como modernização do data warehouse.

O projeto Replicação oferece suporte à replicação de dados em tempo real de fontes de dados compatíveis para um destino compatível.

A partir desta versão mais recente, o primeiro destino que oferece suporte à replicação de dados em tempo real é o Microsoft SQL Server. Além de oferecer suporte ao Microsoft SQL Server no local, os seguintes provedores de nuvem também são compatíveis:

• No local
• Amazon RDS
• Google Cloud
• Microsoft Azure (Instância Gerenciada do Microsoft Azure e Banco de Dados do Microsoft Azure)

Destino do Microsoft Azure Synapse Analytics - atualização de driver necessária

Os clientes que movem dados para o Microsoft Azure Synapse Analytics precisam atualizar a versão do driver ODBC do SQL Server para 18.x ou posterior. Observe que continuar a usar o SQL Server ODBC Driver 17.x pode resultar em erros de dados. A atualização do driver pode ser feita usando o utilitário de instalação do driver ou manualmente. Para obter instruções, consulte Configuração do driver.

Nova opção "Carregar dados da fonte" para origens de aplicativos SaaS

Uma nova opção Carregar dados da fonte foi introduzida, o que permite aos clientes ler seus dados diretamente da fonte durante o Carregamento total, em vez de usar os dados armazenados em cache.

Para obter mais informações sobre esta opção, incluindo casos de uso, consulte Configurações de aterrisagem.

Certificados CA atualizados

O Data Movement gateway 2022.11.74 inclui certificados de CA atualizados, que são necessários para autenticar o locatário do Qlik Cloud. Os certificados CA atualizados também fornecem suporte para as regiões da Irlanda e Frankfurt. Portanto, os clientes com locatários do Qlik Cloud na Irlanda ou Frankfurt que desejam usar o Qlik Cloud Data Integration devem atualizar para esta versão.

Problema resolvido

Às vezes, as tarefas que aterrissavam dados de uma origem Oracle falhavam quando uma tabela ampla continha colunas não utilizadas ou sem suporte ou colunas LOB que não foram replicadas.

2022.11.70

28 de junho de 2023

Utilitário de instalação de driver aprimorado para clientes SAP

Nas versões anteriores, os clientes precisavam executar o comando "source arep_login.sh" ao instalar clientes SAP. A partir desta versão, não é mais necessário executar este comando.

Certificados CA atualizados

Esta versão inclui certificados CA atualizados, que são necessários para autenticar o locatário do Qlik Cloud.

Problemas resolvidos

• Quando uma tarefa de replicação no Data Movement gateway falhou e foi recuperada automaticamente, o estado recuperado não seria comunicado ao ativo de dados de destino no Qlik Cloud.

• A criptografia de ponta a ponta para o Data Movement gateway não era habilitada por padrão e era controlada por sinalizadores de tempo de execução.

2022.11.63

2 de maio de 2023

Utilitário de instalação de drivers

Esta versão apresenta um utilitário de instalação de drivers que elimina a necessidade de instalar e configurar drivers manualmente. O novo utilitário encurta o processo de instalação ao mesmo tempo em que reduz significativamente a possibilidade de erros dos usuários. Quando o utilitário é executado, o driver necessário é baixado automaticamente, se possível, e instalado. Se o driver não puder ser baixado (drivers DB2 requerem login, por exemplo), tudo o que você precisa fazer é baixá-lo, copiá-lo para uma pasta dedicada na máquina do gateway Data Movement e executar o utilitário.

Para obter um exemplo de uso do utilitário de instalação de driver para instalar um driver PostgreSQL, consulte os Pré-requisitos

Plataforma de dados em nuvem do Snowflake

O conector Snowflake agora oferece suporte a caracteres emoji de 4 bytes.

Suporte para banco de dados do Azure Database for PostgreSQL - Flexible Server como fonte de dados

O conector PostgreSQL agora pode mover dados do Azure Database for PostgreSQL - Flexible Server.

Suporte ao Cloud SQL para PostgreSQL como fonte de dados

O conector PostgreSQL agora pode mover dados do Cloud SQL para PostgreSQL.

Versões de fonte de dados recém-compatíveis

Esta versão apresenta suporte para as seguintes novas versões de fontes de dados:

• PostgreSQL 14
• DB2 (para IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Versões de plataforma de dados em nuvem com suporte recente

Databricks 11.3 LTS

Suporte suspenso para as seguintes versões de fonte de dados

As seguintes versões de fonte de dados não são mais compatíveis:

• DB2 (para IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemas resolvidos

Esta versão resolve os seguintes problemas:

• Fonte de dados Oracle: Ao interromper e retomar uma tarefa, às vezes a tarefa falhava com um erro “Falha ao definir a posição do fluxo no contexto”.
• Origem do aplicativo SAP: As alterações não eram capturadas durante a tarefa de aterrissagem.