Atualizando e desinstalando o Data Movement gateway

2024.5.32

Patch

Depois de atualizar o nome de usuário e a senha no conector de origem do Workday Reports e, em seguida, recarregar a tarefa, ocorria um erro "Nome de usuário ou senha inválidos", mesmo que as credenciais estivessem corretas. Esse problema já foi resolvido.

Patch

Esta versão resolve os seguintes problemas:

Segurança

O Oracle Java Standard Edition 17.0.8, que acompanha o Data Movement gateway, tem várias vulnerabilidades conhecidas. Essa correção substitui a versão 17.0.8 pela 17.0.12, resolvendo assim os problemas.

Fonte do Salesforce

Durante a CDC, para cada alteração, várias operações INSERT seriam adicionadas à tabela _ct associada (em vez de apenas uma). Isso aumentaria significativamente o número de registros na tabela _ct.

Padrão

Patch

Esta versão resolve os seguintes problemas:

Vulnerabilidade do driver JDBC da Snowflake

Em 14 de agosto de 2024, a Snowflake emitiu um aviso de segurança sobre os drivers JDBC da Snowflake >= 3.2.6 & <= 3.19.1, alguns dos quais foram usados com versões anteriores da Data Movement gateway. A vulnerabilidade foi corrigida no Snowflake JDBC Driver 3.20, que é a versão que agora é instalada com o utilitário de instalação do driver. Os clientes existentes devem atualizar o driver o mais rápido possível, seguindo o procedimento Atualizando o driver descrito em Configuração do driver.

Origem Oracle

• Ao usar o evento de refazer 11.22, INSERTs ausentes ocorriam ao processar vários INSERTs em uma página compactada que não foi compactada antes dos INSERTs.
• Em cenários raros, a análise incorreta de eventos DELETE no registro de log de refazer gerava um aviso "O evento DELETE do redo log contém uma estrutura desconhecida" seguido por vários problemas.

Origem do SAP Extractor

As instruções no arquivo YAML foram atualizadas para refletir a versão correta do SAP Java Conector.

Destino do Snowflake

Ao usar o Data Movement gateway para se conectar ao destino do Snowflake por meio de um proxy, a conexão falhava com o seguinte erro de conexão:

500 Failed to connect to Data Movement Gateway

Patch

Patch

Problemas resolvidos

• Origem Oracle

  • Às vezes, INSERTs ausentes ocorriam em várias operações INSERT ao usar o evento redo 11.22.

  • Após atualizar o Oracle 19g para o patch de julho de 2024, as operações UPDATE às vezes não eram capturadas, e o seguinte aviso era exibido:

    A compressed row cannot be parsed

• Destino do Snowflake

  Quando as configurações da tarefa foram configuradas para criar o esquema da tabela de controle, a tarefa falharia com o seguinte erro:

  Failed to delete directory

• CDC agendado

  Quando uma tarefa era programada para ser executada periodicamente, às vezes ela falhava com o seguinte erro:

  The task stopped abnormally

• Tarefas de transformação e armazenamento travadas

  Às vezes, tarefas de transformação e armazenamento permaneciam em um estado de fila por um tempo excessivamente longo.

• Gerenciador de metadados

  As tarefas falhariam ao usar o sinalizador do recurso use_manipulation_pk_for_apply com a replicação de Armazenar alterações.

• Tempo limite prolongado resultando em problemas com fontes de aplicativos SaaS

  O tempo limite do S3 foi estendido para 6 horas para evitar problemas resultantes de tempos limite prolongados, como perda do token para baixar os arquivos.

Padrão

Melhorias

• Adicionada autenticação de par de chaves ao conector de destino do Snowflake

  Chave/par fornece um método de autenticação mais robusto do que usuário/senha para conectar ao Snowflake com suas contas de serviço. Essa abordagem é recomendada para cargas de trabalho como o carregamento de dados (tarefas de replicação ou aterrisagem) e transformações.

• Suporte para recuperação de metadados de várias Tabelas em paralelo

  Em versões anteriores, atualizar conjunto de dados em um conjunto de dados existente ou em um conjunto de dados recém-adicionado às vezes Falhava com um Erro. Esse aprimoramento garante que os metadados possam ser recuperados de várias Tabelas em paralelo sem nenhum problema.

Problemas resolvidos

• Tipo de dados DECIMAL mapeado incorretamente para STRING no Google BigQuery

  Quando uma tabela de origem continha uma coluna com um tipo de dados DECIMAL - por exemplo, DECIMAL (38, 20) - a preparação da tarefa de armazenamento no Google BigQuery falhava com o seguinte erro (trecho):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  O problema foi resolvido mapeando o Tipo de dados DECIMAL da Fonte de dados para DECIMAL no Google BigQuery.

• Erro na Regra do Esquema

  Após fazer alterações em uma regra de esquema existente em uma tarefa de dados, ocorreria o seguinte erro:

  QRI SQL error not implemented

• Tabela /QTQVC/QRI perdida no transporte SAP

  Ao preparar uma tarefa de aterrissagem que se conectava a uma fonte do Aplicativo SAP, a tarefa era concluída com êxito, mas o seguinte Erro era relatado no arquivo de log repsrv.log:

  Invalid object name 'hk1./QTQVC/QRI'

Padrão

Melhorias

• Suporte a alterações de metadados em tarefas de replicação e aterrissagem de data lake sem a necessidade de descartar e recriar todas as tabelas

  Anteriormente, quando ocorria uma alteração de metadados, todas as tabelas eram descartadas e recriadas, mesmo que a alteração de metadados não afetasse todas as tabelas. Agora, somente as tabelas alteradas serão descartadas e recriadas, melhorando assim o desempenho.

• Suporte para carregamento automático de novas tabelas em tarefas de replicação

  As tabelas criadas no banco de dados de origem durante a tarefa de replicação de dados que correspondem ao padrão de inclusão agora serão capturadas automaticamente durante a CDC (captura de dados de alterações).

• Aprimoramentos de origem do Microsoft SQL Server (MS-CDC)

  • Preservação do registro de data e hora e da ID da transação

    Anteriormente, ao ler várias transações do Microsoft SQL Server (MS-CDC), o Qlik Talend Data Integration preservava o ID da transação e o registro de data e hora apenas da primeira transação. No destino, isso dava a impressão de que os registros faziam parte de uma única transação. Agora, o Qlik Talend Data Integration preservará o ID da transação original e o registro de data e hora de cada registro individual. Isso beneficia os clientes que desejam aproveitar as colunas de cabeçalho ID da transação ID e Carimbo de data/hora nas tabelas de alterações.

  • Ordem de bytes de ID de transação

    Anteriormente, os bytes no ID da transação eram codificados em ordem inversa. A partir dessa versão, os bytes serão codificados na ordem correta. Informações Os clientes que preferirem preservar o comportamento existente podem fazer isso usando parâmetros internos.c Para obter detalhes, entre em contato com o Suporte da Qlik.

• Suporte para armazenamento em cache da autenticação plugável SHA-2 com o MySQL

  Agora, o Qlik Talend Data Integration oferece suporte ao armazenamento em cache da autenticação plugável SHA-2 (caching_sha2_password) ao trabalhar com fontes ou destinos do MySQL, seja no local ou na nuvem. Nas versões anteriores, somente a autenticação nativa plugável (mysql_native_password) era compatível.

• Alterações no mapeamento de tipos de dados do Amazon Redshift

  Os tipos de dados BYTES e BLOB agora serão mapeados para VARBYTE no Amazon Redshift em vez de VARCHAR.

Plataformas, endpoints e versões recém-certificados

• Fontes de dados

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 para z/OS 3.1

• Plataformas de destino

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Drivers

  • SQL Server ODBC Driver 18.3

Fim do suporte

O suporte para as seguintes versões de banco de dados foi descontinuado:

• Todas as versões e drivers Oracle anteriores ao Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 para LUW 10.5
• IBM DB2 para z/OS: z/OS 2.3

Problemas resolvidos

• Origem do SAP (aplicativo)

  Quando uma alteração de documento de cluster capturado excluía todas as linhas de todas as suas tabelas capturadas, a operação DELETE ausente e mensagens de asserção desnecessárias eram encontradas.

• Vulnerabilidades de segurança

  Atualização da Microsoft Authentication Library for Java (MSAL4J) e do Bouncy Castle para versões sem vulnerabilidades conhecidas.

• Destino do Snowflake

  • Às vezes, a tarefa falhava ao usar o armazenamento interno do Snowflake.
  • A tarefa falhava quando o nome do esquema de destino era Katakana japonês.

• Origem Oracle

  Ao retomar uma tarefa com uma fonte Oracle, a tarefa continuava a esperar por um Archived Redo Log excluído em vez de falhar com um erro apropriado.

Padrão

Melhorias

• Esquema de metadados do Snowflake

  A partir desta versão, o esquema de metadados do Snowflake (para arquivos preparados) será criado se não existir.

Problemas resolvidos

• Depois que uma alteração foi feita em uma regra Renomear conjunto de dados (que concatenou o nome da tabela com o nome do esquema) e uma Visualização foi adicionada à tarefa de aterrissagem, a operação Preparar falharia com o seguinte erro:

  QRI SQL error not implemented.

• Atualizado o componente java_file_factory para uma versão sem vulnerabilidades conhecidas.
• org.postgresql:postgresql atualizado para uma versão sem nenhuma vulnerabilidade conhecida.
• Ao mover dados para o SQL Server, a operação Preparar falharia quando os nomes dos índices excedessem 128 caracteres. O problema foi resolvido alterando a lógica para criar nomes de índice mais curtos.

• Ao mover dados do SQL Server, um nome de coluna ausente nas definições da tabela causaria um loop de notificação infinito no arquivo repsrv.log, com a seguinte mensagem:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Padrão

Melhorias

• Recuperação paralela de metadados

  Adicionado suporte para recuperação simultânea de metadados de diversas tabelas.

• Melhor desempenho de monitoramento

  As informações de monitoramento para tarefas de aterrisagem e replicação serão agora atualizadas a cada 10 segundos (em vez de a cada 60 segundos), fornecendo uma indicação mais precisa do seu status atual.

• Região recentemente compatível

  O Japão agora é compatível como região de locatário do Qlik Cloud.

Problemas resolvidos

• O intervalo de novas tentativas entre o gateway de dados e o Qlik Cloud aumentaria continuamente, mas nunca seria redefinido (a menos que o serviço fosse reiniciado).
• Ao mover dados de uma origem de aplicativo SaaS, as tabelas às vezes entravam em estado de erro durante a recarga.

• As tarefas com uma fonte MySQL às vezes falhavam com o seguinte erro durante o CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Anteriormente, os eventos de auditoria do CDC só seriam registrados para tarefas de aterrisagem. Agora, eles serão registrados para tarefas de replicação também.
• Ao mover dados do SQL Server (MS-CDC), tarefas com diversas tabelas às vezes demoravam várias horas para serem iniciadas.

• Quando a tabela de origem continha colunas CLOB e o valor "Limit LOB size" excedia 10240, a replicação para o Snowflake falhava com o seguinte erro:

  Invalid character length: 0

Padrão

Suporte para instalação do Data Movement gateway no Red Hat 9.x

Os clientes agora podem instalar o Data Movement gateway no Red Hat 9.x ou em qualquer distribuição Linux correspondente e compatível.

Configurando o Data Movement gateway

Alterações nos comandos de serviço do Data Movement gateway

Os comandos para parar, iniciar e verificar o status do serviço do Data Movement gateway foram alterados.

Comandos de serviço do Data Movement gateway

Alterações no mapeamento de tipos de dados do Amazon Redshift

• O tipo de dados BOOLEAN, que foi mapeado para VARCHAR(1) no Amazon Redshift, agora será mapeado para BOOLEAN.
• Os tipos de dados BYTES e BLOB, que foram mapeados para VARCHAR(1) no Amazon Redshift, agora serão mapeados para VARBINARY (comprimento).

Bancos de dados, versões de banco de dados e versões de driver recentemente compatíveis

Esta seção lista os bancos de dados recentemente suportados, versões de banco de dados e versões de driver.

• Versões e edições de fontes de dados recentemente compatíveis

  As seguintes versões de fonte de dados agora são compatíveis:

  • Azure Database for MySQL - Flexible Server (compatível por meio do conector de origem MySQL)
  • MariaDB 10.4 - 10.11 (anteriormente 10.4 e 10.5)

• Plataformas e edições de dados de destino recentemente compatíveis

  As seguintes versões de destino de dados agora são compatíveis:

  • Azure Database for MySQL - Flexible Server (compatível por meio do conector de destino MySQL)
  • Databricks: Databricks 13.3 LTS e Serverless SQL Warehouse

• Versão do driver SAP HANA recentemente compatível

  Os clientes com uma fonte SAP HANA que desejam instalar o Data Movement gateway no Red Hat Linux 9.x devem instalar o driver SAP HANA ODBC de 64 bits versão 2.0.19 ou posterior.

Versões de banco de dados em fim de suporte

Esta seção fornece informações sobre versões de banco de dados de fim de suporte.

• O suporte para as seguintes versões de fontes de dados foi descontinuado:

  • Oracle 11.x
  • SAP HANA 1.0

Problemas resolvidos

• A instalação do Data Movement gateway sem fornecer uma senha de servidor não permitiria que as URLs de locatário e proxy fossem configuradas em um comando.
• A movimentação de dados de uma fonte de dados do Salesforce (aplicativo SaaS) imprimiria um grande número de avisos redundantes, impactando assim o desempenho do carregamento de dados.
• Ao recuperar alterações para uma fonte de dados de aplicativo SaaS, se ocorresse um erro ao recuperar alterações para uma das tabelas, essa tabela seria suspensa e removida do pipeline. Agora, ao encontrar um erro, a tarefa tentará recuperar as alterações até três vezes antes de suspender a tabela.

Padrão

Novos alvos de data lake para projetos de replicação

Continuamos expandindo os alvos compatíveis para o projeto de replicação no Qlik Cloud Data Integration. Além do Amazon S3, agora você pode escolher o Azure Data Lake Storage (ADLS) e o Google Cloud Storage (GCS) para entrega de data lake, como os formatos de arquivo Parquet, JSON ou CSV.

Problemas resolvidos:

• Conector de origem do IBM DB2 for LUW

  A conexão com o IBM DB2 for LUW falharia quando o tamanho dos arquivos necessários para a conexão (como o certificado do cliente SSL e o arquivo keystore) excedesse 4 KB.

• Driver para conectores de origem do IBM DB2 for LUW e do IBM DB2 for z/OS

  A instalação do driver DB2 falharia ao usar o utilitário de instalação do driver.

Padrão

Suporte para Microsoft Fabric como destino de pipeline de dados

O Microsoft Fabric se junta à lista cada vez maior de data warehouses que podem ser usados como destinos em projetos de pipeline de dados.

Problemas resolvidos:

Atualizada a versão do driver Snowflake no utilitário de instalação do driver.

Padrão

Suporte expandido para conexões privadas

Uma conexão privada pode ser usada para garantir que seu tráfego de dados permaneça seguro e compatível. Ela simplifica o gerenciamento de rede e a segurança da sua VPC (Virtual Private Cloud) sem a necessidade de abrir portas de firewalls de entrada, dispositivos proxy ou tabelas de roteamento. O Qlik Cloud Data Integration já oferece suporte a conexões privadas com destinos de pipeline de dados Snowflake, Microsoft SQL Server e Amazon S3. Com esta versão, os clientes também podem utilizar conexões privadas ao mover dados para o Databricks, o Microsoft Azure Synapse, o Google BigQuery e o Amazon Redshift.

Fontes de dados baseadas em PostgreSQL

• Todas as fontes de dados baseadas em PostgreSQL – Suporte a tipos de dados multirange: Os seguintes tipos de dados multirange agora são suportados com todas as fontes de dados baseadas em PostgreSQL (no local e na nuvem).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Fonte de dados AWS Aurora Cloud for PostgreSQL – suporte à função de não superusuário: O usuário especificado no conector PostgreSQL não precisa mais ter a função de superusuário para mover dados de uma fonte de dados AWS Aurora Cloud for PostgreSQL. Isto é especialmente útil para organizações com políticas de segurança corporativa que as impedem de conceder acesso de superusuário a usuários não privilegiados.

Fonte de dados Microsoft Azure SQL (MS-CDC): Suporte para replicação geográfica

Os clientes que movem dados de uma fonte de dados Microsoft Azure SQL (MS-CDC) agora podem usar um banco de dados de réplica geográfica.

Fonte de dados Oracle: Suporte ao HSM (Hardware Security Module)

O Qlik Cloud Data Integration agora oferece suporte à leitura de dados de tablespaces e colunas criptografadas da Oracle durante o CDC.

Suporte para novas regiões

O Qlik Cloud Data Integration agora oferece suporte a locatários nas regiões DE e Reino Unido.

Versões recentemente suportadas e software de terceiros

Esta seção lista as versões de banco de dados e drivers recentemente suportadas.

• Versões de fonte de dados recém-compatíveis. As seguintes versões de fonte de dados agora são compatíveis:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (ao trabalhar com o IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Versões de plataforma de dados de destino recentemente compatíveis. As seguintes versões de destino de dados agora são compatíveis:

  • Databricks (Cloud Storage): Databricks 12.2 LTS e Databricks SQL Serverless

• Versões do driver. As seguintes versões do driver ODBC agora são compatíveis:

  • IBM Data Server Client 11.5.8 para IBM DB2 for z/OZ e IBM DB2 for LUW
  • Driver ODBC Simba 3.0.0.1001 para Google Cloud BigQuery
  • Driver Unicode ODBC MySQL de 64 bits 8.0.32

Driver do Microsoft SQL Server - Upgrade necessário

Os clientes que transferem dados de ou para o Microsoft SQL Server precisam atualizar a versão do driver ODBC do SQL Server para 18.x ou posterior. Observe que continuar a usar o SQL Server ODBC Driver 17.x pode resultar em erros de dados. A atualização do driver pode ser feita usando o utilitário de instalação do driver ou manualmente. Para obter instruções, consulte Configuração do driver.

Versões de banco de dados em fim de suporte

Esta seção fornece informações sobre versões de banco de dados de fim de suporte.

• Versões de fonte de dados em fim de suporte. O suporte para as seguintes versões de fontes de dados foi descontinuado:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versões de plataforma de dados de destino em fim de suporte. O suporte para as seguintes versões de destino de dados foi descontinuado:

  • Databricks 9.1 LTS

2022.11.74

Padrão

15 de agosto de 2023

Suporte para replicação

Adotamos uma abordagem que prioriza a nuvem e que permite rápida inovação e adoção. No entanto, isso não significa que estamos somente na nuvem. Como parte do nosso compromisso contínuo de melhorar o valor a longo prazo para os nossos clientes, temos o prazer de anunciar o lançamento de um novo caso de uso para replicação na criação de projetos de dados. O novo caso de uso de replicação é um acréscimo à capacidade existente de criar pipelines de dados para todas as suas necessidades de integração de dados, como modernização do data warehouse.

O projeto Replicação oferece suporte à replicação de dados em tempo real de fontes de dados compatíveis para um destino compatível.

A partir desta versão mais recente, o primeiro destino que oferece suporte à replicação de dados em tempo real é o Microsoft SQL Server. Além de oferecer suporte ao Microsoft SQL Server no local, os seguintes provedores de nuvem também são compatíveis:

• No local
• Amazon RDS
• Google Cloud
• Microsoft Azure (Instância Gerenciada do Microsoft Azure e Banco de Dados do Microsoft Azure)

Destino do Microsoft Azure Synapse Analytics - atualização de driver necessária

Os clientes que movem dados para o Microsoft Azure Synapse Analytics precisam atualizar a versão do driver ODBC do SQL Server para 18.x ou posterior. Observe que continuar a usar o SQL Server ODBC Driver 17.x pode resultar em erros de dados. A atualização do driver pode ser feita usando o utilitário de instalação do driver ou manualmente. Para obter instruções, consulte Configuração do driver.

Nova opção "Carregar dados da fonte" para origens de aplicativos SaaS

Uma nova opção Carregar dados da fonte foi introduzida, o que permite aos clientes ler seus dados diretamente da fonte durante o Carregamento total, em vez de usar os dados armazenados em cache.

Para obter mais informações sobre esta opção, incluindo casos de uso, consulte Configurações de aterrisagem.

Certificados CA atualizados

O Data Movement gateway 2022.11.74 inclui certificados de CA atualizados, que são necessários para autenticar o locatário do Qlik Cloud. Os certificados CA atualizados também fornecem suporte para as regiões da Irlanda e Frankfurt. Portanto, os clientes com locatários do Qlik Cloud na Irlanda ou Frankfurt que desejam usar o Qlik Cloud Data Integration devem atualizar para esta versão.

Problema resolvido

Às vezes, as tarefas que aterrissavam dados de uma origem Oracle falhavam quando uma tabela ampla continha colunas não utilizadas ou sem suporte ou colunas LOB que não foram replicadas.

2022.11.70

Padrão

28 de junho de 2023

Utilitário de instalação de driver aprimorado para clientes SAP

Nas versões anteriores, os clientes precisavam executar o comando "source arep_login.sh" ao instalar clientes SAP. A partir desta versão, não é mais necessário executar este comando.

Certificados CA atualizados

Esta versão inclui certificados CA atualizados, que são necessários para autenticar o locatário do Qlik Cloud.

Problemas resolvidos

• Quando uma tarefa de replicação no Data Movement gateway falhou e foi recuperada automaticamente, o estado recuperado não seria comunicado ao ativo de dados de destino no Qlik Cloud.

• A criptografia de ponta a ponta para o Data Movement gateway não era habilitada por padrão e era controlada por sinalizadores de tempo de execução.

2022.11.63

Padrão

2 de maio de 2023

Utilitário de instalação de drivers

Esta versão apresenta um utilitário de instalação de drivers que elimina a necessidade de instalar e configurar drivers manualmente. O novo utilitário encurta o processo de instalação ao mesmo tempo em que reduz significativamente a possibilidade de erros dos usuários. Quando o utilitário é executado, o driver necessário é baixado automaticamente, se possível, e instalado. Se o driver não puder ser baixado (drivers DB2 requerem login, por exemplo), tudo o que você precisa fazer é baixá-lo, copiá-lo para uma pasta dedicada na máquina do gateway Data Movement e executar o utilitário.

Para obter um exemplo de uso do utilitário de instalação de driver para instalar um driver PostgreSQL, consulte os Pré-requisitos

Plataforma de dados em nuvem do Snowflake

O conector Snowflake agora oferece suporte a caracteres emoji de 4 bytes.

Suporte para banco de dados do Azure Database for PostgreSQL - Flexible Server como fonte de dados

O conector PostgreSQL agora pode mover dados do Azure Database for PostgreSQL - Flexible Server.

Suporte ao Cloud SQL para PostgreSQL como fonte de dados

O conector PostgreSQL agora pode mover dados do Cloud SQL para PostgreSQL.

Versões de fonte de dados recém-compatíveis

Esta versão apresenta suporte para as seguintes novas versões de fontes de dados:

• PostgreSQL 14
• DB2 (para IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Versões de plataforma de dados em nuvem com suporte recente

Databricks 11.3 LTS

Suporte suspenso para as seguintes versões de fonte de dados

As seguintes versões de fonte de dados não são mais compatíveis:

• DB2 (para IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemas resolvidos

Esta versão resolve os seguintes problemas:

• Fonte de dados Oracle: Ao interromper e retomar uma tarefa, às vezes a tarefa falhava com um erro “Falha ao definir a posição do fluxo no contexto”.
• Origem do aplicativo SAP: As alterações não eram capturadas durante a tarefa de aterrissagem.