Atualizando e desinstalando o Gateway Data Movement

Suporte a chave primária do Databricks

A partir desta versão, a tarefa de dados criará uma chave primária nas tabelas Delta do Databricks de destino, usando a palavra-chave RELY. Embora o Databricks não imponha restrições de chave primária, as chaves primárias com a palavra-chave RELY são consideradas sem duplicatas e, portanto, podem ser usadas pelo Databricks para otimização de consulta.

Requisitos:

• Você deve selecionar um Catálogo nas configurações do conector

• Databricks 14.2 ou posterior

Aprimoramentos de tipo de dados

• Fonte do IBM DB2 for iSeries: Suporte para os seguintes tipos de dados foi adicionado: BINARY-DECIMAL e ZONED-DECIMAL

• Destino do Databricks: Em versões anteriores, BYTES era mapeado para STRING. A partir desta versão, será mapeado para VARCHAR (comprimento em bytes)

• Destino do Google Cloud BigQuery: o subtipo JSON agora é aceito pelo destino do Google Cloud BigQuery

Fonte baseada no PostgreSQL: tabelas particionadas agora compatíveis por padrão

A replicação (carregamento total e CDC) de partições e subpartições (e sub-subpartições) de fontes de dados baseadas no PostgreSQL agora é compatível por padrão.

Destino do Google Cloud BigQuery: suporte para tratamento de erro de truncamento de dados

O destino do Google Cloud BigQuery agora oferece suporte ao tratamento de erros de truncamento de dados. Caso ocorra um erro de truncamento de dados, agora você pode escolher se deseja registrar o registro na tabela de controle de exceções (padrão), ignorar o registro, suspender a tabela ou interromper a tarefa.

Versões com suporte recente

As seguintes versões de endpoints de origem e destino agora são compatíveis:

• MariaDB (local) e Amazon RDS para MariaDB: 11.4

• MySQL (no local), MySQL Percona, Google Cloud SQL para MySQL, Amazon RDS for MySQL e Microsoft Azure Database for MySQL - Servidor flexível: 8.4

• PostgreSQL (local), Google Cloud SQL for PostgreSQL, Amazon RDS for PostgreSQL e Microsoft Azure Database for PostgreSQL - Servidor flexível: 17.x

Versões com suporte recente de driver

O IBM Data Server Client 11.5.9 agora é compatível com as seguintes fontes do DB2:

• IBM DB2 for LUW

• IBM Db2 for z/OS

Versões de fonte e driver de fim de vida

• Fontes e destinos de fim de vida: o suporte para o Microsoft Azure Database for MySQL e o Microsoft Azure Database for PostgreSQL, que foram oficialmente desativados pela Microsoft, foi descontinuado.

• Versões de fonte e driver de fim de vida: O suporte para IBM DB2 para iSeries 7.2, que está em fim de vida, foi descontinuado.

• Versões de driver em fim de vida útil: o suporte para o IBM Data Server Client 11.5.6 foi descontinuado.

Problemas resolvidos

• Suporte HSTS

  O HSTS não estava habilitado na máquina Qlik Data Gateway - Movimentação de dados.

• Falha na instalação do Gateway Data Movement

  A instalação do Gateway Data Movement no Redhat Versão 9.7 falharia com um erro de "OPENSSL_3.4.0 not found".

• Origem PostgreSQL 15.7 - Nenhum dado capturado durante a CDC

  Durante a CDC, a tarefa continuaria lendo as mesmas entradas WAL e processando a mesma posição do fluxo.

• SAP ODP - Falha de CDC

  Após uma tarefa de CDC parar durante alterações (devido a um problema de conectividade, por exemplo), retomar a tarefa às vezes resultaria em erros de comprimento de linha.

• Logs de conexão de origem ausentes

  Os logs de conexão de origem estariam indisponíveis após executar uma tarefa que usou um conector Preview ou Lite.

• Monitoramento – Informações ausentes

  A guia Monitor não exibiria uma mensagem de erro quando uma tabela era suspensa durante o estágio de CDC de uma tarefa de Carga Completa e CDC.

Suporte para criar datamarts de conhecimento no Databricks

Anteriormente, os datamarts de conhecimento eram aceitos apenas no Snowflake. Agora, você também pode criar e executar datamarts de conhecimento e datamarts de conhecimento baseados em arquivos no Databricks.

Problemas resolvidos:

As tarefas falhavam intermitentemente durante a preparação com o seguinte erro:

The request was canceled due to the configured HttpClient.Timeout of 300 seconds elapsing.

Problemas resolvidos:

Quando a propriedade interna do metadataschema era definida com caracteres especiais, a tarefa falhava durante a CDC.

Problemas resolvidos:

• Alertas de produção na região EU-Central-1

  Os clientes da região EU-Central-1 receberiam alertas frequentes de produção ao usar o Gateway Data Movement.

• Fonte de dados do Jira: Tabela bloqueada

  Ao replicar dados do Jira, a tabela USERS ficava presa no status Enfileirada na primeira execução, enquanto as outras tabelas concluíam o carregamento com êxito.

• Problema de monitoramento

  O monitoramento do CDC não estava presente no monitor de tarefas.

• Falha na replicação de Oracle para Oracle

  As tarefas de replicação de Oracle para Oracle às vezes falhavam devido a um cálculo incorreto do comprimento da string.

• Segurança

  O componente do servidor Java (sqlite-jdbc) foi atualizado para a versão 3.47.0 devido a uma vulnerabilidade conhecida em versões anteriores.

• Erro ao iniciar uma tarefa

  Às vezes, ocorria o erro "Nenhuma licença para o banco de dados" quando uma tarefa era iniciada no modo de retomada pela primeira vez, sem ter sido iniciada anteriormente.

• Problema do conector do Salesforce com novos conjuntos de dados

  A adição de novos conjuntos de dados a uma tarefa de aterrisagem com uma fonte de dados do Salesforce fazia com que a tarefa falhasse com um erro "'A tabela não existe'".

Problemas resolvidos:

• Erro de conexão das tarefas de armazenamento

  As tarefas de armazenamento falhavam com um erro de conexão que exigia que o gateway fosse reiniciado.

• Falha na instalação do driver DB2

  A instalação do driver DB2 falhava quando o acesso à pasta /tmp era restrito.

• Tempo excessivo de conexão com o Qlik Cloud

  Após a atualização para a versão 2024.11.65 do Gateway Data Movement, a conexão com o Qlik Cloud levava um tempo excessivo. O problema foi resolvido com a adição de um token de cancelamento com um tempo limite de dois minutos.

• O serviço travava após a atualização

  Após a atualização para o Gateway Data Movement 2024.11.67, o serviço external-data-provider (usado pelos conectores Lite) travava devido a restrições de acesso à pasta /tmp.

• Correções de segurança

  Os componentes a seguir foram substituídos por versões mais recentes devido a vulnerabilidades conhecidas:

  • SQLite 3.49.1

  • Java Runtime Engine 17.0.15

  • org.bouncycastle:bcpkix-fips 2.0.7 (bcpkix-fips-2.0.7.jar)

  • org.bouncycastle:bc-fips 2.0.0 (bc-fips-2.0.0.jar)

• Datamarts de conhecimento - Compartilhamento de arquivos (SMB)

  A conexão com o SMB falharia com o seguinte erro:

  SmbConnection' object has no attribute 'docs_path'

• Preparar falha

  Ao preparar uma tarefa pela segunda vez e um DDL ocorrer após a primeira preparação, a operação de preparação às vezes falhava com o seguinte erro (trecho):

  Could not find match between landing metadata with gateway task metadata for the following tables: <name>

• Problema de visualização de dados

  A opção de visualização de dados não funcionava ao usar um destino do Microsoft SQL Server.

Melhorias:

• Suporte adicionado para o Qlik Cloud Government - DoD

  Esta versão adiciona suporte para o uso do Gateway Data Movement com o Qlik Cloud Government - DoD.

Melhorias:

• Controlando quando a política de tratamento de erros da tabela é acionada

  Uma nova configuração de Número de tentativas antes de retornar um erro de tabela foi adicionada às configurações de tratamento de erros de tabela para tarefas de replicação e aterrisagem. Anteriormente, quando ocorria um erro na tabela, a tabela era suspensa ou a tarefa era interrompida (de acordo com a ação de tratamento de erros selecionada). Isso às vezes resultava na suspensão das tabelas durante a janela de manutenção do aplicativo SaaS. Com essa nova opção, agora é possível determinar quantas vezes a tabela deve ser tentada novamente antes que a política de tratamento de erros da tabela seja acionada. Essa opção é especialmente útil se o seu aplicativo SaaS passa por manutenção periódica, pois você pode substituir o número padrão de tentativas (3) para que a manutenção possa ser concluída sem acionar a política de tratamento de erros de tabela.

  Tratamento de erros de tabela

  Nota informativaEssa opção só será mostrada para tarefas configuradas com um conector de aplicativo SaaS Lite ou Standard.

• A visualização de dados agora inclui tipos de dados de coluna

  Ao visualizar uma transformação de SQL, os resultados agora incluirão os tipos de dados da coluna.

  Visualizando dados

Melhorias:

• Reversão e limpeza de arquivos de log de replicação

  Uma política de reversão e limpeza foi implementada para os arquivos de log de replicação na máquina de gateway. A política de reversão impedirá que os arquivos de log fiquem muito grandes (o que afeta o desempenho e a análise), enquanto a política de limpeza impedirá que eles se acumulem e consumam espaço em disco excessivo.

Problemas resolvidos:

• Status incorreto da tabela após o recarregamento

  Ao recarregar uma tabela suspensa, o status da tabela mostrado no monitor às vezes estava incorreto.

• Tempo limite da operação de preparação

  Ao preparar uma tarefa de aterrisagem após adicionar um conjunto de dados, às vezes ocorria um tempo limite no estágio de catalogação de ativos. Isso fazia com que a operação Preparar falhasse.

Esse patch resolve os seguintes problemas:

• Falha na preparação ao adicionar uma nova tabela

  Ao adicionar uma nova tabela a uma tarefa de replicação e clicar em Preparar, às vezes ocorria o seguinte erro:

  Prepare data task failed: Object reference not set to an instance of an object.

• Vulnerabilidades resolvidas

  Os seguintes arquivos de configuração do Gateway Data Movement foram atualizados para versões sem vulnerabilidades conhecidas:
  

  • java

  • jetty-io-<versão>.jar

  • jetty-http-<versão>.jar

  • spring-expression-<versão>.jar

  • spring-core-<versão>.jar

  • spring-context-<versão>.jar

Esse patch resolve os seguintes problemas:

• Falha na conexão do IBM DB2 for LUW

  Após a atualização para o Gateway Data Movement 2024.11.54, a conexão com o banco de dados falhava.

• Preparar falha

  A preparação da tarefa de dados falhava quando a tarefa era configurada com uma fonte de aplicativo SaaS e um destino do Google BigQuery.

• As tarefas com fontes baseadas em Java falham após a atualização

  As tarefas com fontes de dados baseadas em Java falhariam após a atualização para o Gateway Data Movement 2024.11.54.

• Destino do Snowflake: as tarefas às vezes mudavam para o modo "um por um" durante a CDC

  Durante a CDC, quando uma coluna STRING em uma tabela de dados de origem excedia 65536 bytes, os dados eram truncados na coluna STRING de destino. A tarefa passaria então para o modo de aplicação "um por um".

• Segurança

  Os arquivos java_file_factory.jar e arep-google-cloud.jar foram atualizados para versões sem vulnerabilidades conhecidas.

Esse patch resolve os seguintes problemas:

• Carregamento total, ignorando as configurações de tarefa

  Durante o carregamento total, a tarefa descartaria e recriaria as tabelas de destino, mesmo que a tarefa estivesse configurada com a opção Se a tabela de destino já existir: Ignorar

• Contagem incorreta de registros

  Depois de parar e preparar uma tarefa de replicação existente com o modo de replicação definido para carregamento total e aplicar alterações, a contagem de registros processados do CDC aumentava, resultando em uma contagem incorreta.

• Conector de origem JIRA

  Quando um novo conjunto de dados era adicionado a uma tarefa existente, a tarefa falhava com o seguinte erro:

  Could not find a match between landing metadata and gateway task metadata for the following tables: <name>

• Falha na conexão de teste

  A conexão de teste com fontes baseadas em SAP e SQL falhava.

• Atualizar

  Depois de atualizar o gateway, as tarefas às vezes não eram retomadas como esperado.

Suporte ao Snowpipe Streaming

Anteriormente, o Carregamento em massa era o único método disponível para carregar dados no Snowflake. Agora, os clientes podem usar o Carregamento em massa ou o Snowpipe Streaming para integrar ou replicar seus dados para o Snowflake.

Os benefícios do Snowpipe Streaming em relação ao carregamento em massa incluem: 

• Menos dispendioso: como o Snowpipe Streaming não usa o armazém do Snowflake, os custos operacionais devem ser significativamente mais baratos, embora isso dependa do seu caso de uso específico.
• Latência reduzida: como os dados são transmitidos diretamente para as tabelas de destino (em vez de via preparação), a replicação da fonte de dados para o destino deve ser mais rápida.

Problemas resolvidos

Esse patch resolve os seguintes problemas:

• Microsoft Fabric: Problema de conexão

  Ao procurar bancos de dados usando o conector Microsoft Fabric, ocorre o seguinte erro (trecho):

  Create connection failed'' with error 'java.lang.NoSuchMethodError

  O problema foi causado por uma incompatibilidade com o driver JDBC 12.9.0-preview.jar, que foi instalado com o utilitário de configuração do driver. O utilitário agora foi atualizado para instalar um driver compatível.

• Falha na reinicialização do servidor Java

  Depois de atualizar o Gateway Data Movement ou reiniciar o serviço Gateway Data Movement, o servidor Java (necessário para conectores baseados em Java, como o SAP ODP) não consegue iniciar.

• Fortalecimento da segurança

  • A criptografia de ponta a ponta não seria mutuamente aplicada para cargas úteis de comando de registro que retornassem registros hospedados pelo cliente do centro de atividades de Administração do Qlik Cloud.

  • A versão do SQLite usada pelo Gateway Data Movement foi atualizada devido a uma vulnerabilidade na versão 3.42.0(CVE-2023-7104).

  • O arquivo com.h2database usado pelo Gateway Data Movement foi atualizado devido a uma vulnerabilidade na versão h2-2.1.212(CVE-2022-45868).

Esta correção resolve o seguinte problema ao mover dados de uma fonte de dados do IBM DB2 for iSeries:

Ao usar o iSeries Access ODBC Driver 07.01.026 ou posterior, a tarefa falhava durante o CDC com um erro "Erro ao analisar".

Padrão

Suporte OAuth para destino do Databricks

Os clientes agora podem se conectar ao destino do Databricks usando a autenticação OAuth, que é o método recomendado pela Databricks para autenticação de conta. A autenticação de Token de acesso pessoal permanecerá disponível para compatibilidade com versões anteriores por enquanto, mas é considerada menos segura do que o OAuth.

Problemas resolvidos

• Problema de carregamento paralelo

  Quando um conjunto de dados era definido com carregamento paralelo e o carregamento total era desabilitado posteriormente, a tarefa ainda executava um carregamento total desse conjunto de dados, mesmo quando era retomada a partir do carimbo de data/hora.

2024.11.24

Patch

Esse patch resolve os seguintes problemas:

• Fonte SAP ODP: Falha na geração de metadados

  A geração de metadados não seria concluída para tabelas com um ponto em seu nome (por exemplo, Deprec.Area).

• Recuperação de tarefas

  As tarefas só seriam recuperadas uma vez se falhassem durante o carregamento total devido a um problema ambiental. Agora elas recuperarão o número de vezes configurado em Configurações> Tratamento de erros > Erros ambientais > Contagem máxima de repetições.

Melhorias

Certificação de failover do PostgreSQL

O trabalho com um banco de dados secundário após o failover foi certificado com as seguintes fontes de dados (que podem ser acessadas usando o conector de origem do PostgreSQL):

• Google Cloud SQL for PostgreSQL
• Amazon RDS for PostgreSQL
• PostgreSQL (no local)

Veja também: Configurando o failover

Melhoria de desempenho do MySQL

Em versões anteriores, ao usar um endpoint de origem baseado em MySQL em uma tarefa configurada com tamanho de LOB limitado, o Gateway Data Movement usava a pesquisa de origem para ler as colunas de LOB. Agora, o Gateway Data Movement lerá as colunas LOB diretamente do binlog, melhorando assim o desempenho.

Alterações no mapeamento de tipos de dados

Os mapeamentos para colunas LOB foram alterados para os destinos Amazon Redshift e Snowflake.

Destino do Amazon Redshift

• BLOB agora é mapeado para VARBYTE(16777216)
• NCLOB agora é mapeado para NVARCHAR(65535)
• CLOB agora está mapeado para NVARCHAR(65535)

Destino do Snowflake

• BLOB agora é mapeado para BINARY (8388608)
• NCLOB agora está mapeado para NVARCHAR(16777216)
• CLOB agora está mapeado para VARCHAR(16777216)

Tipos de dados recentemente compatíveis

• Fonte do IBM DB2 for LUW

  Agora oferece suporte ao tipo de dados BOOLEAN (do DB2 for LUW 11.5).

• Destino do Google BigQuery

  Agora é compatível com o tipo de dados BIGNUMERIC.

Suporte de destino ampliado para a tabela de controle do Histórico de DDL

Nas versões anteriores do Gateway Data Movement, a tabela de controle do Histórico de DDL era compatível apenas com os destinos Databricks e Microsoft Fabric. Esta versão introduz o suporte para os seguintes conectores de destinos adicionais:

• Amazon Redshift
• Amazon S3
• Google Cloud Storage
• Snowflake

Veja também: Histórico de DDL

Suporte para o uso de um não-superusuário com o Google Cloud SQL for PostgreSQL

A partir desta versão, agora é possível especificar uma conta de não-superusuário ao replicar a partir do Google Cloud SQL for PostgreSQL

Veja também: Usando uma conta sem a função de superusuário

Plataformas e versões de drivers recém-certificadas

• Destino do Databricks

  15.4 LTS

• Origem e destino do Oracle

  23ai

  Nota informativa

  • A origem e o destino do Oracle 23ai são certificados apenas com o Oracle Standard Edition.
  • A origem do Oracle 23ai é compatível apenas com criptografia TDE.

• Atualização do driver Databricks

  Ao mover dados para o Databricks, o Simba Spark ODBC Driver 2.8.2 ou posterior agora é necessário. Os clientes devem executar o utilitário de instalação do driver ou instalar o driver manualmente.

  Veja também: Configuração do driver

Fim do suporte

O suporte para as seguintes versões de banco de dados foi descontinuado:

• PostgreSQL 12.x
• IBM DB2 for z/OS: z/OS 2.4
• Databricks 9.1

Problemas resolvidos

• Conector SAP HANA (banco de dados): falha ao criar a tabela __CT

  Quando o modo de replicação era definido como Armazenar alterações e a tabela continha uma coluna .INCLUDE, a tarefa falhava ao criar a tabela __CT no destino.

• Tarefa de aterrisagem no lake: erro enganoso

  A tarefa falharia e um erro "Nenhuma licença para o banco de dados" seria exibido quando a chave secreta do Azure Data Lake Storage expirasse.

• Conector de destino do Amazon S3: arquivos antigos não eram excluídos

  Os arquivos mais antigos não eram excluídos ao executar uma nova tarefa. Isso pode fazer com que a tarefa falhe por causa de registros duplicados ou por causa de registros não correspondentes.

   

• Origem do SAP HANA (banco de dados): falha na conexão devido a uma tabela definida pelo usuário

  Um erro "recurso não compatível: não é possível selecionar o tipo definido pelo usuário" ocorria ao selecionar uma tabela definida pelo usuário para replicação. O problema foi corrigido com a exclusão de tabelas definidas pelo usuário (que não são compatíveis) do seletor de tabelas.

• Conector de destino do Microsoft Fabric: erro de recuperação

  Às vezes, ocorria um erro de "Falha na conversão" após a recuperação de um erro de conexão ocorrido durante a CDC.

• Conector de destino do Databricks: falha na CDC ao trabalhar sem suporte a LOB

  Ao desativar o suporte a LOB, a CDC falhava com a mensagem "colunas de dados insuficientes" ao tentar inserir a alteração na tabela __ct. Esse erro ocorre quando você trabalha no modo "Armazenar Alterações", que é o único modo disponível para tarefas de aterrisagem.

• Origem do MySQL para destino do Snowflake: falha na CDC

  Durante a CDC, ao replicar uma coluna "NOT NULL" com o tipo de dados de texto médio, a tarefa às vezes falhava com o seguinte erro:

  A NOT NULL constraint violation occurred on LOB column from MySQL source

• Conector de destino do Microsoft Fabric: erro de truncamento

  Ao inserir uma coluna VARCHAR, ocorreria o seguinte erro de truncamento:

  String or binary data would be truncated while reading column of type 'VARCHAR'

  O problema foi resolvido com a multiplicação da coluna VARCHAR no Microsoft Fabric.

Novos recursos

Suporte para especificar propriedades de conexão ODBC e JDBC adicionais foi incluído no conector de destino do Snowflake.

Para obter mais informações, consulte Propriedades adicionais de conexão.

Problemas resolvidos

• Os metadados não estão sendo atualizados

  Quando uma chave primária era alterada na origem, os metadados de destino não eram atualizados após um recarregamento.

• Destino do Amazon S3

  Ao criar e executar uma nova tarefa, os arquivos restantes de tarefas anteriores não eram excluídos da localização das tabelas.

• Fonte SAP HANA

  A tentativa de conexão com uma fonte SAP HANA usando o CDC baseado em log resultaria no seguinte erro:

  Cannot select user-defined type

2024.5.41

Patch

Esse patch resolve os seguintes problemas:

• Destinos do Amazon S3, Google Cloud Storage e Qlik Cloud: colocando valores de string vazios entre aspas

  As strings vazias agora serão colocadas entre aspas no arquivo CSV para diferenciá-las dos valores NULL.

• Destino do Databricks: incompatibilidade de dados

  Pode ocorrer uma incompatibilidade entre os dados de origem e de destino em certos cenários.

• Destino do Databricks: falha na CDC causada pela desativação do suporte a LOB

  A desativação do suporte a LOB na tarefa de aterrisagem faria com que a CDC falhasse com o seguinte erro (trecho):

  Cannot write to '<name>__ct', not enough data columns

• Destino do Microsoft Fabric: erro de conexão resultando em falha de CDC

  A aplicação de alterações ao destino após a recuperação de um erro de conexão às vezes falhava com um erro "Falha na conversão".

2024.5.35

Patch

Esse patch resolve os seguintes problemas:

• Destino do Microsoft Fabric: Problema de conversão de tipo de dados

  Durante uma tarefa de armazenamento, o tipo de dados NVARCHAR(3500) seria incorretamente convertido em VARCHAR(10500) em vez de VARCHAR(8000) (o máximo permitido), resultando em erro.

• Fonte IBM DB2 for LUW: suporte para o tipo de dados GRAPHIC com a página de código 941 (japonês)

  Quando a tabela de dados de origem continha um tipo de dados GRAPHIC com a página de código 941 (japonês), ocorria o seguinte erro (trecho):

  Unexpected CCSID '941' in column 'PNTNM'

2024.5.32

Patch

Depois de atualizar o nome de usuário e a senha no conector de origem do Workday Reports e, em seguida, recarregar a tarefa, ocorria um erro "Nome de usuário ou senha inválidos", mesmo que as credenciais estivessem corretas. Esse problema já foi resolvido.

Patch

Esse patch resolve os seguintes problemas:

Segurança

O Oracle Java Standard Edition 17.0.8, que acompanha o Gateway Data Movement, tem várias vulnerabilidades conhecidas. Essa correção substitui a versão 17.0.8 pela 17.0.12, resolvendo assim os problemas.

Fonte do Salesforce

Durante a CDC, para cada alteração, várias operações INSERT seriam adicionadas à tabela _ct associada (em vez de apenas uma). Isso aumentaria significativamente o número de registros na tabela _ct.

Padrão

Patch

Esse patch resolve os seguintes problemas:

Vulnerabilidade do driver JDBC da Snowflake

Em 14 de agosto de 2024, a Snowflake emitiu um aviso de segurança sobre os drivers JDBC da Snowflake >= 3.2.6 & <= 3.19.1, alguns dos quais foram usados com versões anteriores da Gateway Data Movement. A vulnerabilidade foi corrigida no Snowflake JDBC Driver 3.20, que é a versão que agora é instalada com o utilitário de instalação do driver. Os clientes existentes devem atualizar o driver o mais rápido possível, seguindo o procedimento Atualizando o driver descrito em Configuração do driver.

Origem Oracle

• Ao usar o evento de refazer 11.22, INSERTs ausentes ocorriam ao processar vários INSERTs em uma página compactada que não foi compactada antes dos INSERTs.
• Em cenários raros, a análise incorreta de eventos DELETE no registro de log de refazer gerava um aviso "O evento DELETE do redo log contém uma estrutura desconhecida" seguido por vários problemas.

Origem do SAP Extractor

As instruções no arquivo YAML foram atualizadas para refletir a versão correta do SAP Java Conector.

Destino do Snowflake

Ao usar o Gateway Data Movement para se conectar ao destino do Snowflake por meio de um proxy, a conexão falhava com o seguinte erro de conexão:

500 Failed to connect to Data Movement Gateway

Patch

Patch

Problemas resolvidos

• Origem Oracle

  • Às vezes, INSERTs ausentes ocorriam em várias operações INSERT ao usar o evento redo 11.22.

  • Após atualizar o Oracle 19g para o patch de julho de 2024, as operações UPDATE às vezes não eram capturadas, e o seguinte aviso era exibido:

    A compressed row cannot be parsed

• Destino do Snowflake

  Quando as configurações da tarefa foram configuradas para criar o esquema da tabela de controle, a tarefa falharia com o seguinte erro:

  Failed to delete directory

• CDC agendado

  Quando uma tarefa era programada para ser executada periodicamente, às vezes ela falhava com o seguinte erro:

  The task stopped abnormally

• Tarefas de transformação e armazenamento travadas

  Às vezes, tarefas de transformação e armazenamento permaneciam em um estado de fila por um tempo excessivamente longo.

• Gerenciador de metadados

  As tarefas falhariam ao usar o sinalizador do recurso use_manipulation_pk_for_apply com a replicação de Armazenar alterações.

• Tempo limite prolongado resultando em problemas com fontes de aplicativos SaaS

  O tempo limite do S3 foi estendido para 6 horas para evitar problemas resultantes de tempos limite prolongados, como perda do token para baixar os arquivos.

Padrão

Melhorias

• Adicionada autenticação de par de chaves ao conector de destino do Snowflake

  Chave/par fornece um método de autenticação mais robusto do que usuário/senha para conectar ao Snowflake com suas contas de serviço. Essa abordagem é recomendada para cargas de trabalho como o carregamento de dados (tarefas de replicação ou aterrisagem) e transformações.

• Suporte para recuperação de metadados de várias Tabelas em paralelo

  Em versões anteriores, atualizar conjunto de dados em um conjunto de dados existente ou em um conjunto de dados recém-adicionado às vezes Falhava com um Erro. Esse aprimoramento garante que os metadados possam ser recuperados de várias Tabelas em paralelo sem nenhum problema.

Problemas resolvidos

• Tipo de dados DECIMAL mapeado incorretamente para STRING no Google BigQuery

  Quando uma tabela de origem continha uma coluna com um tipo de dados DECIMAL - por exemplo, DECIMAL (38, 20) - a preparação da tarefa de armazenamento no Google BigQuery falhava com o seguinte erro (trecho):

  Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

  O problema foi resolvido mapeando o Tipo de dados DECIMAL da Fonte de dados para DECIMAL no Google BigQuery.

• Erro na Regra do Esquema

  Após fazer alterações em uma regra de esquema existente em uma tarefa de dados, ocorreria o seguinte erro:

  QRI SQL error not implemented

• Tabela /QTQVC/QRI perdida no transporte SAP

  Ao preparar uma tarefa de aterrissagem que se conectava a uma fonte do Aplicativo SAP, a tarefa era concluída com êxito, mas o seguinte Erro era relatado no arquivo de log repsrv.log:

  Invalid object name 'hk1./QTQVC/QRI'

Padrão

Melhorias

• Suporte a alterações de metadados em tarefas de replicação e aterrissagem de data lake sem a necessidade de descartar e recriar todas as tabelas

  Anteriormente, quando ocorria uma alteração de metadados, todas as tabelas eram descartadas e recriadas, mesmo que a alteração de metadados não afetasse todas as tabelas. Agora, somente as tabelas alteradas serão descartadas e recriadas, melhorando assim o desempenho.

• Suporte para carregamento automático de novas tabelas em tarefas de replicação

  As tabelas criadas no banco de dados de origem durante a tarefa de replicação de dados que correspondem ao padrão de inclusão agora serão capturadas automaticamente durante a CDC (captura de dados de alterações).

• Aprimoramentos de origem do Microsoft SQL Server (MS-CDC)

  • Preservação do registro de data e hora e da ID da transação

    Anteriormente, ao ler várias transações do Microsoft SQL Server (MS-CDC), o Qlik Talend Data Integration preservava o ID da transação e o registro de data e hora apenas da primeira transação. No destino, isso dava a impressão de que os registros faziam parte de uma única transação. Agora, o Qlik Talend Data Integration preservará o ID da transação original e o registro de data e hora de cada registro individual. Isso beneficia os clientes que desejam aproveitar as colunas de cabeçalho ID da transação ID e Carimbo de data/hora nas tabelas de alterações.

  • Ordem de bytes de ID de transação

    Anteriormente, os bytes no ID da transação eram codificados em ordem inversa. A partir dessa versão, os bytes serão codificados na ordem correta. Informações Os clientes que preferirem preservar o comportamento existente podem fazer isso usando parâmetros internos.c Para obter detalhes, entre em contato com o Suporte da Qlik.

• Suporte para armazenamento em cache da autenticação plugável SHA-2 com o MySQL

  Agora, o Qlik Talend Data Integration oferece suporte ao armazenamento em cache da autenticação plugável SHA-2 (caching_sha2_password) ao trabalhar com fontes ou destinos do MySQL, seja no local ou na nuvem. Nas versões anteriores, somente a autenticação nativa plugável (mysql_native_password) era compatível.

• Alterações no mapeamento de tipos de dados do Amazon Redshift

  Os tipos de dados BYTES e BLOB agora serão mapeados para VARBYTE no Amazon Redshift em vez de VARCHAR.

Plataformas, endpoints e versões recém-certificados

• Fontes de dados

  • PostgreSQL 16.x

  • MySQL 8.1
  • IBM DB2 para z/OS 3.1

• Plataformas de destino

  • PostgreSQL 16.x
  • MySQL 8.1
  • Databricks 14.3 LTS

• Drivers

  • SQL Server ODBC Driver 18.3

Fim do suporte

O suporte para as seguintes versões de banco de dados foi descontinuado:

• Todas as versões e drivers Oracle anteriores ao Oracle 19.x
• Microsoft SQL Server 2014
• MySQL 5.7
• PostgreSQL 11
• IBM DB2 para LUW 10.5
• IBM DB2 para z/OS: z/OS 2.3

Problemas resolvidos

• Origem do SAP (aplicativo)

  Quando uma alteração de documento de cluster capturado excluía todas as linhas de todas as suas tabelas capturadas, a operação DELETE ausente e mensagens de asserção desnecessárias eram encontradas.

• Vulnerabilidades de segurança

  Atualização da Microsoft Authentication Library for Java (MSAL4J) e do Bouncy Castle para versões sem vulnerabilidades conhecidas.

• Destino do Snowflake

  • Às vezes, a tarefa falhava ao usar o armazenamento interno do Snowflake.
  • A tarefa falhava quando o nome do esquema de destino era Katakana japonês.

• Origem Oracle

  Ao retomar uma tarefa com uma fonte Oracle, a tarefa continuava a esperar por um Archived Redo Log excluído em vez de falhar com um erro apropriado.

Padrão

Melhorias

• Esquema de metadados do Snowflake

  A partir desta versão, o esquema de metadados do Snowflake (para arquivos preparados) será criado se não existir.

Problemas resolvidos

• Depois que uma alteração foi feita em uma regra Renomear conjunto de dados (que concatenou o nome da tabela com o nome do esquema) e uma Visualização foi adicionada à tarefa de aterrissagem, a operação Preparar falharia com o seguinte erro:

  QRI SQL error not implemented.

• Atualizado o componente java_file_factory para uma versão sem vulnerabilidades conhecidas.
• org.postgresql:postgresql atualizado para uma versão sem nenhuma vulnerabilidade conhecida.
• Ao mover dados para o SQL Server, a operação Preparar falharia quando os nomes dos índices excedessem 128 caracteres. O problema foi resolvido alterando a lógica para criar nomes de índice mais curtos.

• Ao mover dados do SQL Server, um nome de coluna ausente nas definições da tabela causaria um loop de notificação infinito no arquivo repsrv.log, com a seguinte mensagem:

  mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

Padrão

Melhorias

• Recuperação paralela de metadados

  Adicionado suporte para recuperação simultânea de metadados de diversas tabelas.

• Melhor desempenho de monitoramento

  As informações de monitoramento para tarefas de aterrisagem e replicação serão agora atualizadas a cada 10 segundos (em vez de a cada 60 segundos), fornecendo uma indicação mais precisa do seu status atual.

• Região recentemente compatível

  O Japão agora é compatível como região de locatário do Qlik Cloud.

Problemas resolvidos

• O intervalo de novas tentativas entre o gateway de dados e o Qlik Cloud aumentaria continuamente, mas nunca seria redefinido (a menos que o serviço fosse reiniciado).
• Ao mover dados de uma origem de aplicativo SaaS, as tabelas às vezes entravam em estado de erro durante a recarga.

• As tarefas com uma fonte MySQL às vezes falhavam com o seguinte erro durante o CDC:

  Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

• Anteriormente, os eventos de auditoria do CDC só seriam registrados para tarefas de aterrisagem. Agora, eles serão registrados para tarefas de replicação também.
• Ao mover dados do SQL Server (MS-CDC), tarefas com diversas tabelas às vezes demoravam várias horas para serem iniciadas.

• Quando a tabela de origem continha colunas CLOB e o valor "Limit LOB size" excedia 10240, a replicação para o Snowflake falhava com o seguinte erro:

  Invalid character length: 0

Padrão

Suporte para instalação do Gateway Data Movement no Red Hat 9.x

Os clientes agora podem instalar o Gateway Data Movement no Red Hat 9.x ou em qualquer distribuição Linux correspondente e compatível.

Configurando o Gateway Data Movement

Alterações nos comandos de serviço do Gateway Data Movement

Os comandos para parar, iniciar e verificar o status do serviço do Gateway Data Movement foram alterados.

Comandos de serviço do Gateway Data Movement

Alterações no mapeamento de tipos de dados do Amazon Redshift

• O tipo de dados BOOLEAN, que foi mapeado para VARCHAR(1) no Amazon Redshift, agora será mapeado para BOOLEAN.
• Os tipos de dados BYTES e BLOB, que foram mapeados para VARCHAR(1) no Amazon Redshift, agora serão mapeados para VARBINARY (comprimento).

Bancos de dados, versões de banco de dados e versões de driver recentemente compatíveis

Esta seção lista os bancos de dados recentemente suportados, versões de banco de dados e versões de driver.

• Versões e edições de fontes de dados recentemente compatíveis

  As seguintes versões de fonte de dados agora são compatíveis:

  • Azure Database for MySQL - Flexible Server (compatível por meio do conector de origem MySQL)
  • MariaDB 10.4 - 10.11 (anteriormente 10.4 e 10.5)

• Plataformas e edições de dados de destino recentemente compatíveis

  As seguintes versões de destino de dados agora são compatíveis:

  • Azure Database for MySQL - Flexible Server (compatível por meio do conector de destino MySQL)
  • Databricks: Databricks 13.3 LTS e Serverless SQL Warehouse

• Versão do driver SAP HANA recentemente compatível

  Os clientes com uma fonte SAP HANA que desejam instalar o Gateway Data Movement no Red Hat Linux 9.x devem instalar o driver SAP HANA ODBC de 64 bits versão 2.0.19 ou posterior.

Versões de banco de dados em fim de suporte

Esta seção fornece informações sobre versões de banco de dados de fim de suporte.

• O suporte para as seguintes versões de fontes de dados foi descontinuado:

  • Oracle 11.x
  • SAP HANA 1.0

Problemas resolvidos

• A instalação do Gateway Data Movement sem fornecer uma senha de servidor não permitiria que as URLs de locatário e proxy fossem configuradas em um comando.
• A movimentação de dados de uma fonte de dados do Salesforce (aplicativo SaaS) imprimiria um grande número de avisos redundantes, impactando assim o desempenho do carregamento de dados.
• Ao recuperar alterações para uma fonte de dados de aplicativo SaaS, se ocorresse um erro ao recuperar alterações para uma das tabelas, essa tabela seria suspensa e removida do pipeline. Agora, ao encontrar um erro, a tarefa tentará recuperar as alterações até três vezes antes de suspender a tabela.

Padrão

Novos alvos de data lake para projetos de replicação

Continuamos expandindo os alvos compatíveis para o projeto de replicação no Qlik Cloud Data Integration. Além do Amazon S3, agora você pode escolher o Azure Data Lake Storage (ADLS) e o Google Cloud Storage (GCS) para entrega de data lake, como os formatos de arquivo Parquet, JSON ou CSV.

Problemas resolvidos:

• Conector de origem do IBM DB2 for LUW

  A conexão com o IBM DB2 for LUW falharia quando o tamanho dos arquivos necessários para a conexão (como o certificado do cliente SSL e o arquivo keystore) excedesse 4 KB.

• Driver para conectores de origem do IBM DB2 for LUW e do IBM DB2 for z/OS

  A instalação do driver DB2 falharia ao usar o utilitário de instalação do driver.

Padrão

Suporte para Microsoft Fabric como destino de pipeline de dados

O Microsoft Fabric se junta à lista cada vez maior de data warehouses que podem ser usados como destinos em projetos de pipeline de dados.

Problemas resolvidos:

Atualizada a versão do driver Snowflake no utilitário de instalação do driver.

Padrão

Suporte expandido para conexões privadas

Uma conexão privada pode ser usada para garantir que seu tráfego de dados permaneça seguro e compatível. Ela simplifica o gerenciamento de rede e a segurança da sua VPC (Virtual Private Cloud) sem a necessidade de abrir portas de firewalls de entrada, dispositivos proxy ou tabelas de roteamento. O Qlik Cloud Data Integration já oferece suporte a conexões privadas com destinos de pipeline de dados Snowflake, Microsoft SQL Server e Amazon S3. Com esta versão, os clientes também podem utilizar conexões privadas ao mover dados para o Databricks, o Microsoft Azure Synapse, o Google BigQuery e o Amazon Redshift.

Fontes de dados baseadas em PostgreSQL

• Todas as fontes de dados baseadas em PostgreSQL – Suporte a tipos de dados multirange: Os seguintes tipos de dados multirange agora são suportados com todas as fontes de dados baseadas em PostgreSQL (no local e na nuvem).

  • INT4MULTIRANGE
  • INT8MULTIRANGE
  • NUMMULTIRANGE
  • TSMULTIRANGE

• Fonte de dados AWS Aurora Cloud for PostgreSQL – suporte à função de não superusuário: O usuário especificado no conector PostgreSQL não precisa mais ter a função de superusuário para mover dados de uma fonte de dados AWS Aurora Cloud for PostgreSQL. Isto é especialmente útil para organizações com políticas de segurança corporativa que as impedem de conceder acesso de superusuário a usuários não privilegiados.

Fonte de dados Microsoft Azure SQL (MS-CDC): Suporte para replicação geográfica

Os clientes que movem dados de uma fonte de dados Microsoft Azure SQL (MS-CDC) agora podem usar um banco de dados de réplica geográfica.

Fonte de dados Oracle: Suporte ao HSM (Hardware Security Module)

O Qlik Cloud Data Integration agora oferece suporte à leitura de dados de tablespaces e colunas criptografadas da Oracle durante o CDC.

Suporte para novas regiões

O Qlik Cloud Data Integration agora oferece suporte a locatários nas regiões DE e Reino Unido.

Versões recentemente suportadas e software de terceiros

Esta seção lista as versões de banco de dados e drivers recentemente suportadas.

• Versões de fonte de dados recém-compatíveis. As seguintes versões de fonte de dados agora são compatíveis:

  • Microsoft SQL Server 2022
  • Oracle 21c
  • PostgreSQL 15.x
  • DB2 13.1 (ao trabalhar com o IBM DB2 for z/OS)
  • IBM DB2 for iSeries 7.5

• Versões de plataforma de dados de destino recentemente compatíveis. As seguintes versões de destino de dados agora são compatíveis:

  • Databricks (Cloud Storage): Databricks 12.2 LTS e Databricks SQL Serverless

• Versões do driver. As seguintes versões do driver ODBC agora são compatíveis:

  • IBM Data Server Client 11.5.8 para IBM DB2 for z/OZ e IBM DB2 for LUW
  • Driver ODBC Simba 3.0.0.1001 para Google Cloud BigQuery
  • Driver Unicode ODBC MySQL de 64 bits 8.0.32

Driver do Microsoft SQL Server - Upgrade necessário

Os clientes que transferem dados de ou para o Microsoft SQL Server precisam atualizar a versão do driver ODBC do SQL Server para 18.x ou posterior. Observe que continuar a usar o SQL Server ODBC Driver 17.x pode resultar em erros de dados. A atualização do driver pode ser feita usando o utilitário de instalação do driver ou manualmente. Para obter instruções, consulte Configuração do driver.

Versões de banco de dados em fim de suporte

Esta seção fornece informações sobre versões de banco de dados de fim de suporte.

• Versões de fonte de dados em fim de suporte. O suporte para as seguintes versões de fontes de dados foi descontinuado:

  • PostgreSQL 10
  • MySQL 5.6
  • MariaDB 10.3

• Versões de plataforma de dados de destino em fim de suporte. O suporte para as seguintes versões de destino de dados foi descontinuado:

  • Databricks 9.1 LTS

2022.11.74

Padrão

15 de agosto de 2023

Suporte para replicação

Adotamos uma abordagem que prioriza a nuvem e que permite rápida inovação e adoção. No entanto, isso não significa que estamos somente na nuvem. Como parte do nosso compromisso contínuo de melhorar o valor a longo prazo para os nossos clientes, temos o prazer de anunciar o lançamento de um novo caso de uso para replicação na criação de projetos de dados. O novo caso de uso de replicação é um acréscimo à capacidade existente de criar pipelines de dados para todas as suas necessidades de integração de dados, como modernização do data warehouse.

O projeto Replicação oferece suporte à replicação de dados em tempo real de fontes de dados compatíveis para um destino compatível.

A partir desta versão mais recente, o primeiro destino que oferece suporte à replicação de dados em tempo real é o Microsoft SQL Server. Além de oferecer suporte ao Microsoft SQL Server no local, os seguintes provedores de nuvem também são compatíveis:

• No local
• Amazon RDS
• Google Cloud
• Microsoft Azure (Instância Gerenciada do Microsoft Azure e Banco de Dados do Microsoft Azure)

Destino do Microsoft Azure Synapse Analytics - atualização de driver necessária

Os clientes que movem dados para o Microsoft Azure Synapse Analytics precisam atualizar a versão do driver ODBC do SQL Server para 18.x ou posterior. Observe que continuar a usar o SQL Server ODBC Driver 17.x pode resultar em erros de dados. A atualização do driver pode ser feita usando o utilitário de instalação do driver ou manualmente. Para obter instruções, consulte Configuração do driver.

Nova opção "Carregar dados da fonte" para origens de aplicativos SaaS

Uma nova opção Carregar dados da fonte foi introduzida, o que permite aos clientes ler seus dados diretamente da fonte durante o Carregamento total, em vez de usar os dados armazenados em cache.

Para obter mais informações sobre esta opção, incluindo casos de uso, consulte Configurações de aterrisagem.

Certificados CA atualizados

O Gateway Data Movement 2022.11.74 inclui certificados de CA atualizados, que são necessários para autenticar o locatário do Qlik Cloud. Os certificados CA atualizados também fornecem suporte para as regiões da Irlanda e Frankfurt. Portanto, os clientes com locatários do Qlik Cloud na Irlanda ou Frankfurt que desejam usar o Qlik Cloud Data Integration devem atualizar para esta versão.

Problema resolvido

Às vezes, as tarefas que aterrissavam dados de uma origem Oracle falhavam quando uma tabela ampla continha colunas não utilizadas ou sem suporte ou colunas LOB que não foram replicadas.

2022.11.70

Padrão

28 de junho de 2023

Utilitário de instalação de driver aprimorado para clientes SAP

Nas versões anteriores, os clientes precisavam executar o comando "source arep_login.sh" ao instalar clientes SAP. A partir desta versão, não é mais necessário executar este comando.

Certificados CA atualizados

Esta versão inclui certificados CA atualizados, que são necessários para autenticar o locatário do Qlik Cloud.

Problemas resolvidos

• Quando uma tarefa de replicação no Gateway Data Movement falhou e foi recuperada automaticamente, o estado recuperado não seria comunicado ao ativo de dados de destino no Qlik Cloud.

• A criptografia de ponta a ponta para o Gateway Data Movement não era habilitada por padrão e era controlada por sinalizadores de tempo de execução.

2022.11.63

Padrão

2 de maio de 2023

Utilitário de instalação de drivers

Esta versão apresenta um utilitário de instalação de drivers que elimina a necessidade de instalar e configurar drivers manualmente. O novo utilitário encurta o processo de instalação ao mesmo tempo em que reduz significativamente a possibilidade de erros dos usuários. Quando o utilitário é executado, o driver necessário é baixado automaticamente, se possível, e instalado. Se o driver não puder ser baixado (drivers DB2 requerem login, por exemplo), tudo o que você precisa fazer é baixá-lo, copiá-lo para uma pasta dedicada na máquina do gateway Data Movement e executar o utilitário.

Para obter um exemplo de uso do utilitário de instalação de driver para instalar um driver PostgreSQL, consulte os Pré-requisitos

Plataforma de dados em nuvem do Snowflake

O conector Snowflake agora oferece suporte a caracteres emoji de 4 bytes.

Suporte para banco de dados do Azure Database for PostgreSQL - Flexible Server como fonte de dados

O conector PostgreSQL agora pode mover dados do Azure Database for PostgreSQL - Flexible Server.

Suporte ao Cloud SQL para PostgreSQL como fonte de dados

O conector PostgreSQL agora pode mover dados do Cloud SQL para PostgreSQL.

Versões de fonte de dados recém-compatíveis

Esta versão apresenta suporte para as seguintes novas versões de fontes de dados:

• PostgreSQL 14
• DB2 (para IBM DB2 for z/OS) 12.1
• IBM DB2 for z/OS 2.5

Versões de plataforma de dados em nuvem com suporte recente

Databricks 11.3 LTS

Suporte suspenso para as seguintes versões de fonte de dados

As seguintes versões de fonte de dados não são mais compatíveis:

• DB2 (para IBM DB2 for z/OS) 11
• PostgreSQL 9.6
• Microsoft SQL Server 2012
• MariaDB 10.2

Problemas resolvidos

Esta versão resolve os seguintes problemas:

• Fonte de dados Oracle: Ao interromper e retomar uma tarefa, às vezes a tarefa falhava com um erro “Falha ao definir a posição do fluxo no contexto”.
• Origem do aplicativo SAP: As alterações não eram capturadas durante a tarefa de aterrissagem.