Ir para conteúdo principal Pular para conteúdo complementar

Atualizando e desinstalando o Data Movement gateway

Este tópico explica como atualizar ou desinstalar sua instalação do Data Movement gateway. Também fornece uma tabela listando as alterações introduzidas em cada versão do Data Movement gateway.

Procedimento de upgrade

Para verificar a versão atual, acesse Administração do > Gateways de dados e verifique a coluna Versão correspondente ao seu Data Movement gateway.

Se houver uma nova versão disponível, o número da versão será anexado com !. Você pode passar o mouse sobre para obter mais informações. Se a versão do gateway instalado não for compatível, o Status será Desativado e uma atualização será necessária para ativar o gateway.

Sempre que uma nova versão do rpm do Data Movement gateway estiver disponível, você deve baixá-la de Administração e atualizar a instalação existente.

Para fazer isso:

  1. Baixe a nova versão clicando em no gateway e depois em Upgrade.

    Confirme o contrato do cliente e faça o download do RPM.

  2. Abra um prompt de shell e altere o diretório de trabalho para o diretório que contém o arquivo RPM.
  3. Execute o seguinte comando:

    Sintaxe:

    rpm -U <rpm name>

    Exemplo:

    sudo rpm -U qlik-data-gateway-data-movement.rpm

  4. Inicie o serviço do Gateway Data Movement:

    sudo systemctl start repagent

  5. Opcionalmente, confirme se o serviço foi iniciado:

    sudo systemctl status repagent

    O status deverá ser o seguinte:

    Active: active (running) since <timestamp> ago

Histórico de versões do Data Movement gateway

Versão

Data de lançamento

Alterações significativas

Data de fim do suporte

2024.5.28 12 de novembro de 2024 Fornece a funcionalidade necessária para o recurso Evolução de esquema que será lançado em breve. Determinado quando a próxima versão principal é lançada
2024.5.27 5 de novembro de 2024

Esta versão resolve os seguintes problemas:

  • Ao usar o evento de refazer 11.22, INSERTs ausentes ocorriam ao processar vários INSERTs em uma página compactada que não foi compactada antes dos INSERTs.
  • Em cenários raros, a análise incorreta de eventos DELETE no registro de log de refazer gerava um aviso "O evento DELETE do redo log contém uma estrutura desconhecida" seguido por vários problemas.

As instruções no arquivo YAML foram atualizadas para refletir a versão correta do SAP Java Conector.

Ao usar o Data Movement Gateway para se conectar ao destino do Snowflake por meio de um proxy, a conexão falhava com o seguinte erro de conexão:

500 Failed to connect to Data Movement Gateway

Determinado quando a próxima versão principal é lançada
2024.5.22 15 de outubro de 2024 Esta versão resolve um problema em uma tarefa de replicação de Carregamento Total + CDC, em que o campo A tarefa de dados foi atualizada em da tarefa de CDC mostraria o carimbo de data/hora de Carregamento Total em vez do(s) carimbo(s) de data/hora da CDC. Determinado quando a próxima versão principal é lançada
2024.5.16 8 de outubro de 2024
    • Às vezes, INSERTs ausentes ocorriam em várias operações INSERT ao usar o evento redo 11.22.
    • Após atualizar o Oracle 19g para o patch de julho de 2024, as operações UPDATE às vezes não eram capturadas, e o seguinte aviso era exibido:

      A compressed row cannot be parsed

  • Quando as configurações da tarefa foram configuradas para criar o esquema da tabela de controle, a tarefa falharia com o seguinte erro:

    Failed to delete directory

  • Quando uma tarefa era programada para ser executada periodicamente, às vezes ela falhava com o seguinte erro:

    The task stopped abnormally

  • Às vezes, tarefas de transformação e armazenamento permaneciam em um estado de fila por um tempo excessivamente longo.

  • As tarefas falhariam ao usar o sinalizador do recurso use_manipulation_pk_for_apply com a replicação de Armazenar alterações.

  • O tempo limite do S3 foi estendido para 6 horas para evitar problemas resultantes de tempos limite prolongados, como perda do token para baixar os arquivos.

Determinado quando a próxima versão principal é lançada
2024.5.14 10 de setembro de 2024
  • Chave/par fornece um método de autenticação mais robusto do que usuário/senha para conectar ao Snowflake com suas contas de serviço. Essa abordagem é recomendada para cargas de trabalho como o carregamento de dados (tarefas de replicação ou aterrisagem) e transformações.

  • Em versões anteriores, atualizar conjunto de dados em um conjunto de dados existente ou em um conjunto de dados recém-adicionado às vezes Falhava com um Erro. Esse aprimoramento garante que os metadados possam ser recuperados de várias Tabelas em paralelo sem nenhum problema.

  • Quando uma tabela de origem continha uma coluna com um tipo de dados DECIMAL - por exemplo, DECIMAL (38, 20) - a preparação da tarefa de armazenamento no Google BigQuery falhava com o seguinte erro (trecho):

    Column <n> in <table name> has incompatible types: STRING, BIGNUMERIC at [93:1]

    O problema foi resolvido mapeando o Tipo de dados DECIMAL da Fonte de dados para DECIMAL no Google BigQuery.

  • Após fazer alterações em uma regra de esquema existente em uma tarefa de dados, ocorreria o seguinte erro:

    QRI SQL error not implemented

  • Ao preparar uma tarefa de aterrissagem que se conectava a uma fonte do Aplicativo SAP, a tarefa era concluída com êxito, mas o seguinte Erro era relatado no arquivo de log repsrv.log:

    Invalid object name 'hk1./QTQVC/QRI'

Determinado quando a próxima versão principal é lançada
2024.5.7 6 de agosto, 2024
  • Anteriormente, quando ocorria uma alteração de metadados, todas as tabelas eram descartadas e recriadas, mesmo que a alteração de metadados não afetasse todas as tabelas. Agora, somente as tabelas alteradas serão descartadas e recriadas, melhorando assim o desempenho.

  • As tabelas criadas no banco de dados de origem durante a tarefa de replicação de dados que correspondem ao padrão de inclusão agora serão capturadas automaticamente durante a CDC (captura de dados de alterações).

    • Anteriormente, ao ler várias transações do Microsoft SQL Server (MS-CDC), o Qlik Talend Data Integration preservava o ID da transação e o registro de data e hora apenas da primeira transação. No destino, isso dava a impressão de que os registros faziam parte de uma única transação. Agora, o Qlik Talend Data Integration preservará o ID da transação original e o registro de data e hora de cada registro individual. Isso beneficia os clientes que desejam aproveitar as colunas de cabeçalho ID da transação ID e Carimbo de data/hora nas tabelas de alterações.

    • Anteriormente, os bytes no ID da transação eram codificados em ordem inversa. A partir dessa versão, os bytes serão codificados na ordem correta. Informações Os clientes que preferirem preservar o comportamento existente podem fazer isso usando parâmetros internos.c Para obter detalhes, entre em contato com o Suporte da Qlik.

  • Agora, o Qlik Talend Data Integration oferece suporte ao armazenamento em cache da autenticação plugável SHA-2 (caching_sha2_password) ao trabalhar com fontes ou destinos do MySQL, seja no local ou na nuvem. Nas versões anteriores, somente a autenticação nativa plugável (mysql_native_password) era compatível.

  • Os tipos de dados BYTES e BLOB agora serão mapeados para VARBYTE no Amazon Redshift em vez de VARCHAR.

    • PostgreSQL 16.x

    • MySQL 8.1
    • IBM DB2 para z/OS 3.1
    • PostgreSQL 16.x
    • MySQL 8.1
    • Databricks 14.3 LTS
    • SQL Server ODBC Driver 18.3

O suporte para as seguintes versões de banco de dados foi descontinuado:

  • Todas as versões e drivers Oracle anteriores ao Oracle 19.x
  • Microsoft SQL Server 2014
  • MySQL 5.7
  • PostgreSQL 11
  • IBM DB2 para LUW 10.5
  • IBM DB2 para z/OS: z/OS 2.3
  • Quando uma alteração de documento de cluster capturado excluía todas as linhas de todas as suas tabelas capturadas, a operação DELETE ausente e mensagens de asserção desnecessárias eram encontradas.

  • Atualização da Microsoft Authentication Library for Java (MSAL4J) e do Bouncy Castle para versões sem vulnerabilidades conhecidas.

    • Às vezes, a tarefa falhava ao usar o armazenamento interno do Snowflake.
    • A tarefa falhava quando o nome do esquema de destino era Katakana japonês.
  • Ao retomar uma tarefa com uma fonte Oracle, a tarefa continuava a esperar por um Archived Redo Log excluído em vez de falhar com um erro apropriado.

Determinado quando a próxima versão principal é lançada
2023.11.23 26 de junho de 2024
  • A partir desta versão, o esquema de metadados do Snowflake (para arquivos preparados) será criado se não existir.

  • Depois que uma alteração foi feita em uma regra Renomear conjunto de dados (que concatenou o nome da tabela com o nome do esquema) e uma Visualização foi adicionada à tarefa de aterrissagem, a operação Preparar falharia com o seguinte erro:

    QRI SQL error not implemented.

  • Atualizado o componente java_file_factory para uma versão sem vulnerabilidades conhecidas.
  • org.postgresql:postgresql atualizado para uma versão sem nenhuma vulnerabilidade conhecida.
  • Ao mover dados para o SQL Server, a operação Preparar falharia quando os nomes dos índices excedessem 128 caracteres. O problema foi resolvido alterando a lógica para criar nomes de índice mais curtos.
  • Ao mover dados do SQL Server, um nome de coluna ausente nas definições da tabela causaria um loop de notificação infinito no arquivo repsrv.log, com a seguinte mensagem:

    mssql_resolve_sqlserver_table_column_attributes(...) failed to find column

6 de fevereiro de 2025

2023.11.11 21 de maio de 2024
  • Adicionado suporte para recuperação simultânea de metadados de diversas tabelas.

  • As informações de monitoramento para tarefas de aterrisagem e replicação serão agora atualizadas a cada 10 segundos (em vez de a cada 60 segundos), fornecendo uma indicação mais precisa do seu status atual.

  • O Japão agora é compatível como região de locatário do Qlik Cloud.

  • O intervalo de novas tentativas entre o gateway de dados e o Qlik Cloud aumentaria continuamente, mas nunca seria redefinido (a menos que o serviço fosse reiniciado).
  • Ao mover dados de uma origem de aplicativo SaaS, as tabelas às vezes entravam em estado de erro durante a recarga.
  • As tarefas com uma fonte MySQL às vezes falhavam com o seguinte erro durante o CDC:

    Read next binary log event failed; mariadb_rpl_fetch error 0 Error reading binary log.

  • Anteriormente, os eventos de auditoria do CDC só seriam registrados para tarefas de aterrisagem. Agora, eles serão registrados para tarefas de replicação também.
  • Ao mover dados do SQL Server (MS-CDC), tarefas com diversas tabelas às vezes demoravam várias horas para serem iniciadas.
  • Quando a tabela de origem continha colunas CLOB e o valor "Limit LOB size" excedia 10240, a replicação para o Snowflake falhava com o seguinte erro:

    Invalid character length: 0

Determinado quando a próxima versão principal é lançada
2023.11.4 12 de março de 2024

Os clientes agora podem instalar o Data Movement gateway no Red Hat 9.x ou em qualquer distribuição Linux correspondente e compatível.

Configurando o Data Movement gateway

Os comandos para parar, iniciar e verificar o status do serviço do Data Movement gateway foram alterados.

Comandos de serviço do Data Movement gateway

  • O tipo de dados BOOLEAN, que foi mapeado para VARCHAR(1) no Amazon Redshift, agora será mapeado para BOOLEAN.
  • Os tipos de dados BYTES e BLOB, que foram mapeados para VARCHAR(1) no Amazon Redshift, agora serão mapeados para VARBINARY (comprimento).

Esta seção lista os bancos de dados recentemente suportados, versões de banco de dados e versões de driver.

  • Versões e edições de fontes de dados recentemente compatíveis

    As seguintes versões de fonte de dados agora são compatíveis:

    • Azure Database for MySQL - Flexible Server (compatível por meio do conector de origem MySQL)
    • MariaDB 10.4 - 10.11 (anteriormente 10.4 e 10.5)
  • Plataformas e edições de dados de destino recentemente compatíveis

    As seguintes versões de destino de dados agora são compatíveis:

    • Azure Database for MySQL - Flexible Server (compatível por meio do conector de destino MySQL)
    • Databricks: Databricks 13.3 LTS e Serverless SQL Warehouse
  • Versão do driver SAP HANA recentemente compatível

    Os clientes com uma fonte SAP HANA que desejam instalar o Data Movement gateway no Red Hat Linux 9.x devem instalar o driver SAP HANA ODBC de 64 bits versão 2.0.19 ou posterior.

Esta seção fornece informações sobre versões de banco de dados de fim de suporte.

  • O suporte para as seguintes versões de fontes de dados foi descontinuado:

    • Oracle 11.x
    • SAP HANA 1.0
  • A instalação do Data Movement gateway sem fornecer uma senha de servidor não permitiria que as URLs de locatário e proxy fossem configuradas em um comando.
  • A movimentação de dados de uma fonte de dados do Salesforce (aplicativo SaaS) imprimiria um grande número de avisos redundantes, impactando assim o desempenho do carregamento de dados.
  • Ao recuperar alterações para uma fonte de dados de aplicativo SaaS, se ocorresse um erro ao recuperar alterações para uma das tabelas, essa tabela seria suspensa e removida do pipeline. Agora, ao encontrar um erro, a tarefa tentará recuperar as alterações até três vezes antes de suspender a tabela.
Determinado quando a próxima versão principal é lançada
2023.5.16 9 de janeiro de 2024

Continuamos expandindo os alvos compatíveis para o projeto de replicação no Qlik Cloud Data Integration. Além do Amazon S3, agora você pode escolher o Azure Data Lake Storage (ADLS) e o Google Cloud Storage (GCS) para entrega de data lake, como os formatos de arquivo Parquet, JSON ou CSV.

  • A conexão com o IBM DB2 for LUW falharia quando o tamanho dos arquivos necessários para a conexão (como o certificado do cliente SSL e o arquivo keystore) excedesse 4 KB.

  • A instalação do driver DB2 falharia ao usar o utilitário de instalação do driver.

7 de setembro de 2024

2023.5.15 12 de dezembro de 2023

O Microsoft Fabric se junta à lista cada vez maior de data warehouses que podem ser usados como destinos em projetos de pipeline de dados.

Atualizada a versão do driver Snowflake no utilitário de instalação do driver.

7 de setembro de 2024

2023.5.10 31 de outubro de 2023

Uma conexão privada pode ser usada para garantir que seu tráfego de dados permaneça seguro e compatível. Ela simplifica o gerenciamento de rede e a segurança da sua VPC (Virtual Private Cloud) sem a necessidade de abrir portas de firewalls de entrada, dispositivos proxy ou tabelas de roteamento. O Qlik Cloud Data Integration já oferece suporte a conexões privadas com destinos de pipeline de dados Snowflake, Microsoft SQL Server e Amazon S3. Com esta versão, os clientes também podem utilizar conexões privadas ao mover dados para o Databricks, o Microsoft Azure Synapse, o Google BigQuery e o Amazon Redshift.

  • Todas as fontes de dados baseadas em PostgreSQL – Suporte a tipos de dados multirange: Os seguintes tipos de dados multirange agora são suportados com todas as fontes de dados baseadas em PostgreSQL (no local e na nuvem).

    • INT4MULTIRANGE
    • INT8MULTIRANGE
    • NUMMULTIRANGE
    • TSMULTIRANGE
  • Fonte de dados AWS Aurora Cloud for PostgreSQL – suporte à função de não superusuário: O usuário especificado no conector PostgreSQL não precisa mais ter a função de superusuário para mover dados de uma fonte de dados AWS Aurora Cloud for PostgreSQL. Isto é especialmente útil para organizações com políticas de segurança corporativa que as impedem de conceder acesso de superusuário a usuários não privilegiados.

Os clientes que movem dados de uma fonte de dados Microsoft Azure SQL (MS-CDC) agora podem usar um banco de dados de réplica geográfica.

O Qlik Cloud Data Integration agora oferece suporte à leitura de dados de tablespaces e colunas criptografadas da Oracle durante o CDC.

O Qlik Cloud Data Integration agora oferece suporte a locatários nas regiões DE e Reino Unido.

Esta seção lista as versões de banco de dados e drivers recentemente suportadas.

  • Versões de fonte de dados recém-compatíveis. As seguintes versões de fonte de dados agora são compatíveis:

    • Microsoft SQL Server 2022
    • Oracle 21c
    • PostgreSQL 15.x
    • DB2 13.1 (ao trabalhar com o IBM DB2 for z/OS)
    • IBM DB2 for iSeries 7.5
  • Versões de plataforma de dados de destino recentemente compatíveis. As seguintes versões de destino de dados agora são compatíveis:

    • Databricks (Cloud Storage): Databricks 12.2 LTS e Databricks SQL Serverless
  • Versões do driver. As seguintes versões do driver ODBC agora são compatíveis:

    • IBM Data Server Client 11.5.8 para IBM DB2 for z/OZ e IBM DB2 for LUW
    • Driver ODBC Simba 3.0.0.1001 para Google Cloud BigQuery
    • Driver Unicode ODBC MySQL de 64 bits 8.0.32

Os clientes que transferem dados de ou para o Microsoft SQL Server precisam atualizar a versão do driver ODBC do SQL Server para 18.x ou posterior. Observe que continuar a usar o SQL Server ODBC Driver 17.x pode resultar em erros de dados. A atualização do driver pode ser feita usando o utilitário de instalação do driver ou manualmente. Para obter instruções, consulte Configuração do driver.

Esta seção fornece informações sobre versões de banco de dados de fim de suporte.

  • Versões de fonte de dados em fim de suporte. O suporte para as seguintes versões de fontes de dados foi descontinuado:

    • PostgreSQL 10
    • MySQL 5.6
    • MariaDB 10.3
  • Versões de plataforma de dados de destino em fim de suporte. O suporte para as seguintes versões de destino de dados foi descontinuado:

    • Databricks 9.1 LTS

7 de setembro de 2024

2022.11.74

15 de agosto de 2023

Adotamos uma abordagem que prioriza a nuvem e que permite rápida inovação e adoção. No entanto, isso não significa que estamos somente na nuvem. Como parte do nosso compromisso contínuo de melhorar o valor a longo prazo para os nossos clientes, temos o prazer de anunciar o lançamento de um novo caso de uso para replicação na criação de projetos de dados. O novo caso de uso de replicação é um acréscimo à capacidade existente de criar pipelines de dados para todas as suas necessidades de integração de dados, como modernização do data warehouse.

O projeto Replicação oferece suporte à replicação de dados em tempo real de fontes de dados compatíveis para um destino compatível.

A partir desta versão mais recente, o primeiro destino que oferece suporte à replicação de dados em tempo real é o Microsoft SQL Server. Além de oferecer suporte ao Microsoft SQL Server no local, os seguintes provedores de nuvem também são compatíveis:

  • No local
  • Amazon RDS
  • Google Cloud
  • Microsoft Azure (Instância Gerenciada do Microsoft Azure e Banco de Dados do Microsoft Azure)

Os clientes que movem dados para o Microsoft Azure Synapse Analytics precisam atualizar a versão do driver ODBC do SQL Server para 18.x ou posterior. Observe que continuar a usar o SQL Server ODBC Driver 17.x pode resultar em erros de dados. A atualização do driver pode ser feita usando o utilitário de instalação do driver ou manualmente. Para obter instruções, consulte Configuração do driver.

Uma nova opção Carregar dados da fonte foi introduzida, o que permite aos clientes ler seus dados diretamente da fonte durante o Carregamento total, em vez de usar os dados armazenados em cache.

Para obter mais informações sobre esta opção, incluindo casos de uso, consulte Configurações de aterrisagem.

O Data Movement gateway 2022.11.74 inclui certificados de CA atualizados, que são necessários para autenticar o locatário do Qlik Cloud. Os certificados CA atualizados também fornecem suporte para as regiões da Irlanda e Frankfurt. Portanto, os clientes com locatários do Qlik Cloud na Irlanda ou Frankfurt que desejam usar o Qlik Cloud Data Integration devem atualizar para esta versão.

Às vezes, as tarefas que aterrissavam dados de uma origem Oracle falhavam quando uma tabela ampla continha colunas não utilizadas ou sem suporte ou colunas LOB que não foram replicadas.

30 de abril de 2024

2022.11.70

28 de junho de 2023

Nas versões anteriores, os clientes precisavam executar o comando "source arep_login.sh" ao instalar clientes SAP. A partir desta versão, não é mais necessário executar este comando.

Esta versão inclui certificados CA atualizados, que são necessários para autenticar o locatário do Qlik Cloud.

  • Quando uma tarefa de replicação no Data Movement gateway falhou e foi recuperada automaticamente, o estado recuperado não seria comunicado ao ativo de dados de destino no Qlik Cloud.

  • A criptografia de ponta a ponta para o Data Movement gateway não era habilitada por padrão e era controlada por sinalizadores de tempo de execução.
15 de setembro de 2023

2022.11.63

2 de maio de 2023

Esta versão apresenta um utilitário de instalação de drivers que elimina a necessidade de instalar e configurar drivers manualmente. O novo utilitário encurta o processo de instalação ao mesmo tempo em que reduz significativamente a possibilidade de erros dos usuários. Quando o utilitário é executado, o driver necessário é baixado automaticamente, se possível, e instalado. Se o driver não puder ser baixado (drivers DB2 requerem login, por exemplo), tudo o que você precisa fazer é baixá-lo, copiá-lo para uma pasta dedicada na máquina do gateway Data Movement e executar o utilitário.

Para obter um exemplo de uso do utilitário de instalação de driver para instalar um driver PostgreSQL, consulte os Pré-requisitos

O conector Snowflake agora oferece suporte a caracteres emoji de 4 bytes.

O conector PostgreSQL agora pode mover dados do Azure Database for PostgreSQL - Flexible Server.

O conector PostgreSQL agora pode mover dados do Cloud SQL para PostgreSQL.

Esta versão apresenta suporte para as seguintes novas versões de fontes de dados:

  • PostgreSQL 14
  • DB2 (para IBM DB2 for z/OS) 12.1
  • IBM DB2 for z/OS 2.5

Databricks 11.3 LTS

As seguintes versões de fonte de dados não são mais compatíveis:

  • DB2 (para IBM DB2 for z/OS) 11
  • PostgreSQL 9.6
  • Microsoft SQL Server 2012
  • MariaDB 10.2

Esta versão resolve os seguintes problemas:

  • Fonte de dados Oracle: Ao interromper e retomar uma tarefa, às vezes a tarefa falhava com um erro “Falha ao definir a posição do fluxo no contexto”.
  • Origem do aplicativo SAP: As alterações não eram capturadas durante a tarefa de aterrissagem.

15 de setembro de 2023

2022.5.13

19 de outubro de 2022

Lançamento inicial

2 de agosto de 2023

Desinstalando o Data Movement gateway

Para desinstalar o Data Movement gateway, execute o seguinte comando:

rpm -e <installation package name>

Exemplo:

rpm -e qlik-data-gateway-data-movement-2023.11-1.x86_64

Se você não souber o nome do pacote, execute:

rpm -qa | grep qlik

Nota de advertênciaA desinstalação do Data Movement gateway fará com que todas as tarefas que atualmente usam o gateway de dados falhem.

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo - um erro de digitação, uma etapa ausente ou um erro técnico - informe-nos como podemos melhorar!