Monitorando tarefas de armazenamento do Qlik Open Lakehouse

A tarefa de armazenamento nos projetos do Qlik Open Lakehouse é diferente de outros projetos, pois é executada continuamente, e não em modo de lote. Como resultado, as métricas de monitoramento são diferentes.

Detalhes gerais de monitoramento

Esta seção fornece um resumo do status geral da tarefa:

• A tarefa de dados foi atualizada em

  O carimbo de data/hora até o qual todas as tabelas estão totalmente sincronizadas. Representa o último ponto no tempo em que todas as alterações na origem confirmadas até aquele momento já estão disponíveis nas tabelas de destino.

  Se nenhuma nova alteração na origem for detectada, este valor será definido como o horário atual.

• Número de conjuntos de dados

  Número total de conjuntos de dados incluídos nessa tarefa.

• Conjuntos de dados com erros

  Número total de conjuntos de dados nessa tarefa que encontraram erros.

• Cluster do Lakehouse

  O nome e o status do cluster no qual essa tarefa está sendo executada.

Detalhes do monitoramento de carregamento total

Você pode visualizar os seguintes detalhes da tarefa de dados em Status do carregamento total:

• Enfileiradas: o número de tabelas atualmente enfileiradas.

• Carregando: o número de tabelas que estão sendo carregadas no momento.

• Concluídas: o número de tabelas concluídas.

• Erro : o número de tabelas com erro.

Você pode ver os seguintes detalhes de cada tabela na tarefa de dados:

• Nome

  O nome da tabela de destino.

• Estado

  O estado da tabela será: Em fila, Carregando, Concluído ou Erro

• Iniciado

  A hora em que o carregamento começou.

• Encerrado

  A hora em que o carregamento terminou.

• Duração

  Duração do carregamento no formato hh:mm:ss.

• Registros

  O número de registros que foram replicados durante o carregamento.

• Mensagem

  Exibe uma mensagem de erro quando o carregamento não foi processado com êxito.

Detalhes de monitoramento de Captura de dados de alterações (CDC)

Você pode visualizar os seguintes detalhes do CDC da tarefa de dados para monitorar o processamento de alterações no Status do CDC:

• Alterações de entrada: o número de alterações presentes na origem e aguardando para serem processadas. Você pode ver quantas estão acumuladas e quantas estão sendo aplicadas.

• Alterações processadas: o número de alterações que foram processadas e aplicadas (nas últimas 24 horas).

• Latência: a diferença de tempo (hh:mm:ss) entre o carimbo de data/hora mais antigo do evento de origem na aterrisagem que não foi processado para armazenamento e a hora atual. Essa duração representa o tempo de quando a alteração está disponível na origem até que a alteração seja aplicada e esteja disponível no ativo de aterrisagem.

Você pode ver os seguintes detalhes de cada tabela na tarefa de dados:

• Nome

  O nome da tabela de destino no ativo de aterrisagem.

• Estado

  O estado da tabela será: Acumulando alterações ou Erro.

• Recebendo alterações

  O número de alterações processadas pela tarefa de aterrisagem que estão aguardando para serem aplicadas pela tarefa de armazenamento.

• Alterações processadas

  O número total de alterações que foram aplicadas ao destino desde que o conjunto de dados foi carregado totalmente pela última vez (pelo carregamento total inicial ou pela ação de recarga).

• Último processado

  A última hora da fonte de dados que foi inserida no conjunto de dados de destino, convertida para a hora local.

• Alterações não otimizadas

  Número de registros que podem ser consultados por meio da visualização, mas ainda não foram mesclados em partições Iceberg otimizadas. Contagens altas podem afetar o desempenho até que as otimizações em segundo plano sejam concluídas.

  Isso reflete o número de registros atualmente na partição de alterações que ainda não foram aplicados às partições atuais ou de histórico.

  Se esse número for consistentemente alto, considere aumentar a capacidade de computação do cluster para acelerar a otimização.

• Mensagem

  Exibe uma mensagem de erro se as alterações na tabela falharem e não forem processadas.