Monitorando tarefas de armazenamento do Qlik Open Lakehouse

A tarefa de armazenamento nos projetos do Qlik Open Lakehouse é diferente de outros projetos, pois é executada continuamente, e não em modo de lote. Como resultado, as métricas de monitoramento são diferentes.

Visão geral do monitoramento geral

A visualização de monitoramento permite rastrear o status e as métricas da tarefa:

• Guias

  Alterne entre Informações, Carregamento total e Processamento de alterações para visualizar as métricas relevantes para cada fase da tarefa.

• Filtro de status do conjunto de dados

  Um gráfico de barras acima da tabela de conjuntos de dados mostra quantos conjuntos de dados estão em cada status: Na fila, Carregando, Concluído e Erro. O gráfico é atualizado dinamicamente à medida que os status dos conjuntos de dados mudam. Clique em um segmento de status para filtrar a tabela de conjuntos de dados e mostrar apenas os conjuntos de dados nesse status.

• Ocultar widgets

  Clique em Ocultar widgets para recolher os widgets de métricas. Isso oferece mais espaço para visualizar a tabela de conjuntos de dados abaixo.

• Data de início

  A data e hora em que a execução da tarefa atual foi iniciada.

• Data de término

  Data e hora em que a execução da tarefa terminou. Isso é exibido apenas para execuções de tarefas concluídas.

• Histórico de execução

  Clique em Histórico de execução para visualizar uma lista de execuções de tarefas anteriores e seus resultados.

Detalhes do monitoramento de informações

A seção Informações fornece um resumo do status geral da tarefa:

• Executar

  Exibe o ID da Execução da execução atual.

• Dados

  A tarefa de dados está atualizada até exibe a hora em que a exibição mais antiga foi atualizada. Representa o último ponto no tempo em que todas as alterações na origem confirmadas até aquele momento já estão disponíveis nas tabelas de destino.

  Se nenhuma nova alteração na origem for detectada, este valor será definido como o horário atual.

• Tarefa

  Exibe o nome e o status do cluster no qual esta tarefa está sendo executada, e informações e status gerais da tarefa.

Detalhes do monitoramento de carregamento total

Você pode visualizar as seguintes estatísticas para a tarefa de dados em Carregamento total:

• Total de conjuntos de dados

  O número de conjuntos de dados carregados.

• Conjuntos de dados com erro

  Número de conjuntos de dados com erros.

• Alterações de entrada

  O número de alterações de entrada.

• Latência total

  Latência atual da tarefa (hh:mm:ss). Essa duração representa o tempo de quando a alteração está disponível na origem até que a alteração seja aplicada e esteja disponível no destino.

Você pode ver os seguintes detalhes de cada tabela na tarefa de dados:

• Nome

  O nome da tabela de destino.

• Estado

  O estado da tabela será: Em fila, Carregando, Concluído ou Erro

• Iniciado

  A hora em que o carregamento começou.

• Encerrado

  A hora em que o carregamento terminou.

• Duração

  Duração do carregamento no formato hh:mm:ss.

• Registros

  O número de registros que foram replicados durante o carregamento.

• Mensagem

  Exibe uma mensagem de erro quando o carregamento não foi processado com êxito.

Detalhes do monitoramento de processamento de alterações

Você pode visualizar os seguintes detalhes da tarefa de dados para monitorar o processamento de alterações em Processamento de alterações:

• Total de conjuntos de dados

  O número de conjuntos de dados carregados.

• Conjuntos de dados com erro

  Número de conjuntos de dados com erros.

• Alterações de entrada

  O número de alterações de entrada.

• Alterações processadas

  O número de alterações processadas.

• Latência total

  Latência atual da tarefa (hh:mm:ss). Essa duração representa o tempo de quando a alteração está disponível na origem até que a alteração seja aplicada e esteja disponível no destino.

Você pode ver os seguintes detalhes de cada tabela na tarefa de dados:

• Nome

  O nome da tabela de destino no ativo de aterrisagem.

• Estado

  O estado da tabela será: Acumulando alterações ou Erro.

• Recebendo alterações

  O número de alterações processadas pela tarefa de aterrisagem que estão aguardando para serem aplicadas pela tarefa de armazenamento.

• Alterações processadas

  O número total de alterações que foram aplicadas ao destino desde que o conjunto de dados foi carregado totalmente pela última vez (pelo carregamento total inicial ou pela ação de recarga).

• Último processado

  A última hora da fonte de dados que foi inserida no conjunto de dados de destino, convertida para a hora local.

• Alterações não otimizadas

  Número de registros que podem ser consultados por meio da visualização, mas ainda não foram mesclados em partições Iceberg otimizadas. Contagens altas podem afetar o desempenho até que as otimizações em segundo plano sejam concluídas.

  Isso reflete o número de registros atualmente na partição de alterações que ainda não foram aplicados às partições atuais ou de histórico.

  Se esse número for consistentemente alto, considere aumentar a capacidade de computação do cluster para acelerar a otimização.

• Mensagem

  Exibe uma mensagem de erro se as alterações na tabela falharem e não forem processadas.

Visualizando o histórico de execução

Você pode visualizar o histórico de execução de uma tarefa para identificar as causas raiz e entender os padrões ao longo do tempo.

• Clique em Histórico de execução na exibição Monitor de uma tarefa.

• Clique em Histórico de execução no menu ... de uma tarefa em Monitorar exibições.

Até 100 execuções são exibidas no histórico de execução com base nas suas seleções de filtro. Refine seus critérios de filtro para ver outras execuções. Você pode filtrar por data de término da execução e status da tarefa. As informações de execução são retidas por 13 meses. Os metadados do conjunto de dados nas execuções são retidos por 30 dias.