Monitorando uma tarefa de dados individual
Você pode monitorar o status e o progresso das suas tarefas de dados selecionando Monitorar no menu suspenso no canto superior esquerdo da janela da tarefa de dados.
Também pode criar exibições de monitor para monitorar diversas tarefas de dados. Para obter mais informações, consulte Monitorando e operando suas tarefas de dados.
Monitorando tarefas de aterrisagem e replicação
O monitoramento das tarefas de aterrisagem e replicação é semelhante, pois tanto o carregamento inicial quanto o CDC podem ser monitorados, mas há algumas diferenças notáveis devido aos seus casos de uso contrastantes.
-
Caso de uso do pipeline de dados: tarefas de aterrisagem
Todas as tarefas de aterrisagem devem começar com um carregamento total dos dados de origem para o destino. Depois que o carregamento total inicial for concluído, os dados de destino serão atualizados com alterações nos dados de origem. Isso pode ser feito usando Recarregar e comparar ou Alterar captura de dados (CDC) de acordo com a definição da tarefa.
Para obter mais informações sobre tarefas de aterrisagem, consulte Aterrissagem de dados de fontes de dados.
-
Caso de uso de replicação: tarefas "Replicar dados"
As tarefas "Replicar dados" geralmente começam com um carregamento total dos dados de origem para o destino. Isso é necessário na replicação de aplicativos SaaS, mas é opcional na replicação de bancos de dados. Ao replicar a partir de bancos de dados, se os dados de origem já existirem no destino e você desejar apenas aplicar as alterações de origem ao destino (ou armazená-las para aplicação posterior), o modo de replicação poderá ser Aplicar alterações, Armazenar alterações ou ambos. Ambos os modos de replicação são mostrados no monitoramento da CDC.
Para obter mais informações sobre tarefas "Replicar dados", consulte os seguintes tópicos:
Replicando dados com uma assinatura Standard, Premium ou Enterprise
Replicando dados com uma assinatura do Iniciante do Qlik Talend Cloud
-
Caso de uso de replicação: tarefas "Aterrisar dados no data lake"
As tarefas "Aterrisar dados no data lake" são semelhantes às tarefas de aterrisagem, pois devem começar com carregamento total. Depois que o carregamento total inicial for concluído, os dados de destino serão atualizados com alterações nos dados de origem. Isso pode ser feito usando a opção Recarregar ou Alterar captura de dados (CDC). Apesar de sua semelhança com as tarefas de aterrisagem, as tarefas "Aterrisar dados no data lake" são consideradas tarefas de replicação, pois consistem apenas na replicação da origem ao destino. Elas não oferecem a possibilidade de manipular os dados posteriormente (por exemplo, usando transformações e data marts), que estão disponíveis em um pipeline de dados.
Nota informativaAs etapas para criar uma tarefa separada "Aterrisar dados no data lake" não são relevantes com uma assinatura do Iniciante do Qlik Talend Cloud. Com uma assinatura do Iniciante do Qlik Talend Cloud, a replicação para destinos de armazenamento na nuvem é feita por meio de uma tarefa padrão "Replicar dados".Para obter mais informações sobre tarefas "Aterrisar dados no data lake", consulte Aterrisar ddados em um data lake com uma assinatura Standard, Premium ou Enterprise.
Monitorando detalhes
Você pode visualizar os seguintes detalhes da tarefa de dados em Status do carregamento total:
-
Enfileiradas- o número de tabelas atualmente enfileiradas.
-
Carregando- o número de tabelas que estão sendo carregadas no momento.
-
Concluídas- o número de tabelas concluídas.
-
Erro - o número de tabelas com erro.
Você pode ver os seguintes detalhes de cada tabela na tarefa de dados:
-
Nome
O nome da tabela de destino.
-
Estado
O estado da tabela será: Em fila, Carregando, Concluído ou Erro
-
Iniciado
A hora em que o carregamento começou.
-
Encerrado
A hora em que o carregamento terminou.
-
Duração
Duração do carregamento no formato hh:mm:ss.
-
Registros
O número de registros que foram replicados durante o carregamento.
-
Alterações em cache
O número de alterações armazenadas em cache.
-
Mensagem
Exibe uma mensagem de erro quando o carregamento não foi processado com êxito.
Detalhes de monitoramento de Captura de dados de alterações (CDC)
Você pode visualizar os seguintes detalhes do CDC da tarefa de dados para monitorar o processamento de alterações no Status do CDC:
-
Alterações de entrada- o número de alterações presentes na origem e aguardando para serem processadas. Você pode ver quantas estão acumuladas e quantas estão sendo aplicadas.
-
Alterações processadas- o número de alterações que foram processadas e aplicadas (nas últimas 24 horas).
-
Taxa de transferência- taxa de transferência de destino média em Kilobytes/segundo. Isso indica a rapidez com que os registros de alteração são carregados no terminal de destino.
-
Latência- latência atual do ativo de dados (hh:mm:ss). Essa duração representa o tempo de quando a alteração está disponível na origem até que a alteração seja aplicada e esteja disponível no ativo de destino ou de aterrisagem.
Você pode ver os seguintes detalhes de cada tabela na tarefa de dados:
-
Nome
O nome da tabela de destino no ativo de aterrisagem.
-
Estado
O estado da tabela será: Acumulando alterações ou Erro.
-
Último processado
A data e hora em que as últimas alterações foram feitas na tabela.
-
Inserções
O número de operações de inserção.
-
Atualizações
O número de operações de atualização.
Nota informativaAs atualizações são tratadas como inserções para fontes de aplicativos SaaS. -
Exclusões
O número de operações de exclusão.
-
Operações de DDL
O número de operações de DDL
Nota informativaDisponível apenas para tarefas "Replicar dados". -
Mensagem
Exibe uma mensagem de erro se as alterações na tabela falharem e não forem processadas.
Se você estiver acessando dados de uma fonte local e escolher o modo Carregamento total, as tabelas serão carregadas automaticamente quando o ativo de aterrisagem for Executado.
Se você estiver acessando dados de uma fonte local e escolher o modo Carregamento total e CDC, as tabelas serão atualizadas continuamente com novos dados após o carregamento total inicial.
Carregando tabelas selecionadas
Você pode carregar manualmente as tabelas selecionadas da fonte. Isto é útil quando você deseja recuperar tabelas únicas com erro. O carregamento das tabelas não afetará a linha do tempo do CDC, que será redefinida se você usar Recriar tabelas. Alterações de metadados não são propagadas ao recarregar tabelas.
-
Para carregar as tabelas selecionadas, selecione as tabelas na metade inferior do Monitor e clique em Carregar tabelas.
Você precisa das mesmas permissões necessárias para executar a tarefa de dados, ou seja, a função Proprietário ou Pode operar.
A opção Carregar tabelas está disponível após a primeira execução da tarefa de dados. Se o método de atualização for Carregar e comparar, a opção Carregar tabelas não estará disponível quando a tarefa de dados estiver em execução.
As tarefas de dados de armazenamento downstream serão sincronizadas na próxima vez em que forem executadas. Se a tarefa de armazenamento tiver o histórico habilitado, ela será mantida.
Caso não seja possível recuperar recarregando as tabelas, o próximo passo é reparar a tarefa de dados.
Recarregando todas as tabelas para o alvo
Você poderá recarregar todas as tabelas no destino se tiver problemas de CDC que não possam ser resolvidos recarregando tabelas específicas. Exemplos de problemas são eventos ausentes, problemas causados pela reorganização do banco de dados de origem ou falha na leitura de eventos do banco de dados de origem.
- Pare a tarefa de dados e todas as tarefas que os consomem.
-
Abra a tarefa de dados e selecione a guia Monitor.
-
Clique em ... e depois em Recarregar alvo.
Isso recarregará todas as tabelas no destino usando Drop-Create e reiniciará toda a captura de dados alterados a partir de agora.
-
As tarefas de armazenamento que consumirem a tarefa de dados de aterrissagem serão recarregadas por meio de comparação e aplicação na próxima execução para sincronização. O histórico existente será mantido. O histórico do tipo 2 será atualizado para refletir as alterações após a execução do processo de recarregamento e comparação.
O carimbo de data/hora para a data inicial no histórico tipo 2 refletirá a data de recarregamento e não necessariamente a data em que a alteração ocorreu na origem.
-
Exibições ao vivo do armazenamento não serão confiáveis durante a operação de destino de recarregamento e até que o armazenamento esteja sincronizado. O armazenamento será totalmente sincronizado quando:
-
Todas as tabelas forem recarregadas usando comparação e aplicação,
-
Um ciclo de alterações é executado para cada tabela.
-
Monitorando tarefas de armazenamento, transformação e datamart
Você pode monitorar o status e o progresso de uma tarefa de Armazenamento, Transformação ou Datamart.
-
Quando o primeiro carregamento está em execução, você pode ver o progresso em Status de carregamento total.
-
Enquanto as alterações são processadas, você pode ver o status e o progresso em Lote atual de alterações.
-
Quando as alterações tiverem sido processadas, você poderá ver o status e o progresso em Último lote de alterações.
Na metade inferior de Monitor, você pode visualizar o status e o progresso de cada conjunto de dados.
Você também pode visualizar informações detalhadas no nível da instrução SQL.
Visualização do status e do progresso
Você pode exibir os seguintes detalhes de cada conjunto de dados ou alteração:
-
Estado
Isso mostra o estado atual desse conjunto de dados ou alteração.
-
Concluído: o carregamento ou alteração foi concluído com sucesso.
-
Carregando: a tabela ou alteração está sendo processada.
-
Em fila: a tabela ou alteração está esperando para ser processada
-
Erro: ocorreu um erro ao processar a tabela ou alteração.
-
-
Iniciado
A hora em que o carregamento ou o processamento da alteração foi iniciado.
-
Encerrado
A hora em que o carregamento ou processamento da alteração terminou.
-
Duração
Duração do carregamento ou processamento da alteração, no formato hh:mm:ss.
-
Registros processados
O número de registros processados no carregamento ou na alteração.
-
Taxa de transferência (registros/segundo)
A taxa de transferência não é atualizada até que o carregamento seja concluído.
-
Mensagem
Exibe uma mensagem de erro quando o carregamento ou alteração não foi processado com sucesso.
Os conjuntos de dados serão continuamente atualizados com novos dados conforme a área de aterrissagem é atualizada pela tarefa de replicação. Cada lote está relacionado a registros de um determinado intervalo de tempo. Você pode ver o intervalo de tempo do lote mais recente em Último lote de alterações.
Os dados de todas as transações de origem até o momento mostrado em A tarefa de dados está atualizada até estão disponíveis para consumo a partir desta tarefa de dados. Essas informações estarão disponíveis para uma tarefa de dados depois que todas as tabelas forem carregadas e o primeiro conjunto de alterações for aplicado. Se você optou por gerar exibições ao vivo, também pode ver quando essas exibições são atualizadas.
Se houver um lote de alterações antes da conclusão do carregamento inicial, a opção A tarefa de dados está atualizada até não será atualizada até que o carregamento inicial seja concluído e o primeiro lote de alterações seja aplicado. Por exemplo, suponha que você esteja carregando um ativo de dados que contém um conjunto de dados do pedido contendo 1 milhão de pedidos e um conjunto de dados de detalhes de pedidos contendo 10 milhões de detalhes de pedidos. Os conjuntos de dados demoram 10 e 20 minutos para realizar um carregamento total, respectivamente. O conjunto de dados de pedidos é carregado primeiro, seguido pelo conjunto de dados de detalhes de pedidos. Enquanto o conjunto de dados de pedidos estava sendo carregado, um novo pedido foi inserido. Portanto, quando os detalhes do pedido são carregados, eles podem conter detalhes do novo pedido que ainda não existem no conjunto de dados de pedidos. Os conjuntos de dados de pedidos e detalhes de pedidos só estarão sincronizados e totalmente atualizados ao mesmo tempo após a aplicação do primeiro lote de alterações.
Visualizando informações detalhadas
Você pode visualizar informações detalhadas no nível da instrução SQL.
-
Selecione Carregamento total, Lote atual de alterações ou Último lote de alterações no menu suspenso da parte inferior do Monitor.
-
Selecione os conjuntos de dados para monitorar em detalhes.
-
Clique em Detalhes do monitor.
Detalhes do monitor é exibido, e você pode visualizar os comandos que são executados para cada etapa do processo de carregamento ou alteração. Você pode clicar em um comando para visualizar as instruções SQL completas que foram executadas.
-
Clique em Exportar para CSV para exportar um arquivo de texto com instruções SQL completas para todos os comandos listados.
A tarefa de dados está atualizada até para exibições
O campo A tarefa de dados está atualizada até mostra a hora em que a exibição mais antiga está atualizada.
-
Visualizações padrão
A tarefa de dados está atualizada até mostra a hora em que a exibição padrão mais antiga está atualizada.
Por exemplo, suponha que uma tarefa tenha duas tabelas: Pedidos e Detalhes do pedido. Os pedidos são atualizados para 10h01 com registros de 10h e 10h01, e os detalhes do pedido possuem registros apenas de 10h. Nesse caso, a tarefa de dados é atualizada para 10h. Isso não deve ser confundido com os horários de início e término do carregamento da tarefa de dados, que podem ser de 10h02 às 10h03.
-
Exibições ao vivo (tarefas de armazenamento de dados)
A tarefa de dados está atualizada até mostra a hora em que a exibição ao vivo mais antiga está atualizada.
Por exemplo, suponha que uma tarefa tenha uma tabela Pedidos. Os pedidos em aterrisagem são atualizados para 10h01 com registros de 10h e 10h01, mas os pedidos em armazenamento são atualizados para registros apenas a partir de 10h. Nesse caso, as exibições ao vivo dos pedidos são atualizadas para 10h01 e as exibições padrão são atualizadas para 10h.