Monitoraggio di un'attività di archiviazione di Lakehouse aperto Qlik

L'attività di archiviazione nei progetti Lakehouse aperto Qlik si differenzia dagli altri progetti perché viene eseguita in modo continuo, anziché in modalità batch. Di conseguenza, le metriche di monitoraggio sono diverse.

Dettagli generali sul monitoraggio

Questa sezione fornisce un riepilogo dello stato generale dell'attività:

• Attività dati aggiornata a

  Il timestamp per il quale tutte le tabelle sono completamente sincronizzate. Rappresenta l'ultimo momento in cui tutte le modifiche della sorgente impegnate fino a quel momento sono già disponibili nelle tabelle di destinazione.

  Se non vengono rilevate nuove modifiche nella sorgente, questo valore viene impostato sull'ora corrente.

• Numero di set di dati

  Numero totale di set di dati inclusi nell'attività.

• Set di dati con errori

  Numero totale di set di dati nell'attività che hanno riscontrato errori.

• Cluster lakehouse

  Il nome e lo stato del cluster su cui è in esecuzione l'attività.

Dettagli di monitoraggio del caricamento completo

È possibile visualizzare i seguenti dettagli per l'attività dati in Stato caricamento completo:

• In coda: il numero di tabelle attualmente in coda.

• Caricamento in corso: il numero di tabelle attualmente in corso di caricamento.

• Completato: il numero di tabelle completate.

• Errore: il numero di tabelle con errori.

È possibile visualizzare i seguenti dettagli per ciascuna tabella nell'attività dati:

• Nome

  Il nome della tabella di destinazione.

• Stato

  Lo stato della tabella sarà: In coda, Caricamento in corso, Completato o Errore.

• Avviato

  L'ora di avvio del caricamento.

• Terminato

  L'ora di fine del caricamento.

• Durata

  Durata del caricamento del file nel formato hh:mm:ss.

• Record

  Il numero di record che è stato replicato durante il caricamento.

• Messaggio

  Visualizza un messaggio di errore se il caricamento non è stato elaborato correttamente.

Dettagli di monitoraggio di Change data capture (CDC)

È possibile visualizzare i dettagli seguenti del CDC per l'attività dati per monitorare l'elaborazione delle modifiche in Stato CDC:

• Modifiche in arrivo: il numero di modifiche presenti alla fonte e in attesa di essere elaborate. È possibile visualizzare quante ne sono state accumulate e quante ne sono stati applicate.

• Modifiche elaborate: il numero di modifiche che sono state elaborate e applicate (nelle ultime 24 ore).

• Latenza: la differenza temporale (hh:mm:ss) tra il timestamp dell'evento sorgente più vecchio nel trasferimento che non è stato elaborato per l'archiviazione e l'ora corrente. Questa durata rappresenta il tempo da quando la modifica è disponibile nella sorgente, fino a quando la modifica viene applicata ed è disponibile nella risorsa di trasferimento.

È possibile visualizzare i seguenti dettagli per ciascuna tabella nell'attività dati:

• Nome

  Il nome della tabella di destinazione nell'asset di trasferimento.

• Stato

  Lo stato della tabella sarà: Accumulo modifiche o Errore.

• Modifiche in entrata

  Il numero di modifiche elaborate dall'attività di trasferimento che sono in attesa di essere applicate dall'attività di archiviazione.

• Modifiche elaborate

  Il numero totale di modifiche applicate alla destinazione dall'ultima volta che il set di dati è stato caricato completamente (dal caricamento completo iniziale o dall'azione di ricaricamento).

• Ultima elaborazione

  L'ora più recente per i dati sorgente che è stata inserita nel set di dati di destinazione, tradotta in ora locale.

• Modifiche non ottimizzate

  Il numero di record per cui è possibile eseguire le query tramite la vista, ma non sono stati ancora uniti in partizioni ottimizzate di Iceberg. I conteggi elevati possono influire sulle prestazioni fino al termine delle ottimizzazioni in background.

  Questi riflettono il numero di record attualmente presenti nella partizione delle modifiche che non sono ancora stati applicati alle partizioni correnti o storiche.

  Se questo numero è costantemente elevato, considerare di aumentare la capacità di calcolo del cluster per accelerare l'ottimizzazione.

• Messaggio

  Visualizza un messaggio di errore se le modifiche alla tabella non riescono e non vengono elaborate.