Monitoraggio di un'attività di Qlik Open Lakehouse archiviazione

L'attività di archiviazione nei progetti Qlik Open Lakehouse si differenzia dagli altri progetti perché viene eseguita in modo continuo, anziché in modalità batch. Di conseguenza, le metriche di monitoraggio sono diverse.

Panoramica generale sul monitoraggio

La vista di monitoraggio ti consente di tenere traccia dello stato delle attività e delle metriche:

• Schede

  Alterna tra Info, Caricamento completo e Elaborazione modifiche per visualizzare le metriche pertinenti per ogni fase dell'attività.

• Filtro stato set di dati

  Un grafico a barre sopra la tabella dei set di dati mostra quanti set di dati si trovano in ciascuno stato: In coda, Caricamento, Completato, e Errore. Il grafico viene aggiornato dinamicamente man mano che gli stati del dataset cambiano. Fai clic su un segmento di stato per filtrare la tabella dei set di dati e mostrare solo i set di dati in quello stato.

• Nascondi widget

  Fare clic su Nascondi widget per comprimere i widget delle metriche. Questo offre più spazio per visualizzare la tabella dei set di dati sottostante.

• Data di inizio

  La data e l'ora in cui è iniziata l'esecuzione dell'attività corrente.

• Data di fine

  La data e l'ora in cui l'esecuzione dell'attività è terminata. Viene visualizzato solo per le esecuzioni di attività completate.

• Esegui cronologia

  Fai clic su Cronologia esecuzioni per visualizzare un elenco delle esecuzioni precedenti delle attività e i relativi risultati.

Dettagli sul monitoraggio delle informazioni

La sezione Info fornisce un riepilogo dello stato generale dell'attività:

• Esegui

  Visualizza l'ID esecuzione dell'esecuzione corrente.

• Dati

  Il campo Attività dati aggiornata a mostra l'ora in cui è stata aggiornata la visualizzazione meno recente. Rappresenta l'ultimo momento in cui tutte le modifiche della sorgente impegnate fino a quel momento sono già disponibili nelle tabelle di destinazione.

  Se non vengono rilevate nuove modifiche nella sorgente, questo valore viene impostato sull'ora corrente.

• Attività

  Visualizza il nome e lo stato del cluster su cui è in esecuzione questa attività, e le informazioni e lo stato generali dell'attività.

Dettagli di monitoraggio del caricamento completo

È possibile visualizzare le seguenti statistiche per l'attività dati in Caricamento completo:

• Totale set di dati

  Il numero di set di dati caricati.

• Set di dati in errore

  Il numero di set di dati in errore.

• Modifiche in entrata

  Il numero di modifiche in arrivo.

• Latenza totale

  Latenza corrente del task (hh:mm:ss). Questa durata rappresenta il tempo che intercorre tra la disponibilità della modifica nella sorgente e il momento in cui la modifica viene applicata e resa disponibile nella destinazione.

È possibile visualizzare i seguenti dettagli per ciascuna tabella nell'attività dati:

• Nome

  Il nome della tabella di destinazione.

• Stato

  Lo stato della tabella sarà: In coda, Caricamento in corso, Completato o Errore.

• Avviato

  L'ora di avvio del caricamento.

• Terminato

  L'ora di fine del caricamento.

• Durata

  Durata del caricamento del file nel formato hh:mm:ss.

• Record

  Il numero di record è stato replicato durante il caricamento.

• Messaggio

  Visualizza un messaggio di errore se il caricamento non è stato elaborato correttamente.

Dettagli del monitoraggio elaborazione modifica

È possibile visualizzare i dettagli seguenti per l'attività dati per monitorare l'elaborazione delle modifiche in Elaborazione delle modifiche:

• Totale set di dati

  Il numero di set di dati caricati.

• Set di dati in errore

  Il numero di set di dati in errore.

• Modifiche in entrata

  Il numero di modifiche in arrivo.

• Modifiche elaborate

  Il numero di modifiche elaborate.

• Latenza totale

  Latenza corrente del task (hh:mm:ss). Questa durata rappresenta il tempo che intercorre tra la disponibilità della modifica nella sorgente e il momento in cui la modifica viene applicata e resa disponibile nella destinazione.

È possibile visualizzare i seguenti dettagli per ciascuna tabella nell'attività dati:

• Nome

  Il nome della tabella di destinazione nell'asset di trasferimento.

• Stato

  Lo stato della tabella sarà: Accumulo modifiche o Errore.

• Modifiche in entrata

  Il numero di modifiche elaborate dall'attività di trasferimento che sono in attesa di essere applicate dall'attività di archiviazione.

• Modifiche elaborate

  Il numero totale di modifiche applicate alla destinazione dall'ultima volta che il set di dati è stato caricato completamente (dal caricamento completo iniziale o dall'azione di ricaricamento).

• Ultima elaborazione

  L'ora più recente per i dati sorgente che è stata inserita nel set di dati di destinazione, tradotta in ora locale.

• Modifiche non ottimizzate

  Il numero di record per cui è possibile eseguire le query tramite la vista, ma non sono stati ancora uniti in partizioni ottimizzate di Iceberg. I conteggi elevati possono influire sulle prestazioni fino al termine delle ottimizzazioni in background.

  Questi riflettono il numero di record attualmente presenti nella partizione delle modifiche che non sono ancora stati applicati alle partizioni correnti o storiche.

  Se questo numero è costantemente elevato, considerare di aumentare la capacità di calcolo del cluster per accelerare l'ottimizzazione.

• Messaggio

  Visualizza un messaggio di errore se le modifiche alla tabella non riescono e non vengono elaborate.

Visualizzazione della cronologia delle esecuzioni

È possibile visualizzare la cronologia delle esecuzioni di un'attività per identificare le cause principali e comprendere i pattern nel tempo.

• Fare clic su Cronologia esecuzioni nella vista Monitoraggio di un'attività.

• Fare clic su Cronologia esecuzioni nel menu ... di un'attività in Viste di monitoraggio.

Nella cronologia delle esecuzioni vengono visualizzate fino a 100 esecuzioni in base alle selezioni dei filtri. Affinare i criteri di filtro per visualizzare altre esecuzioni. È possibile filtrare in base alla data di fine dell'esecuzione e allo stato dell'attività. Le informazioni sulle esecuzioni vengono conservate per 13 mesi. I metadati del set di dati nelle esecuzioni vengono conservati per 30 giorni.