Monitoraggio di un'attività dati individuale
È possibile monitorare lo stato e l'avanzamento delle attività dati selezionando Monitora dal menu a comparsa nell'angolo in alto a sinistra della finestra dell'attività dati.
È possibile anche creare viste di monitoraggio per monitorare diverse attività dati. Per ulteriori informazioni, vedere Monitoraggio e gestione delle attività dati.
Panoramica generale sul monitoraggio
La vista di monitoraggio è disponibile per tutti i tipi di attività e consente di tenere traccia dello stato e delle metriche delle attività:
-
Schede
Passare tra le schede disponibili — ad esempio Informazioni, Carico completo, Elaborazione modifiche, Batch, o Streaming — a seconda del tipo di attività. Per i dettagli su ogni scheda, consulta la relativa sezione attività di seguito.
-
Filtro stato set di dati
Un grafico a barre sopra la tabella dei set di dati mostra quanti set di dati si trovano in ciascuno stato: In coda, Caricamento, Completato, e Errore. Il grafico viene aggiornato dinamicamente man mano che gli stati dei dataset cambiano. Fai clic su un segmento di stato per filtrare la tabella dei set di dati e mostrare solo i set di dati in quello stato.
-
Nascondi widget
Fare clic su Nascondi widget per comprimere i widget delle metriche. Questo offre più spazio per visualizzare la tabella dei set di dati sottostante.
-
Data di inizio
La data e l'ora in cui è iniziata l'esecuzione dell'attività corrente.
-
Data di fine
La data e l'ora di fine dell'esecuzione dell'attività. Viene visualizzato solo per le esecuzioni di attività completate.
-
Esegui cronologia
Fai clic su Cronologia esecuzioni per visualizzare un elenco delle esecuzioni precedenti delle attività e i relativi risultati.
Monitoraggio delle attività di spostamento dei dati
Le opzioni di monitoraggio disponibili sono determinate sia dal tipo di attività che dal tipo di connettore. Poiché alcuni connettori non supportano le attività CDC (ad esempio, Epicor), le opzioni di monitoraggio rilevanti per le CDC non saranno mostrate per questi connettori. In modo simile, poiché alcuni connettori non supportano il Caricamento completo, le opzioni di monitoraggio rilevanti per il Caricamento completo non saranno mostrate per quei connettori.
Caso di utilizzo per le pipeline di dati: attività di trasferimento
Tutte le attività di trasferimento devono iniziare con un caricamento completo dei dati della sorgente nella destinazione. Una volta che il caricamento completo inziale viene completato, i dati della destinazione vengono aggiornati con le modifiche ai dati della sorgente. Questa operazione può essere completata utilizzando Ricaricamento e confronto o Change Data Capture (CDC), a seconda della definizione dell'attività.
Per maggiori informazioni sulle attività di trasferimento, vedere Trasferimento dati da sorgenti dati.
Caso di utilizzo per la replica: le attività "Replica dati"
Le attività di "replica dati" di norma iniziano con un caricamento completo dei dati della sorgente nella destinazione. La tabella seguente riassume i casi d'uso di caricamento completo.
| Caso di utilizzo | Caricamento completo |
|---|---|
| Replica da applicazioni SaaS. | Obbligatorio |
| Replica da altri tipi di sorgente dati come database | Opzionale |
Quando si effettua la replica da sorgenti di applicazioni non-SaaS, se i dati della sorgente esistono già nella destinazione e si desidera unicamente applicare le modifiche della sorgente alla destinazione (o archiviarle per applicarle successivamente), la modalità di replica può essere Applica modifiche, Archivia modifiche o entrambe. Queste due modalità di modalità di replica sono visualizzate nel monitoraggio delle operazioni CDC.
Per maggiori informazioni, nelle attività di "Replica dati", vedere i seguenti argomenti:
Replica di dati con una sottoscrizione Standard, Premium o Enterprise
Replica dei dati con una sottoscrizione a Avvio Qlik Talend Cloud
Caso di utilizzo per la replica: le attività "Trasferisci dati su data lake"
Le attività "Trasferisci dati su data lake" sono simili a quelle di trasferimento poiché entrambe devono iniziare con un caricamento completo. Una volta che il caricamento completo inziale viene completato, i dati della destinazione vengono aggiornati con le modifiche ai dati della sorgente. Questa operazione può essere completata utilizzando Ricarica o Change Data Capture (CDC). Nonostante siano molto simili alle attività di trasferimento, però, le attività "Trasferisci dati su data lake" sono considerate attività di replica, poiché sono composte esclusivamente dalla replica da sorgente a destinazione. Non offrono la possibilità di manipolare ulteriormente i dati a valle (ad esempio, utilizzando trasformazioni e data mart), opzione che invece è disponibile in una pipeline di dati.
Per maggiori informazioni sulle attività "Trasferisci dati su data lake", vedere Trasferimento dei dati in un data lake con una sottoscrizione Standard, Premium o Enterprise.
Aggiornamento dei metadati dopo l'aggiunta di nuove colonne a un'origine applicazione SaaS
Quando nuove colonne vengono aggiunte a un'origine applicazione SaaS dopo che un'attività è già in esecuzione, è necessario aggiornare i metadati per prevenire la perdita di dati.
Operazione da eseguire:
-
Aprire e risalvare la connessione.
-
Preparare l'attività come descritto in Creazione e gestione di progetti di pipeline di dati.
Dettagli sul monitoraggio
Sono disponibili i seguenti dettagli sul monitoraggio:
-
Info
-
Caricamento completo
-
Modifica elaborazione
-
Streaming
Disponibile solo per attività di trasferimento in streaming.
Informazioni dettagli sul monitoraggio
È possibile visualizzare informazioni generali sull'attività, l'ID esecuzione e quando i dati sono stati aggiornati. Per le attività CDC, le informazioni di pianificazione sono anche disponibili in questa scheda.
Dettagli di monitoraggio di Caricamento completo
È possibile visualizzare le seguenti statistiche per l'attività dati in Caricamento completo:
-
Totale set di dati
Il numero di set di dati caricati.
-
Set di dati in errore
Il numero di set di dati in errore.
-
Latenza totale
Latenza corrente del task (hh:mm:ss). Questa durata rappresenta il tempo da quando la modifica è disponibile nella sorgente, fino a quando la modifica viene applicata ed è disponibile nella destinazione o di trasferimento.
-
Produttività totale
Produttività di destinazione in Kilobyte/secondo. Ciò indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.
È possibile visualizzare i seguenti dettagli per ciascun set di dati nell'attività dati:
-
Nome
Il nome del set di dati di destinazione .
-
Stato
Lo stato della tabella sarà: In coda, Caricamento in corso, Completato, Caricamento completo incompleto o Errore.
Quando si caricano dati da una sorgente di applicazione SaaS, uno stato di Full load incomplete potrebbe a volte essere visualizzato nel monitor a causa di interruzioni temporanee. Tali interruzioni potrebbero essere causate dal superamento della quota dati dell'applicazione SaaS, dall'instabilità del servizio e altro.
L'attività verrà ripresa automaticamente alla prossima istanza CDC programmata. Tuttavia, il caricamento completo potrebbe rimanere in pausa se il problema che causa l'interruzione non è ancora stato risolto. Puoi anche riprendere l'attività manualmente invece di attendere la successiva istanza CDC pianificata.
-
Avviato
L'ora di avvio del caricamento.
-
Terminato
L'ora di fine del caricamento.
-
Durata
Durata del caricamento nel formato hh:mm:ss.
-
Record
Il numero di record scritti nella destinazione durante il caricamento.
Nota informaticaQuando i set di dati di origine vengono filtrati, Record verrà sostituito dalle seguenti sezioni:
-
Record letti: Il numero di record letti dai set di dati di origine prima del filtro.
-
Record scritti (dopo il filtro): il numero di record effettivamente scritti nella destinazione dopo il filtro.
Per informazioni sul filtro dei set di dati, vedere Filtraggio di un dataset.
-
-
Messaggio
Visualizza un messaggio di errore se il caricamento non è stato elaborato correttamente.
Dettagli del monitoraggio elaborazione modifica
Elaborazione modifiche visualizza il numero di modifiche applicate a tutte le tabelle durante l'ultima esecuzione CDC o durante l'esecuzione corrente se non è ancora stata completata. Per visualizzare il numero di modifiche applicate a singole serie di dati dall'inizio dell'attività, consultare la tabella Serie di dati.
È possibile visualizzare le seguenti statistiche di elaborazione delle modifiche:
-
Totale set di dati
Il numero di set di dati caricati.
-
Set di dati in errore
Il numero di set di dati in errore.
-
Latenza totale
Latenza corrente del task (hh:mm:ss). Questa durata rappresenta il tempo da quando la modifica è disponibile nella sorgente, fino a quando la modifica viene applicata ed è disponibile nella destinazione o di trasferimento.
-
Produttività totale
Produttività di destinazione in Kilobyte/secondo. Ciò indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.
-
Totale modifiche in arrivo
Il numero di modifiche presenti nell'origine e in attesa di essere elaborate. È possibile visualizzare quante ne sono state accumulate nell'origine e quante ne sono state applicate.
-
Modifiche totali applicate
Il numero di modifiche applicate alla destinazione o al trasferimento. È possibile visualizzare il numero di aggiunte, eliminazioni e aggiornamenti.
È possibile visualizzare i seguenti dettagli per ciascuna tabella nell'attività dati:
-
Nome
Il nome della tabella di destinazione nell'asset di trasferimento.
-
Stato
Lo stato della tabella sarà uno dei seguenti: Accumulo modifiche, Errore o Completato (per attività CDC pianificate).
-
Ultima elaborazione
La data e l'ora in cui sono state apportate le ultime modifiche alla tabella.
-
Inserimenti, Aggiornamenti ed Eliminazioni
Nota informaticaQuando i set di dati di origine vengono filtrati, le colonne Inserimenti, Aggiornamenti e Eliminazioni verranno raggruppate come segue:
-
Letti: Il numero di modifiche (Inserimenti, Aggiornamenti ed Eliminazioni) lette dai set di dati di origine prima del filtraggio.
-
Scritto (dopo il filtro): Il numero di modifiche (inserimenti, aggiornamenti ed eliminazioni) effettivamente scritte nella destinazione dopo il filtro.
Per informazioni sul filtro dei set di dati, vedere Filtraggio di un dataset.
-
Inserimenti
Il numero di operazioni di inserimento.
-
Aggiornamenti
Il numero di operazioni di aggiornamento.
Nota informaticaGli aggiornamenti sono gestiti come inserimenti per le sorgenti di applicazioni SaaS. -
Eliminazioni
Il numero di operazioni di eliminazione.
-
-
DML (inserimenti/aggiornamenti)
Nota informaticaQuesta colonna viene visualizzata solo per le attività definite con un connettore di un'applicazione SaaS.Nota informaticaQuando i set di dati di origine vengono filtrati, le colonne Inserimenti, Aggiornamenti e Eliminazioni verranno raggruppate come segue:
-
DML letti (Inserimenti/Aggiornamenti): Il numero di DML (inserimenti e aggiornamenti) letti dai set di dati di origine prima del filtro.
-
DML scritti (inserimenti/aggiornamenti): Il numero di DML (inserimenti e aggiornamenti) effettivamente scritti nella destinazione dopo il filtro.
Per informazioni sul filtro dei set di dati, vedere Filtraggio di un dataset.
-
-
Operazioni DDL
Il numero di operazioni DDL
Nota informaticaDisponibile solo per le attività "Replica dati". -
Messaggio
Visualizza un messaggio di errore se le modifiche alla tabella non riescono e non vengono elaborate.
Se si stanno trasferendo dati da una sorgente on-premise e si sceglie la modalità di Caricamento completo, le tabelle verranno ricaricate automaticamente quando l'asset di trasferimento è Eseguito.
Se si stanno trasferendo dati da una sorgente locale e si sceglie la modalità Caricamento completo e CDC, le tabelle verranno continuamente aggiornate con nuovi dati dopo il caricamento completo iniziale.
Ricaricamento di tabelle selezionate
È possibile ricaricare manualmente le tabelle selezionate dalla sorgente. Ciò è utile se si vuole recuperare tabelle singole con un errore. Il ricaricamento di tabelle non influirà sulla sequenza temporale di CDC, che si ripristina se si utilizza Ricrea tabelle. Le modifiche ai metadati non si propagano quando si ricaricano le tabelle.
-
Per ricaricare le tabelle selezionate, selezionare le tabelle nella metà inferiore di Monitora e fare clic su Ricarica tabelle.
Sono necessarie le stesse autorizzazioni richieste per eseguire l'attività dati, ovvero il ruolo Proprietario o Può azionare.
Ricarica tabelle è disponibile dopo la prima esecuzione dell'attività dati. Se il metodo di aggiornamento è Ricaricamento e confronto, Ricarica tabelle non è disponibile quando l'attività dati è in esecuzione.
Le attività dati di archiviazione a valle saranno sincronizzate alla loro esecuzione successiva. Se la cronologia è abilitata nell'attività di archiviazione, essa sarà mantenuta.
Non è possibile recuperare i dati ricaricando le tabelle; quindi il passo successivo è riparare le attività dati.
Ricaricamento di tutte le tabelle nella destinazione
Se si riscontrano problemi con la funzione CDC che non è possibile risolvere ricaricando tabelle specifiche, è possibile ricaricare tutte le tabelle sulla destinazione. Gli esempi dei problemi includono eventi mancanti, problemi causati dalla riorganizzazione del database di origine o un errore durante la lettura degli eventi del database di origine.
- Interrompere l'attività dati e tutte le attività che la utilizzano.
-
Aprire l'attività dati e selezionare la scheda Monitora.
-
Fare clic su ..., quindi su Ricarica destinazione.
Questa opzione avvia la ricarica di tutte le tabelle nella destinazione utilizzando la funzione Rilascia-Crea, quindi riavvia tutte le attività di acquisizione dati di modifica da zero.
-
Le attività di archiviazione che utilizzano l'attività dati di trasferimento verranno ricaricate mediante il confronto e applicate alla successiva esecuzione per la sincronizzazione. La cronologia esistente viene mantenuta. La cronologia di Tipo 2 verrà aggiornata per riflettere le modifiche dopo l'esecuzione del processo di ricaricamento e confronto.
Il timestamp per la data di inizio nella cronologia di Tipo 2 rifletterà la data di ricaricamento, e non necessariamente la data in cui la modifica è stata portata nella sorgente.
-
Le visualizzazioni live per l'archiviazione non sono affidabili durante l'operazione di ricaricamento della destinazione e fino a quando l'archiviazione è sincronizzata. L'archiviazione verrà completamente sincronizzata nei seguenti casi:
-
Tutte le tabelle vengono ricaricate utilizzando le funzioni di confronto e applicazione.
-
Un ciclo di modifiche viene eseguito per ogni tabella.
-
Monitoraggio delle attività di archiviazione, trasformazione, data mart, mirror, e knowledge mart
È possibile monitorare lo stato e l'avanzamento di un'attività di archiviazione, trasformazione, data mart, Mirror, o knowledge mart.
Sono disponibili i seguenti dettagli sul monitoraggio:
-
Info
-
Caricamento completo
-
In blocco
Informazioni dettagli sul monitoraggio
È possibile visualizzare informazioni generali sull'attività, l'ID esecuzione e quando i dati sono stati aggiornati.
Dettagli di monitoraggio di Caricamento completo
È possibile visualizzare le seguenti statistiche per l'attività dati in Caricamento completo:
-
Totale set di dati
Il numero di set di dati caricati.
-
Set di dati in errore
Il numero di set di dati in errore.
-
Produttività totale
Produttività di destinazione in Kilobyte/secondo. Ciò indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.
Dettagli sul monitoraggio Batch
È possibile visualizzare le statistiche per i gruppi di modifiche:
-
Totale set di dati
Il numero di set di dati caricati.
-
Set di dati in errore
Il numero di set di dati in errore.
-
Latenza totale
Latenza corrente del task (hh:mm:ss). Questa durata rappresenta il tempo da quando la modifica è disponibile nella sorgente, fino a quando la modifica viene applicata ed è disponibile nella destinazione o di trasferimento.
-
Produttività totale
Produttività di destinazione in Kilobyte/secondo. Ciò indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.
-
Origine
Latenza e produttività nella sorgente.
-
Destinazione
Latenza e produttività nel target.
-
Totale modifiche in arrivo
Il numero di modifiche presenti nell'origine e in attesa di essere elaborate. È possibile visualizzare quante ne sono state accumulate nell'origine e quante ne sono state applicate.
-
Totale modifiche applicate
Il numero di modifiche applicate alla destinazione o al trasferimento. È possibile visualizzare il numero di aggiunte, eliminazioni e aggiornamenti.
Visualizzazione stato e progressi
È possibile visualizzare i seguenti dettagli per ciascuna serie di dati o modifica in Set di dati:
-
Nome
Il nome del set di dati di destinazione .
-
Stato
Lo stato della tabella sarà: In coda, Caricamento in corso, Completato o Errore.
-
Avviato
L'ora di avvio del caricamento.
-
Terminato
L'ora di fine del caricamento.
-
Durata
Durata del caricamento nel formato hh:mm:ss.
-
Record
Il numero di record scritti nella destinazione durante il caricamento.
Nota informaticaQuando i set di dati di origine vengono filtrati, Record verrà sostituito dalle seguenti sezioni:
-
Record letti: Il numero di record letti dai set di dati di origine prima del filtro.
-
Record scritti (dopo il filtro): il numero di record effettivamente scritti nella destinazione dopo il filtro.
Per informazioni sul filtro dei set di dati, vedere Filtraggio di un dataset.
-
-
Messaggio
Visualizza un messaggio di errore se il caricamento non è stato elaborato correttamente.
I dati da tutte le transazioni di origine fino all'ora mostrata in Attività dati aggiornata a sono disponibili per il consumo da questa attività dati. Queste informazioni sono disponibili per un'attività di dati una volta che tutte le tabelle sono state caricate e il primo set di modifiche è stato applicato. Se si è selezionato di generare viste live, è anche possibile visualizzare quando le viste live sono state aggiornate.
Se è presente un batch di modifiche prima del completamento del caricamento iniziale, il campo Attività dati aggiornata a non verrà aggiornato fino al completamento del caricamento iniziale e all'applicazione del primo batch di modifiche. Ad esempio, ipotizziamo di stare caricando un asset di dati che contiene una serie di dati di ordini composta da 1 milione di ordini e una serie di dati di dettagli degli ordini composta da 10 milioni di dettagli sugli ordini. I set di dati richiederanno rispettivamente 10 e 20 minuti per eseguire un caricamento completo, rispettivamente. Il set di dati degli ordini viene caricato per primo, seguito dai dettagli degli ordini. Mentre il set di dati degli ordini si stava caricando, è stato inserito un nuovo ordine. Pertanto, quando vengono caricati i dettagli degli ordini, essa può contenere dettagli del nuovo ordine, che non esiste ancora nel set di dati degli ordini. Solo dopo l'applicazione del primo lotto di modifiche, l'ordine e le serie di dati con i dettagli dell'ordine saranno sincronizzati e completamente aggiornati allo stesso tempo.
Visualizzazione delle informazioni dettagliate
È possibile visualizzare le informazioni dettagliate sul livello dell'istruzione SQL.
-
Selezionare i set di dati da montorare in modo dettagliato.
-
Fare clic su Monitora dettagli.
Viene visualizzato Monitora dettagli, ed è possibile vedere i comandi che vengono eseguiti per ogni fase del processo di caricamento o di modifica. È possibile fare clic su un comando per visualizzare le istruzioni SQL complete che sono state eseguite.
-
Fare clic su Esporta in CSV per esportare un file di testo con le istruzioni SQL complete per tutti i comandi elencati.
Attività dati aggiornata a per le visualizzazioni
Il campo Attività dati aggiornata a mostra l'ora in cui è stata aggiornata la visualizzazione meno recente.
-
Viste standard
Il campo Attività dati aggiornata a mostra l'ora in cui è stata aggiornata la visualizzazione standard meno recente.
Ad esempio, supponiamo che un'attività abbia due tabelle, Ordini e Dettagli ordine. Gli Ordini vengono aggiornati alle 10:01 e includono i record dalle 10:00 alle 10:01, mentre Dettagli ordine include solo gli ordini delle 10:00. In questo caso, l'attività dati viene aggiornata alle 10:00. Questa non deve essere confusa con l'ora di inizio e di fine del caricamento dell'attività dati, che può essersi svolta dalle 10:02 alle 10:03.
-
Visualizzazioni live (attività dati di archiviazione)
Le attività dati vengono aggiornate in modo da visualizzare l'ora in cui è stata aggiornata la visualizzazione live meno recente.
Ad esempio, supponiamo che un'attività abbia una tabella Ordini. Gli ordini in trasferimento vengono aggiornati alle 10:01 e includono i record dalle 10:00 alle 10:01, mentre gli ordini in archiviazione vengono aggiornati solo per includere i record delle 10:00. In questo caso, le visualizzazioni live per gli Ordini vengono aggiornati alle 10:01 e le visualizzazioni standard vengono aggiornate alle 10:00.
Visualizzazione della cronologia delle esecuzioni
È possibile visualizzare la cronologia delle esecuzioni di un'attività per identificare le cause principali e comprendere i pattern nel tempo.
-
Fare clic su Cronologia esecuzioni nella vista Monitoraggio di un'attività.
-
Fare clic su Cronologia esecuzioni nel menu ... di un'attività in Viste di monitoraggio.
Nella cronologia delle esecuzioni vengono visualizzate fino a 100 esecuzioni in base alle selezioni dei filtri. Affinare i criteri di filtro per visualizzare altre esecuzioni. È possibile filtrare in base alla data di fine dell'esecuzione e allo stato dell'attività. Le informazioni sulle esecuzioni vengono conservate per 13 mesi. I metadati del set di dati nelle esecuzioni vengono conservati per 30 giorni.