Monitoraggio di un'attività dati individuale
È possibile monitorare lo stato e l'avanzamento delle attività dati selezionando Monitora dal menu a comparsa nell'angolo in alto a sinistra della finestra dell'attività dati.
È possibile anche creare viste di monitoraggio per monitorare diverse attività dati. Per ulteriori informazioni, vedere Monitoraggio e gestione di attività dati.
Monitoraggio delle attività di trasferimento e replica
Il processo di monitoraggio per le attività di trasferimento e replica è simile, poiché in entrambi i casi è possibile monitorare sia il caricamento iniziale che il processo CDC, sebbene vi siano delle alcune differenze notevoli dovute ai casi di utilizzo contrapposti.
-
Caso di utilizzo per le pipeline di dati: attività di trasferimento
Tutte le attività di trasferimento devono iniziare con un caricamento completo dei dati della sorgente nella destinazione. Una volta che il caricamento completo inziale viene completato, i dati della destinazione vengono aggiornati con le modifiche ai dati della sorgente. Questa operazione può essere completata utilizzando Ricaricamento e confronto o Change Data Capture (CDC), a seconda della definizione dell'attività.
Per maggiori informazioni sulle attività di trasferimento, vedere Trasferimento dati da sorgenti dati.
-
Caso di utilizzo per la replica: le attività "Replica dati"
Le attività di "replica dati" di norma iniziano con un caricamento completo dei dati della sorgente nella destinazione. Questa operazione è necessaria quando si effettua la replica da un'applicazione SaaS, ma è facoltativa quando si effettua la replica da un database. Quando si effettua la replica da un database, se i dati della sorgente esistono già nella destinazione e nella destinazione si desidera unicamente applicare le modifiche alla sorgente (o archiviarle per applicarle successivamente), la modalità di replica può essere Applica modifiche, Archivia modifiche o entrambe. Queste due modalità di modalità di replica sono visualizzate nel monitoraggio delle operazioni CDC.
Per maggiori informazioni, nelle attività di "Replica dati", vedere i seguenti argomenti:
Replica di dati con una sottoscrizione Standard, Premium o Enterprise
Replica dei dati con una sottoscrizione Avvio Qlik Talend Cloud
-
Caso di utilizzo per la replica: le attività "Trasferisci dati su data lake"
Le attività "Trasferisci dati su data lake" sono simili a quelle di trasferimento poiché entrambe devono iniziare con un caricamento completo. Una volta che il caricamento completo inziale viene completato, i dati della destinazione vengono aggiornati con le modifiche ai dati della sorgente. Questa operazione può essere completata utilizzando Ricarica o Change Data Capture (CDC). Nonostante siano molto simili alle attività di trasferimento, però, le attività "Trasferisci dati su data lake" sono considerate attività di replica, poiché sono composte esclusivamente dalla replica da sorgente a destinazione. Non offrono la possibilità di manipolare ulteriormente i dati a valle (ad esempio, utilizzando trasformazioni e data mart), opzione che invece è disponibile in una pipeline di dati.
Nota informaticaI passi per creare un'attività "Trasferisci dati nel data lake" separata non sono rilevanti con una sottoscrizione Avvio Qlik Talend Cloud. Con una sottoscrizione Avvio Qlik Talend Cloud, la replica su destinazioni di archiviazione cloud viene completata tramite un'attività standard "Replica dati" standard.Per maggiori informazioni sulle attività "Trasferisci dati su data lake", vedere Trasferimento dei dati in un data lake con una sottoscrizione Standard, Premium o Enterprise.
Dettagli sul monitoraggio
È possibile visualizzare i seguenti dettagli per l'attività dati in stato di Caricamento completo:
-
In coda: il numero di tabelle attualmente in coda.
-
Caricamento in corso: il numero di tabelle attualmente in corso di caricamento.
-
Completato: il numero di tabelle completato.
-
Errore: il numero di tabelle in errore.
È possibile visualizzare i seguenti dettagli per ciascuna tabella nell'attività dati:
-
Nome
Il nome della tabella di destinazione.
-
Stato
Lo stato della tabella sarà: In coda, Caricamento in corso, Completato o Errore.
-
Avviato
L'ora di avvio del caricamento.
-
Terminato
L'ora di fine del caricamento.
-
Durata
Durata del caricamento del file nel formato hh:mm:ss.
-
Record
Il numero di record è stato replicato durante il caricamento.
-
Modifiche salvate nella cache
Il numero di modifiche salvate nella cache.
-
Messaggio
Visualizza un messaggio di errore se il caricamento non è stato elaborato correttamente.
Dettagli di monitoraggio di Change data capture (CDC)
È possibile visualizzare i dettagli seguenti del CDC per l'attività dati per monitorare l'elaborazione delle modifiche in Stato CDC:
-
Modifiche in arrivo: il numero di modifiche presenti alla fonte e in attesa di essere elaborate. È possibile visualizzare quante ne sono state accumulate e quante ne sono stati applicate.
-
Modifiche elaborate: il numero di modifiche che sono state elaborate e applicate (nelle ultime 24 ore).
-
Produttività: produttività media di destinazione in kilobyte/secondo. Ciò indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.
-
Latenza: latenza corrente dell'asset di dati (hh:mm:ss). Questa durata rappresenta il tempo da quando la modifica è disponibile nella sorgente, fino a quando la modifica viene applicata ed è disponibile nell'asset di destinazione o di trasferimento.
È possibile visualizzare i seguenti dettagli per ciascuna tabella nell'attività dati:
-
Nome
Il nome della tabella di destinazione nell'asset di trasferimento.
-
Stato
Lo stato della tabella sarà: Accumulo modifiche o Errore.
-
Ultima elaborazione
La data e l'ora in cui sono state apportate le ultime modifiche alla tabella.
-
Inserimenti
Il numero di operazioni di inserimento.
-
Aggiornamenti
Il numero di operazioni di aggiornamento.
Nota informaticaGli aggiornamenti sono gestiti come inserimenti per le sorgenti di applicazioni SaaS. -
Eliminazioni
Il numero di operazioni di eliminazione.
-
Operazioni DDL
Il numero di operazioni DDL
Nota informaticaDisponibile solo per le attività "Replica dati". -
Messaggio
Visualizza un messaggio di errore se le modifiche alla tabella non riescono e non vengono elaborate.
Se si stanno trasferendo dati da una sorgente locale e si sceglie la modalità di Caricamento completo, le tabelle verranno ricaricate automaticamente quando l'asset di trasferimento è Eseguito.
Se si stanno trasferendo dati da una sorgente locale e si sceglie la modalità Caricamento completo e CDC, le tabelle verranno continuamente aggiornate con nuovi dati dopo il caricamento completo iniziale.
Ricaricamento di tabelle selezionate
È possibile ricaricare manualmente le tabelle selezionate dalla sorgente. Ciò è utile se si vuole recuperare tabelle singole con un errore. Il ricaricamento di tabelle non influirà sulla sequenza temporale di CDC, che si ripristina se si utilizza Ricrea tabelle. Le modifiche ai metadati non si propagano quando si ricaricano le tabelle.
-
Per ricaricare le tabelle selezionate, selezionare le tabelle nella metà inferiore di Monitora e fare clic su Ricarica tabelle.
Sono necessarie le stesse autorizzazioni richieste per eseguire l'attività dati, ovvero il ruolo Proprietario o Può azionare.
Ricarica tabelle è disponibile dopo la prima esecuzione dell'attività dati. Se il metodo di aggiornamento è Ricaricamento e confronto, Ricarica tabelle non è disponibile quando l'attività dati è in esecuzione.
Le attività dati di archiviazione a valle saranno sincronizzate alla loro esecuzione successiva. Se la cronologia è abilitata nell'attività di archiviazione, essa sarà mantenuta.
Non è possibile recuperare i dati ricaricando le tabelle; quindi il passo successivo è riparare le attività dati.
Ricaricamento di tutte le tabelle nella destinazione
Se si riscontrano problemi con la funzione CDC che non è possibile risolvere ricaricando tabelle specifiche, è possibile ricaricare tutte le tabelle sulla destinazione. Gli esempi dei problemi includono eventi mancanti, problemi causati dalla riorganizzazione del database di origine o un errore durante la lettura degli eventi del database di origine.
- Interrompere l'attività dati e tutte le attività che la utilizzano.
-
Aprire l'attività dati e selezionare la scheda Monitora.
-
Fare clic su ..., quindi su Ricarica destinazione.
Questa opzione avvia la ricarica di tutte le tabelle nella destinazione utilizzando la funzione Rilascia-Crea, quindi riavvia tutte le attività di acquisizione dati di modifica da zero.
-
Le attività di archiviazione che utilizzano l'attività dati di trasferimento verranno ricaricate mediante il confronto e applicate alla successiva esecuzione per la sincronizzazione. La cronologia esistente viene mantenuta. La cronologia di Tipo 2 verrà aggiornata per riflettere le modifiche dopo l'esecuzione del processo di ricaricamento e confronto.
Il timestamp per la data di inizio nella cronologia di Tipo 2 rifletterà la data di ricaricamento, e non necessariamente la data in cui la modifica è stata portata nella sorgente.
-
Le visualizzazioni live per l'archiviazione non sono affidabili durante l'operazione di ricaricamento della destinazione e fino a quando l'archiviazione è sincronizzata. L'archiviazione verrà completamente sincronizzata nei seguenti casi:
-
Tutte le tabelle vengono ricaricate utilizzando le funzioni di confronto e applicazione.
-
Un ciclo di modifiche viene eseguito per ogni tabella.
-
Monitoraggio delle attività di archiviazione, trasformazione e data mart
È possibile monitorare lo stato e l'avanzamento di un'attività di archiviazione, trasformazione o data mart.
-
Quando è in esecuzione il primo caricamento, è possibile visualizzare i progressi in Stato caricamento completo.
-
Durante l'elaborazione delle modifiche, è possibile visualizzare lo stato e l'avanzamento del Lotto corrente di modifiche.
-
Una volta elaborate le modifiche, è possibile visualizzare lo stato e l'avanzamento nell'Ultimo lotto di modifiche.
Nella parte inferiore di Monitora è possibile visualizzare lo stato e l'avanzamento di ciascun set di dati.
È possibile anche visualizzare le informazioni dettagliate sul livello dell'istruzione SQL.
Visualizzazione stato e progressi
È possibile visualizzare i seguenti dettagli per ciascun set di dati o modifica:
-
Stato
Mostra lo stato corrente di questa tabella o modifica.
-
Completato - il caricamento o la modifica sono stati completati correttamente.
-
Caricamento - la tabella o il cambiamento sono in elaborazione.
-
In coda - la tabella o il cambiamento è in attesa di essere elaborato
-
Errore - si è verificato un errore durante l'elaborazione della tabella o del cambiamento.
-
-
Avviato
L'ora di avvio del caricamento o dell'elaborazione delle modifiche.
-
Terminato
L'ora di fine del caricamento o dell'elaborazione delle modifiche.
-
Durata
La durata del caricamento o dell'elaborazione delle modifiche nel formato hh:mm:ss.
-
Record elaborati
Il numero di record elaborati nel caricamento o nella modifica.
-
Produttività (record/secondo)
La produttività non viene aggiornata fino al termine del caricamento.
-
Messaggio
Visualizza un messaggio di errore se il caricamento o il cambiamento non è stato elaborato correttamente.
I set di dati verranno aggiornati continuamente con nuovi dati mano a mano che l'area di trasferimento verrà aggiornata dall'attività di replica. Ciascun lotto si riferisce a record da un determinato intervallo temporale. È possibile visualizzare l'intervallo temporale del lotto più recente in Ultimo lotto di modifiche.
I dati da tutte le transazioni di origine fino all'ora mostrata in Attività dati aggiornata a sono disponibili per il consumo da questa attività dati. Queste informazioni sono disponibili per un'attività di dati una volta che tutte le tabelle sono state caricate e il primo set di modifiche è stato applicato. Se si è selezionato di generare viste live, è anche possibile visualizzare quando le viste live sono state aggiornate.
Se è presente un batch di modifiche prima del completamento del caricamento iniziale, il campo Attività dati aggiornata a non verrà aggiornato fino al completamento del caricamento iniziale e all'applicazione del primo batch di modifiche. Ad esempio, ipotizziamo di caricare un asset di dati che contiene un set di dati di ordini composto da 1 milione di ordini e un set di dati di dettagli degli ordini composto da 10 milioni di dettagli sugli ordini. I set di dati richiederanno rispettivamente 10 e 20 minuti per eseguire un caricamento completo, rispettivamente. Il set di dati degli ordini viene caricato per primo, seguito dai dettagli degli ordini. Mentre il set di dati degli ordini si stava caricando, è stato inserito un nuovo ordine. Pertanto, quando vengono caricati i dettagli degli ordini, essa può contenere dettagli del nuovo ordine, che non esiste ancora nel set di dati degli ordini. Solo dopo l'applicazione del primo lotto di modifiche, l'ordine e i set di dati con i dettagli dell'ordine saranno sincronizzati e completamente aggiornati allo stesso tempo.
Visualizzazione delle informazioni dettagliate
È possibile visualizzare le informazioni dettagliate sul livello dell'istruzione SQL.
-
Selezionare Caricamento completo, Lotto corrente di modifiche o Ultimo lotto di modifiche dal menu a comparsa nella parte inferiore di Monitoraggio.
-
Selezionare i set di dati da montorare in modo dettagliato.
-
Fare clic su Monitora dettagli.
Viene visualizzato Monitora dettagli, ed è possibile vedere i comandi che vengono eseguiti per ogni fase del processo di caricamento o di modifica. È possibile fare clic su un comando per visualizzare le istruzioni SQL complete che sono state eseguite.
-
Fare clic su Esporta in CSV per esportare un file di testo con le istruzioni SQL complete per tutti i comandi elencati.
Attività dati aggiornata a per le visualizzazioni
Il campo Attività dati aggiornata a mostra l'ora in cui è stata aggiornata la visualizzazione meno recente.
-
Visualizzazioni standard
Il campo Attività dati aggiornata a mostra l'ora in cui è stata aggiornata la visualizzazione standard meno recente.
Ad esempio, supponiamo che un'attività abbia due tabelle, Ordini e Dettagli ordine. Gli Ordini vengono aggiornati alle 10:01 e includono i record dalle 10:00 alle 10:01, mentre Dettagli ordine include solo gli ordini delle 10:00. In questo caso, l'attività dati viene aggiornata alle 10:00. Questa non deve essere confusa con l'ora di inizio e di fine del caricamento dell'attività dati, che può essersi svolta dalle 10:02 alle 10:03.
-
Visualizzazioni live (attività dati di archiviazione)
Le attività dati vengono aggiornate in modo da visualizzare l'ora in cui è stata aggiornata la visualizzazione live meno recente.
Ad esempio, supponiamo che un'attività abbia una tabella Ordini. Gli ordini in trasferimento vengono aggiornati alle 10:01 e includono i record dalle 10:00 alle 10:01, mentre gli ordini in archiviazione vengono aggiornati solo per includere i record delle 10:00. In questo caso, le visualizzazioni live per gli Ordini vengono aggiornati alle 10:01 e le visualizzazioni standard vengono aggiornate alle 10:00.