Monitoraggio di un singolo task di dati | Guida di Qlik Cloud
Vai al contenuto principale Passa a contenuto complementare

Monitoraggio di un singolo task di dati

È possibile monitorare lo stato e l'avanzamento dei task di dati selezionando Monitora dal menu a discesa in alto a sinistra nella finestra del task di dati.

È inoltre possibile creare viste di monitoraggio per monitorare diversi task di dati. Per ulteriori informazioni, vedere Monitoraggio e gestione delle attività dati.

Panoramica generale del monitoraggio

La vista di monitoraggio è disponibile per tutti i tipi di task e consente di tracciare lo stato e le metriche del task:

  • Schede

    Passare tra le schede disponibili — come Info, Caricamento completo e Elaborazione delle modifiche, Batch o Streaming — a seconda del tipo di task. Per i dettagli su ciascuna scheda, vedere la sezione del task pertinente di seguito.

  • Filtro di stato del dataset

    Un grafico a barre sopra la tabella dei dataset mostra quanti dataset si trovano in ciascuno stato: In coda, In caricamento, Completato ed Errore. Il grafico viene aggiornato dinamicamente al variare degli stati dei dataset. Fare clic su un segmento di stato per filtrare la tabella dei dataset in modo da mostrare solo i dataset in tale stato.

  • Nascondi widget

    Fare clic su Nascondi widget per comprimere i widget delle metriche. Ciò offre più spazio per visualizzare la tabella dei dataset sottostante.

  • Data di inizio

    La data e l'ora in cui è avviata l'esecuzione del task corrente.

  • Data di fine

    La data e l'ora in cui è terminata l'esecuzione del task. Viene visualizzata solo per le esecuzioni di task terminate.

  • Cronologia esecuzioni

    Fare clic su Cronologia esecuzioni per visualizzare un elenco delle esecuzioni precedenti del task e i relativi risultati.

Monitoraggio dei task di spostamento dei dati

Le opzioni di monitoraggio disponibili sono determinate sia dal tipo di task che dal tipo di connettore. Poiché alcuni connettori non supportano CDC (ad esempio, Epicor), le opzioni di monitoraggio rilevanti per CDC non verranno mostrate per tali connettori. Allo stesso modo, poiché alcuni connettori non supportano il caricamento completo (ad esempio, i connettori in anteprima), le opzioni di monitoraggio rilevanti per il caricamento completo non verranno mostrate per tali connettori.

Caso d'uso della pipeline di dati: task di trasferimento

Tutti i task di trasferimento devono iniziare con un caricamento completo dei dati sorgente nella destinazione. Una volta completato il caricamento completo iniziale, i dati di destinazione vengono aggiornati con le modifiche apportate ai dati sorgente. Questa operazione può essere eseguita utilizzando Ricarica e confronta o Change data capture (CDC) in base alla definizione del task.

Per ulteriori informazioni sui task di trasferimento, vedere Trasferimento dei dati dalle sorgenti dati.

Caso d'uso di replica: task "Replicate data"

I task "Replicate data" di solito iniziano con un caricamento completo dei dati sorgente nella destinazione. La tabella seguente riassume i casi d'uso del caricamento completo.

Caso d'uso Caricamento completo
Replica da applicazioni SaaS a cui si accede tramite connettori Lite Richiesto
Replica da applicazioni SaaS a cui si accede tramite connettori in anteprima. Non pertinente in quanto i connettori in anteprima non supportano il caricamento completo.
Replica da database Opzionale

Durante la replica da database, se i dati sorgente esistono già nella destinazione e si desidera applicare solo le modifiche della sorgente alla destinazione (o memorizzarle per applicarle in un secondo momento), la modalità di replica può essere Applica modifiche, Memorizza modifiche o entrambe. Entrambe queste modalità di replica sono mostrate nel monitoraggio CDC.

Per ulteriori informazioni sui task "Replicate data", vedere i seguenti argomenti:

Replica di dati con una sottoscrizione Standard, Premium o Enterprise

Replica dei dati con una sottoscrizione a Avvio Qlik Talend Cloud

Caso d'uso di replica: task "Trasferimento dati nel data lake"

I task "Trasferimento dati nel data lake" sono simili ai task di trasferimento in quanto devono iniziare con un caricamento completo. Una volta completato il caricamento completo iniziale, i dati di destinazione vengono aggiornati con le modifiche apportate ai dati sorgente. Questa operazione può essere eseguita utilizzando Ricarica o Change data capture (CDC). Nonostante la loro somiglianza con i task di trasferimento, i task "Trasferimento dati nel data lake" sono considerati task di replica in quanto consistono solo nella replica da sorgente a destinazione. Non offrono la possibilità di manipolare ulteriormente i dati a valle (ad esempio, utilizzando trasformazioni e data mart), che è invece disponibile in una pipeline di dati.

Nota informaticaI passaggi per la creazione di un task "Trasferimento dati nel data lake" separato non sono pertinenti con un abbonamento Avvio Qlik Talend Cloud. Con un abbonamento Avvio Qlik Talend Cloud, la replica verso destinazioni di archiviazione cloud viene eseguita tramite un task "Replicate data" standard.

Per ulteriori informazioni sui task "Trasferimento dati nel data lake", vedere Trasferimento dei dati in un data lake con una sottoscrizione Standard, Premium o Enterprise.

Dettagli di monitoraggio

Sono disponibili i seguenti dettagli di monitoraggio:

  • Info

  • Caricamento completo

  • Elaborazione delle modifiche

  • Streaming

    Disponibile solo per i task di trasferimento in streaming.

Dettagli di monitoraggio Info

È possibile visualizzare informazioni generali sul task, l'ID esecuzione e quando i dati sono stati aggiornati. Per i task CDC, in questa scheda sono disponibili anche le informazioni sulla pianificazione.

Dettagli di monitoraggio Caricamento completo

Nota informaticaLe informazioni di monitoraggio del caricamento completo non vengono mostrate per i task definiti con un connettore in anteprima dell'applicazione SaaS. I connettori in anteprima sono indicati da un pulsante Immagine del pulsante Anteprima, sia nella finestra di dialogo Crea connessione che nella guida online.

È possibile visualizzare le seguenti statistiche per il task di dati in Caricamento completo:

  • Dataset totali

    Il numero di dataset caricati.

  • Dataset in errore

    Il numero di dataset in errore.

  • Latenza totale

    Latenza corrente del task (hh:mm:ss). Questa durata rappresenta il tempo che intercorre tra la disponibilità della modifica nella sorgente e l'applicazione e disponibilità della modifica nella destinazione o nel trasferimento.

  • Throughput totale

    Throughput di destinazione in Kilobyte/secondo. Indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.

È possibile visualizzare i seguenti dettagli per ciascun dataset nel task di dati:

  • Nome

    Il nome del dataset di destinazione.

  • Stato

    Lo stato della tabella sarà uno dei seguenti: In coda, In caricamento, Completato o Errore.

  • Avviato

    L'ora in cui è iniziato il caricamento.

  • Terminato

    L'ora in cui è terminato il caricamento.

  • Durata

    Durata del caricamento nel formato hh:mm:ss.

  • Record

    Il numero di record scritti nella destinazione durante il caricamento.

    Nota informatica

    Quando i dataset sorgente sono filtrati, Record verrà sostituito con le seguenti sezioni:

    • Record letti: il numero di record letti dai dataset sorgente prima del filtraggio.

    • Record scritti (dopo il filtraggio): il numero di record effettivamente scritti nella destinazione dopo il filtraggio.

    Per informazioni sul filtraggio dei dataset, vedere Filtrazione di una serie di dati.

  • Messaggio

    Mostra un messaggio di errore se il caricamento non è stato elaborato correttamente.

Dettagli di monitoraggio Elaborazione delle modifiche

Elaborazione delle modifiche mostra il numero di modifiche applicate a tutte le tabelle durante l'ultima esecuzione CDC o durante l'esecuzione corrente se non è ancora stata completata. Per vedere il numero di modifiche applicate ai singoli dataset dall'avvio del task, vedere la tabella Dataset.

È possibile visualizzare le seguenti statistiche sull'elaborazione delle modifiche:

  • Dataset totali

    Il numero di dataset caricati.

  • Dataset in errore

    Il numero di dataset in errore.

  • Latenza totale

    Latenza corrente del task (hh:mm:ss). Questa durata rappresenta il tempo che intercorre tra la disponibilità della modifica nella sorgente e l'applicazione e disponibilità della modifica nella destinazione o nel trasferimento.

  • Throughput totale

    Throughput di destinazione in Kilobyte/secondo. Indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.

  • Modifiche in entrata totali

    Il numero di modifiche presenti nella sorgente e in attesa di essere elaborate. È possibile visualizzare quante sono accumulate nella sorgente e quante sono in fase di applicazione.

  • Modifiche applicate totali

    Il numero di modifiche applicate alla destinazione o al trasferimento. È possibile visualizzare il numero di aggiunte, eliminazioni e aggiornamenti.

È possibile visualizzare i seguenti dettagli per ciascuna tabella nel task di dati:

Nota informaticaLe colonne Inserimenti, Aggiornamenti e Eliminazioni non vengono mostrate per i task definiti con un connettore in anteprima dell'applicazione SaaS. I connettori in anteprima sono indicati da un pulsante Immagine del pulsante Anteprima, sia nella finestra di dialogo Crea connessione che nella guida online.
  • Nome

    Il nome della tabella di destinazione nell'asset di trasferimento.

  • Stato

    Lo stato della tabella sarà uno dei seguenti: Accumulo modifiche, Errore o Completato (per i task CDC pianificati).

  • Ultima elaborazione

    La data e l'ora in cui sono state apportate le ultime modifiche alla tabella.

  • Inserimenti, Aggiornamenti e Eliminazioni

    Nota informatica

    Quando i dataset sorgente sono filtrati, le colonne Inserimenti, Aggiornamenti e Eliminazioni verranno raggruppate come segue:

    • Letti: il numero di modifiche (inserimenti, aggiornamenti ed eliminazioni) lette dai dataset sorgente prima del filtraggio.

    • Scritti (dopo il filtraggio): il numero di modifiche (inserimenti, aggiornamenti ed eliminazioni) effettivamente scritte nella destinazione dopo il filtraggio.

    For informazioni sul filtraggio dei dataset, vedere Filtrazione di una serie di dati.

    • Inserimenti

      Il numero di operazioni di inserimento.

    • Aggiornamenti

      Il numero di operazioni di aggiornamento.

      Nota informaticaGli aggiornamenti sono gestiti come inserimenti per le sorgenti di applicazioni SaaS.
    • Eliminazioni

      Il numero di operazioni di eliminazione.

  • DML (inserimenti/aggiornamenti)

    Nota informaticaQuesta colonna viene mostrata solo per i task definiti con un connettore in anteprima dell'applicazione SaaS. I connettori in anteprima sono indicati da un pulsante Immagine del pulsante Anteprima, sia nella finestra di dialogo Crea connessione che nella guida online.
    Nota informatica

    Quando i dataset sorgente sono filtrati, le colonne Inserimenti, Aggiornamenti e Eliminazioni verranno raggruppate como segue:

    • DML letti (inserimenti/aggiornamenti): il numero di DML (inserimenti e aggiornamenti) letti dai dataset sorgente prima del filtraggio.

    • DML scritti (inserimenti/aggiornamenti): il numero di DML (inserimenti e aggiornamenti) effettivamente scritti nella destinazione dopo il filtraggio.

    For informazioni sul filtraggio dei dataset, vedere Filtrazione di una serie di dati.

  • Operazioni DDL

    Il numero di operazioni DDL

    Nota informaticaDisponibile solo per i task "Replicate data".
  • Messaggio

    Mostra un messaggio di errore se le modifiche alla tabella non riescono e non vengono elaborate.

Se si stanno trasferendo dati da una sorgente on-premise e si è scelta la modalità Caricamento completo, le tabelle verranno ricaricate automaticamente all'avvio dell'asset di trasferimento tramite Esegui.

Se si stanno trasferendo dati da una sorgente on-premise e si è scelta la modalità Caricamento completo e CDC, le tabelle verranno continuamente aggiornate con nuovi dati dopo il caricamento completo iniziale.

Ricaricamento delle tabelle selezionate

È possibile ricaricare manualmente le tabelle selezionate dalla sorgente. Ciò è utile quando si desidera ripristinare singole tabelle con errori. Il ricaricamento delle tabelle non influirà sulla sequenza temporale CDC, che viene reimpostata se si utilizza Ricrea tabelle. Le modifiche ai metadati non vengono propagate quando si ricaricano le tabelle.

  • Per ricaricare le tabelle selezionate, selezionare le tabelle nella metà inferiore di Monitora e fare clic su Ricarica tabelle.

    Sono necessarie le stesse autorizzazioni richieste per eseguire il task di dati, ovvero il ruolo Proprietario o Può operare.

Ricarica tabelle è disponibile dopo la prima esecuzione del task di dati. Se il metodo di aggiornamento è Ricarica e confronta, Ricarica tabelle non è disponibile quando il task di dati è in esecuzione.

I task di dati di archiviazione a valle verranno sincronizzati alla successiva esecuzione. Se il task di archiviazione ha la cronologia abilitata, questa verrà mantenuta.

Se non è possibile eseguire il ripristino ricaricando le tabelle, il passaggio successivo consiste nel riparare il task di dati.

Ricaricamento di tutte le tabelle nella destinazione

È possibile ricaricare tutte le tabelle nella destinazione se si riscontrano problemi CDC che non possono essere risolti ricaricando tabelle specifiche. Esempi di problemi sono eventi mancanti, problemi causati dalla riorganizzazione del database sorgente o errori durante la lettura degli eventi del database sorgente.

Nota informaticaQuesta operazione è disponibile solo per i task con il metodo di aggiornamento Change data capture (CDC) e che sono stati eseguiti almeno una volta.

  1. Interrompere l'attività dati e tutte le attività che la utilizzano.
  2. Aprire l'attività dati e selezionare la scheda Monitora.

  3. Fare clic su ..., quindi su Ricarica destinazione.

Questa opzione avvia la ricarica di tutte le tabelle nella destinazione utilizzando la funzione Rilascia-Crea, quindi riavvia tutte le attività di acquisizione dati di modifica da zero.

  • Le attività di archiviazione che utilizzano l'attività dati di trasferimento verranno ricaricate mediante il confronto e applicate alla successiva esecuzione per la sincronizzazione. La cronologia esistente viene mantenuta. La cronologia di Tipo 2 verrà aggiornata per riflettere le modifiche dopo l'esecuzione del processo di ricaricamento e confronto.

    Il timestamp per la data di inizio nella cronologia di Tipo 2 rifletterà la data di ricaricamento, e non necessariamente la data in cui la modifica è stata portata nella sorgente.

  • Le visualizzazioni live per l'archiviazione non sono affidabili durante l'operazione di ricaricamento della destinazione e fino a quando l'archiviazione è sincronizzata. L'archiviazione verrà completamente sincronizzata nei seguenti casi:

    • Tutte le tabelle vengono ricaricate utilizzando le funzioni di confronto e applicazione.

    • Un ciclo di modifiche viene eseguito per ogni tabella.

Monitoraggio dei task di archiviazione, trasformazione, data mart, mirror, e knowledge mart

È possibile monitorare lo stato e l'avanzamento di un task di archiviazione, trasformazione, data mart, mirror, o knowledge mart.

Sono disponibili i seguenti dettagli di monitoraggio:

  • Info

  • Caricamento completo

  • Batch

Dettagli di monitoraggio Info

È possibile visualizzare informazioni generali sul task, l'ID esecuzione e quando i dati sono stati aggiornati.

Dettagli di monitoraggio Caricamento completo

Nota informaticaLe informazioni di monitoraggio del caricamento completo non vengono mostrate per i task definiti con un connettore in anteprima dell'applicazione SaaS. I connettori in anteprima sono indicati da un pulsante Immagine del pulsante Anteprima, sia nella finestra di dialogo Crea connessione che nella guida online.

È possibile visualizzare le seguenti statistiche per il task di dati in Caricamento completo:

  • Dataset totali

    Il numero di dataset caricati.

  • Dataset in errore

    Il numero di dataset in errore.

  • Throughput totale

    Throughput di destinazione in Kilobyte/secondo. Indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.

Dettagli di monitoraggio Batch

È possibile visualizzare le statistiche per i batch di modifiche:

  • Dataset totali

    Il numero di dataset caricati.

  • Dataset in errore

    Il numero di dataset in errore.

  • Latenza totale

    Latenza corrente del task (hh:mm:ss). Questa durata rappresenta il tempo che intercorre tra la disponibilità della modifica nella sorgente e l'applicazione e disponibilità della modifica nella destinazione o nel trasferimento.

  • Throughput totale

    Throughput di destinazione in Kilobyte/secondo. Indica la velocità con cui i record di modifica vengono caricati nell'endpoint di destinazione.

  • Sorgente

    Latenza e throughput nella sorgente.

  • Destinazione

    Latenza e throughput nella destinazione.

  • Modifiche in entrata totali

    Il numero di modifiche presenti nella sorgente e in attesa di essere elaborate. È possibile visualizzare quante sono accumulate nella sorgente e quante sono in fase di applicazione.

  • Modifiche applicate totali

    Il numero di modifiche applicate alla destinazione o al trasferimento. È possibile visualizzare il numero di aggiunte, eliminazioni e aggiornamenti.

Visualizzazione dello stato e dell'avanzamento

È possibile visualizzare i seguenti dettagli per ciascun dataset o modifica in Dataset:

  • Nome

    Il nome del dataset di destinazione.

  • Stato

    Lo stato della tabella sarà uno dei seguenti: In coda, In caricamento, Completato o Errore.

  • Avviato

    L'ora in cui è iniziato il caricamento.

  • Terminato

    L'ora in cui è terminato il caricamento.

  • Durata

    Durata del caricamento nel formato hh:mm:ss.

  • Record

    Il numero di record scritti nella destinazione durante il caricamento.

    Nota informatica

    Quando i dataset sorgente sono filtrati, Record verrà sostituito con le seguenti sezioni:

    • Record letti: il numero di record letti dai dataset sorgente prima del filtraggio.

    • Record scritti (dopo il filtraggio): il numero di record effettivamente scritti nella destinazione dopo il filtraggio.

    Per informazioni sul filtraggio dei dataset, vedere Filtrazione di una serie di dati.

  • Messaggio

    Mostra un messaggio di errore se il caricamento non è stato elaborato correttamente.

I dati di tutte le transazioni sorgente fino all'ora mostrata in Il task di dati è aggiornato a sono disponibili per l'utilizzo da questo task di dati. Questa informazione è disponibile per un task di dati una volta caricate tutte le tabelle e applicata la prima serie di modifiche. Se si è scelto di generare viste live, è anche possibile visualizzare quando le viste live vengono aggiornate.

Se è presente un batch di modifiche prima del completamento del caricamento iniziale, Il task di dati è aggiornato a non verrà aggiornato finché il caricamento iniziale non sarà completato e non sarà applicato il primo batch di modifiche. Ad esempio, si supponga di caricare un asset di dati che contiene un dataset di ordini contenente 1 milione di ordini e un dataset di dettagli dell'ordine contenente 10 milioni di dettagli dell'ordine. I dataset richiedono rispettivamente 10 e 20 minuti per eseguire un caricamento completo. Viene caricato prima il dataset degli ordini, seguito dal dataset dei dettagli dell'ordine. Durante il caricamento del dataset degli ordini, è stato inserito un nuovo ordine. Pertanto, quando vengono caricati i dettagli dell'ordine, questi potrebbero contenere i dettagli del nuovo ordine, che non esiste ancora nel dataset degli ordini. I dataset degli ordini e dei dettagli dell'ordine saranno sincronizzati e completamente aggiornati alla stessa ora solo dopo l'applicazione del primo batch di modifiche.

Visualizzazione di informazioni dettagliate

È possibile visualizzare informazioni dettagliate a livello di istruzione SQL.

  1. Selezionare i dataset da monitorare in dettaglio.

  2. Fare clic su Dettagli monitoraggio.

Viene visualizzato Dettagli monitoraggio ed è possibile visualizzare i comandi eseguiti per ogni passaggio del processo di caricamento o modifica. È possibile fare clic su un comando per visualizzare le istruzioni SQL complete che sono state eseguite.

  • Fare clic su Esporta in CSV per esportare un file di testo con le istruzioni SQL complete per tutti i comandi elencati.

Il task di dati è aggiornato a per le viste

Il campo Il task di dati è aggiornato a mostra l'ora a cui è aggiornata la vista più vecchia.

  • Il task di dati è aggiornato a mostra l'ora a cui è aggiornata la vista standard più vecchia.

    Ad esempio, si supponga che un task abbia due tabelle, Orders e Order details. Orders è aggiornata alle 10:01 con i record delle 10:00 e delle 10:01, mentre Order details ha solo i record delle 10:00. In questo caso, il task di dati è aggiornato alle 10:00. Questo non deve essere confuso con gli orari di inizio e fine del caricamento del task di dati, che potrebbero essere dalle 10:02 alle 10:03.

  • Il task di dati è aggiornato a mostra l'ora a cui è aggiornata la vista live più vecchia.

    Ad esempio, si supponga che un task abbia una tabella Orders. Orders nel trasferimento è aggiornata alle 10:01 con i record delle 10:00 e delle 10:01, ma Orders nell'archiviazione è aggiornata solo ai record delle 10:00. In questo caso, le viste live di Orders sono aggiornate alle 10:01 e le viste standard sono aggiornate alle 10:00.

Visualizzazione della cronologia delle esecuzioni

È possibile visualizzare la cronologia delle esecuzioni di un'attività per identificare le cause principali e comprendere i pattern nel tempo.

  • Fare clic su Cronologia esecuzioni nella vista Monitoraggio di un'attività.

  • Fare clic su Cronologia esecuzioni nel menu ... di un'attività in Viste di monitoraggio.

Nella cronologia delle esecuzioni vengono visualizzate fino a 100 esecuzioni in base alle selezioni dei filtri. Affinare i criteri di filtro per visualizzare altre esecuzioni. È possibile filtrare in base alla data di fine dell'esecuzione e allo stato dell'attività. Le informazioni sulle esecuzioni vengono conservate per 13 mesi. I metadati del set di dati nelle esecuzioni vengono conservati per 30 giorni.

Hai trovato utile questa pagina?

Se riscontri problemi con questa pagina o con il suo contenuto – un errore di battitura, un passaggio mancante o un errore tecnico – ti pregiamo di farcelo sapere!