Archiviazione di set di dati

È possibile archiviare set di dati utilizzando un'attività dati di archiviazione. L'attività dati di archiviazione consuma i dati che sono stati trasferiti nell'area di trasferimento cloud da un'attività dati di trasferimento. Ad esempio, è possibile utilizzare le tabelle in un'app di analisi.

• È possibile progettare un'attività di dati di archiviazione quando lo stato dell'attività dati di trasferimento è almeno Pronto per la preparazione.

• È possibile preparare un'attività dati di archiviazione quando lo stato dell'attività dati di trasferimento è almeno Pronto per la preparazione.

L'attività dati di archiviazione utilizzerà la stessa modalità di funzionamento (Caricamento completo o Caricamento completo e CDC) dell'attività dati di trasferimento consumato. Le proprietà di configurazione sono diverse tra le due modalità di funzionamento, così come le opzioni di monitoraggio e controllo. Se si utilizza un'attività dati di trasferimento di destinazione cloud con solo caricamento completo, l'attività dati di archiviazione creerà visualizzazioni sulle tabelle di trasferimento al posto della generazione di tabelle fisiche.

Creazione di un'attività dati di archiviazione

È possibile creare un'attività dati di archiviazione in tre modi:

• Fare clic su ... su un'attività dati di trasferimento e selezionare Archivia dati per creare un'attività dati di archiviazione basata su questo asset di dati di trasferimento.

• Fare clic su Aggiungi nuovo e quindi su Archivia dati. In questo caso occorrerà specificare quale attività dati di trasferimento utilizzare.

• Quando si esegue l'onboarding dei dati, viene creata un'attività di dati di archiviazione. È collegata all'attività dati di trasferimento creata anche durante l'onboarding dei dati.

  Per ulteriori informazioni, vedere Inserimento dati.

Dopo aver creato l'attività dati di archiviazione:

1. Aprire l'attività dati di archiviazione facendo clic su ... e selezionando Apri.
   L'attività dati di archiviazione viene aperta ed è possibile visualizzare in anteprima i set di dati di output in base alle tabelle dell'asset di dati di trasferimento.

2. Apportare tutte le modifiche richieste ai set di dati incluse, ad esempio trasformazioni, filtraggio dei dati o aggiunta di colonne.

   Per ulteriori informazioni, vedere Gestione dei data mart.

3. Dopo aver aggiunto le trasformazioni desiderate, è possibile convalidare i set di dati facendo clic su Convalida set di dati. Se la convalida rileva errori, correggere gli errori prima di procedere.

   Per ulteriori informazioni, vedere Convalida e regolazione dei set di dati.

4. Crea un modello di dati

   Fare clic su Modello per impostare le relazioni tra i set di dati inclusi.

   Per ulteriori informazioni, vedere Creazione di un modello dati.

5. Fare clic su Prepara per preparare l'attività dati e tutti gli artefatti richiesti. Questa operazione può richiedere un po' di tempo.

   È possibile seguire l'avanzamento in Avanzamento preparazione nella parte inferiore dello schermo.

6. Quando lo stato visualizzato è Pronto per l'esecuzione, è possibile eseguire l'attività dati.

   Fare clic su Esegui.

   L'attività dati inizierà ora a creare set di dati per archiviare i dati.

Mantenimento dei dati cronologici

È possibile conservare i dati delle modifiche cronologiche di tipo 2 per ricreare facilmente i dati così come apparivano in un momento specifico. Ciò crea un archivio dati cronologici (HDS) completo.

• Sono supportate le dimensioni del tipo 2 che si modificano lentamente.

• Quando un record modificato viene unito, viene creato un nuovo record per l'archiviazione dei dati modificati, mentre il record originale rimane invariato.

• Ai nuovi record HDS viene aggiunto automaticamente un indicatore temporale, per consentire di creare analisi di tendenza e altri data mart con dati temporali.

È possibile attivare i dati cronologici facendo clic su:

• Replica con sia i dati correnti sia la cronologia dei dati precedenti in Impostazioni quando si effettua l'onboarding dei dati.

• Mantieni i record delle modifiche cronologiche e l'archivio dei record delle modifiche nella finestra di dialogo Impostazioni di un'attività di archiviazione.

I dati HDS vengono archiviati nella tabella Precedente nello schema di dati interno. È possibile utilizzare le viste della cronologia e le viste della cronologia "live", ossia in tempo reale, nello schema di dati esterno per vedere i dati storici.

• La vista della cronologia unisce i dati dalla tabella Corrente e dalla tabella Precedente. Questa vista include tutte le modifiche che sono state unite.

• La vista della cronologia live unisce i dati dalla tabella Corrente, dalla tabella Precedente e dalla tabella Modifiche. Questa vista include anche tutte le modifiche che non sono state ancora unite.

Per ulteriori informazioni, vedere Architettura del set di dati in un cloud data warehouse.

Pianificazione di un'attività di archiviazione

È possibile pianificare un'attività di archiviazione da aggiornare regolarmente.

• Se l'attività di trasferimento dei dati di input utilizza Caricamento completo e CDC, è possibile impostare unicamente un'attività basata sul tempo.

• Se l'attività di trasferimento dei dati di input utilizza Caricamento completo, è possibile impostare un'attività basata sul tempo, oppure configurare un'attività da eseguire al completamento dell'esecuzione dell'attività di input dei dati di trasferimento.

  Nota informaticaQuandosi esegue una pianificazione basata sul tempo con un'attività di trasferimento dei dati di input utilizzando Caricamento completo, tenere presente che ogni tabella completata durante il trasferimento è disponibile mentre l'attività di trasferimento è in esecuzione. Ciò consente di eseguire contemporaneamente le attività di trasferimento e archiviazione, consentendo di migliorare il tempo di caricamento totale.

Fare clic su ... su un'attività di dati e selezionare Pianificazione per creare una pianificazione. L'impostazione della pianificazione predefinita viene ereditata dalle impostazioni nel progetto dati. Per ulteriori informazioni sulle impostazioni predefinite, vedere Valori predefiniti di archiviazione. Per attivare la pianificazione, è sempre necessario impostare Pianificazione su Attiva.

Pianificazioni basate sul tempo

È possibile utilizzare una pianificazione basata sul tempo indipendentemente da tipo di trasferimento.

• Selezionare In base a un orario specifico in Avvia attività di dati.

È possibile impostare una pianificazione giornaliera, settimanale o mensile.

Pianificazioni basate su un evento

• Selezionare Al completamento di qualsiasi attività di dati di input in Avvia attività di dati.

L'attività di archiviazione verrà eseguita ogni volta che viene completata l'attività di trasferimento dei dati di input.

Monitoraggio di un'attività di archiviazione

È possibile monitorare lo stato e l'avanzamento di un'attività di archiviazione facendo clic su Monitora.

Per ulteriori informazioni, vedere Monitoraggio di un'attività dati individuale.

Risoluzione di problemi per un'attività dati di archiviazione

Quando si presentano problemi con una o più tabelle in un'attività dati di archiviazione, potrebbe essere necessario ricaricare o ricreare i dati. Per eseguire questa operazione, sono disponibili alcune opzioni. Considerare l'opzione da utilizzare nel seguente ordine:

1. È possibile ricaricare il set di dati durante il trasferimento. Il ricaricamento del set di dati al trasferimento avvierà il processo di confronto nell'archiviazione e correggerà i dati mantenendo allo stesso tempo la cronologia di tipo 2. Questa opzione dovrebbe essere presa in considerazione anche nei seguenti casi:

   • Il caricamento completo è stato eseguito molto tempo prima ed è presente un gran numero di modifiche.

   • Se il caricamento completo e i record della tabella di modifica elaborati sono stati eliminati come parte delle attività di manutenzione dell'area di trasferimento.

   Trasferimento dati da sorgenti dati

2. È possibile ricaricare i dati nell'attività dati di archiviazione.

   Se i dati cronologici sono abilitati, un ricaricamento nell'archiviazione può causarne la perdita. Se si presenta questo problema, prendere in considerazione l'opzione di ricaricare il trasferimento dalla sorgente.

   Ricaricamento di dati

3. È possibile ricreare le tabelle. Questa funzione ricrea i set di dati dalla sorgente.

   Questa opzione dovrebbe essere presa in considerazione come ultima risorsa, poiché è necessario anche ricreare tutte le attività di dati a valle che consumano questa attività di dati.

   • Fare clic su ..., quindi fare clic su Ricrea tabelle.

Ricaricamento di dati

È possibile eseguire il ricaricamento manuale delle tabelle. Questa funzionalità è utile quando si presentano dei problemi con una o più tabelle.

1. Aprire l'attività dati e selezionare la scheda Monitora.

2. Selezionare le tabelle che si desidera ricaricare.

3. Fare clic su Ricarica tabelle.

Il ricaricamento verrà completato all'esecuzione successiva dell'attività, e verrà eseguito nei seguenti modi:

1. Troncando le tabelle.

2. Caricando i dati di trasferimento nelle tabelle.

3. Caricando le modifiche accumulate durante il tempo di ricaricamento.

Le attività a valle verranno ricaricate per applicare le modifiche, per evitare la retrodatazione. L'operazione verrà eseguita nei seguenti modi:

1. Effettuando il confronto con il ricaricamento completo e applicando le modifiche.

2. Applicando le modifiche apportate dopo il ricaricamento.

È possibile annullare il ricaricamento per le tabelle con ricaricamento in attesa facendo clic su Annulla ricaricamento. Questa azione non avrà alcun effetto sulle tabelle che sono state già ricaricate e i ricaricamenti attualmente in esecuzione verranno completati.

In alcuni casi, si consiglia invece di ricaricare il set di dati nel trasferimento:

• Se i dati cronologici sono abilitati, un ricaricamento nell'archiviazione può causarne la perdita. Il ricaricamento del set di dati al trasferimento avvierà il processo di confronto nell'archiviazione e correggerà i dati mantenendo la cronologia di tipo 2.

• Quando il caricamento completo è stato eseguito molto tempo prima ed è presente un gran numero di modifiche.

• Se il caricamento completo e i record della tabella di modifica elaborati sono stati eliminati come parte delle attività di manutenzione dell'area di trasferimento.

Impostazioni di archiviazione

È possibile impostare le proprietà per l'attività dati di archiviazione quando la piattaforma dati è un data warehouse cloud. Se si utilizza Qlik Cloud come piattaforma dati, vedere Impostazioni di archiviazione per progetti dati con Qlik Cloud come piattaforma di dati.

• Fare clic su Impostazioni.

Impostazioni generali

• Database

  Database da utilizzare nella sorgente dati.

• Schema attività dati

  È possibile modificare il nome dello schema dell'attività dati di archiviazione. Il nome predefinito è il nome dell'attività di archiviazione.

• Schema interno

  È possibile modificare il nome dello schema asset di dati di archiviazione interno. Il nome predefinito è il nome dell'attività di archiviazione con _internal aggiunto.

• Prefisso per tutte le tabelle e le visualizzazioni

  È possibile impostare un prefisso per tutte le tabelle e visualizzazioni create per questa attività.

  Nota informaticaSe si desidera utilizzare uno schema del database per più attività, è necessario usare un prefisso univoco.

• Cronologia

  È possibile conservare i dati delle modifiche cronologiche per ricreare facilmente i dati così come apparivano in un momento specifico. È possibile utilizzare le viste della cronologia e le viste della cronologia "live", ossia in tempo reale, per vedere i dati storici. Selezionare Mantieni i registri cronologici e l'archivio dei record delle modifiche per abilitare i dati delle modifiche cronologiche.

• Quando si confronta l'archiviazione con il trasferimento, come gestire i record che non esistono nel trasferimento?

  • Contrassegna come eliminato

    Ciò eseguirà un'eliminazione graduale dei record che non esistono nel trasferimento.

  • Mantieni

    Ciò manterrà tutti i record che non esistono nel trasferimento.

  Nota informaticaI set di dati nell'attività dati di archiviazione devono avere una serie di chiavi primarie. In caso contrario, ogni volta che i dati di trasferimento vengono ricaricati, verrà eseguito un caricamento iniziale sull'attività dati di archiviazione.

Impostazioni delle visualizzazioni

• Visualizzazioni live

  Utilizzare le visualizzazioni live per leggere le tabelle con la latenza minima.

  Per ulteriori informazioni sulle visualizzazioni live, vedere Uso delle visualizzazioni live.

  Nota informaticaLe visualizzazioni live sono meno efficienti delle visualizzazioni standard, inoltre richiedono più risorse visto che i dati applicati devono essere ricalcolati.

Impostazioni del tempo di esecuzione

• Esecuzione parallela

  È possibile impostare il numero massimo di connessioni dati per caricamenti completi su un numero compreso tra 1 e 5.

• Warehouse

  Nome del data warehouse cloud. Questa impostazione è applicabile solo per Snowflake.

Impostazioni di archiviazione per progetti dati con Qlik Cloud come piattaforma di dati

È possibile impostare la cartella da utilizzare nell'archiviazione quando la piattaforma dati è Qlik Cloud come piattaforma dati.

1. Fare clic su Impostazioni.

2. Selezionare quale cartella utilizzare nell'archiviazione.

3. Fare clic su OK quando si è pronti.

Operazioni sull'attività dati di archiviazione

È possibile eseguire le seguenti operazioni su un'attività dati di archiviazione dal menu attività.

• Apri

  Apre l'attività dati di archiviazione. È possibile visualizzare la struttura della tabella e i dettagli in merito all'attività dati e monitorare lo stato per il caricamento completo e i lotti di modifiche.

• Modifica

  È possibile modificare il nome e la descrizione dell'attività e aggiungere tag.

• Elimina

  È possibile eliminare l'attività dati.

• Prepara

  Questa funzione prepara un'attività per l'esecuzione. Sono incluse le seguenti tabelle:

  • Convalida della validità della progettazione.

  • Creazione o modifica delle tabelle fisiche e delle visualizzazioni in modo che corrispondano alla progettazione.

  • Generazione del codice SQL per l'attività dati.

  • Creazione o modifica delle voci del catalogo per i set di dati di output dell'attività.

  È possibile seguire l'avanzamento in Avanzamento preparazione nella parte inferiore dello schermo.

• Convalida set di dati

  Questa funzione permette di convalidare tutti i set di dati inclusi nell'attività di dati.

  Espandere Convalida e regola per visualizzare tutti gli errori di convalida e le modifiche di progettazione.

• Ricrea tabelle

  Questa funzione ricrea i set di dati dalla sorgente.

  È necessario anche ricreare tutte le attività di dati downstream che consumano questa attività di dati.

• Interrompi

  È possibile interrompere il funzionamento dell'attività dati. L'attività dati non continuerà ad aggiornare le tabelle.

  Nota informaticaQuesta opzione è disponibile quando l'attività dati è in esecuzione.

• Riprendi

  È possibile riprendere il funzionamento di un'attività dati dal punto in cui è stato interrotto.

  Nota informaticaQuesta opzione è disponibile quando l'attività dati è interrotta.

• Trasforma dati

  Creare trasformazioni riutilizzabili a livello di riga basate su regole e SQL personalizzato. Ciò crea un'attività dati Trasforma.

  Trasformazione dei dati

• Crea data mart

  Permette di creare un data mart per sfruttare le proprie attività di dati. Ciò crea un'attività dati Data mart.

  Creazione e gestione di data mart

Limitazioni

• Se l'attività di dati contiene set di dati e si modificano i parametri nella connessione, ad esempio nome utente, database o schema, si presume che i dati esistano nella nuova posizione. In caso contrario, è possibile:

  • Spostare i dati presenti nell'origine nella nuova posizione.

  • Creare una nuova attività dati con le stesse impostazioni.