Archiviazione di set di dati

È possibile archiviare set di dati utilizzando un'attività dati di archiviazione. L'attività dati di archiviazione consuma i dati che sono stati trasferiti nell'area di trasferimento cloud da un'attività dati di trasferimento. Ad esempio, è possibile utilizzare le tabelle in un'app di analisi.

• È possibile progettare un'attività di dati di archiviazione quando lo stato dell'attività dati di trasferimento è almeno Pronto per la preparazione.

• È possibile preparare un'attività dati di archiviazione quando lo stato dell'attività dati di trasferimento è almeno Pronto per la preparazione.

L'attività dati di archiviazione utilizzerà la stessa modalità di funzionamento (Caricamento completo o Caricamento completo e CDC) dell'attività dati di trasferimento consumato. Le proprietà di configurazione sono diverse tra le due modalità di funzionamento, così come le opzioni di monitoraggio e controllo. Se si utilizza un'attività dati di trasferimento di destinazione cloud con solo caricamento completo, l'attività dati di archiviazione creerà visualizzazioni sulle tabelle di trasferimento al posto della generazione di tabelle fisiche.

Creazione di un'attività dati di archiviazione

È possibile creare un'attività dati di archiviazione in tre modi:

• Fare clic su ... su un'attività dati di trasferimento e selezionare Archivia dati per creare un'attività dati di archiviazione basata su questo asset di dati di trasferimento.

• In un progetto, fare clic su Crea e poi su Archivia dati. In questo caso occorrerà specificare quale attività dati di trasferimento utilizzare.

• Quando si esegue l'onboarding dei dati, viene creata un'attività di dati di archiviazione. È collegata all'attività dati di trasferimento creata anche durante l'onboarding dei dati.

  Per ulteriori informazioni, vedere Inserimento dati.

Dopo aver creato l'attività dati di archiviazione:

1. Aprire l'attività dati di archiviazione facendo clic su ... e selezionando Apri.
   L'attività dati di archiviazione viene aperta ed è possibile visualizzare in anteprima i set di dati di output in base alle tabelle dell'asset di dati di trasferimento.

2. Apportare tutte le modifiche richieste ai set di dati incluse, ad esempio trasformazioni, filtraggio dei dati o aggiunta di colonne.

   Per ulteriori informazioni, vedere Gestione dei data mart.

3. Dopo aver aggiunto le trasformazioni desiderate, è possibile convalidare i set di dati facendo clic su Convalida set di dati. Se la convalida rileva errori, correggere gli errori prima di procedere.

   Per ulteriori informazioni, vedere Convalida e regolazione dei set di dati.

4. Crea un modello di dati

   Fare clic su modello per impostare le relazioni tra i set di dati inclusi.

   Per ulteriori informazioni, vedere Creazione di un modello dati.

5. Fare clic su Prepara per preparare l'attività dati e tutti gli artefatti richiesti. Questa operazione può richiedere un po' di tempo.

   È possibile seguire l'avanzamento in Avanzamento preparazione nella parte inferiore dello schermo.

6. Quando lo stato visualizzato è Pronto per l'esecuzione, è possibile eseguire l'attività dati.

   Fare clic su Esegui.

   L'attività dati inizierà ora a creare set di dati per archiviare i dati.

Mantenimento dei dati cronologici

È possibile conservare i dati delle modifiche cronologiche di tipo 2 per ricreare facilmente i dati così come apparivano in un momento specifico. Ciò crea un archivio dati cronologici (HDS) completo.

• Sono supportate le dimensioni del tipo 2 che si modificano lentamente.

• Quando un record modificato viene unito, viene creato un nuovo record per l'archiviazione dei dati modificati, mentre il record originale rimane invariato.

• Ai nuovi record HDS viene aggiunto automaticamente un indicatore temporale, per consentire di creare analisi di tendenza e altri data mart con dati temporali.

È possibile attivare i dati cronologici facendo clic su:

• Replica con sia i dati correnti sia la cronologia dei dati precedenti in Impostazioni quando si effettua l'onboarding dei dati.

• Mantieni i record delle modifiche cronologiche e l'archivio dei record delle modifiche nella finestra di dialogo Impostazioni di un'attività di archiviazione.

I dati HDS vengono archiviati nella tabella Precedente nello schema di dati interno. È possibile utilizzare le viste della cronologia e le viste della cronologia "live", ossia in tempo reale, nello schema di dati esterno per vedere i dati storici.

• La vista della cronologia unisce i dati dalla tabella Corrente e dalla tabella Precedente. Questa vista include tutte le modifiche che sono state unite.

• La vista della cronologia live unisce i dati dalla tabella Corrente, dalla tabella Precedente e dalla tabella Modifiche. Questa vista include anche tutte le modifiche che non sono state ancora unite.

Per ulteriori informazioni, vedere Architettura del set di dati in un cloud data warehouse.

Pianificazione di un'attività di archiviazione

È possibile pianificare un'attività di archiviazione da aggiornare regolarmente.

• Se l'attività di trasferimento dei dati di input utilizza Caricamento completo e CDC, è possibile impostare unicamente un'attività basata sul tempo.

• Se l'attività di trasferimento dei dati di input utilizza Caricamento completo, è possibile impostare un'attività basata sul tempo, oppure configurare un'attività da eseguire al completamento dell'esecuzione dell'attività di input dei dati di trasferimento.

  Nota informaticaQuandosi esegue una pianificazione basata sul tempo con un'attività di trasferimento dei dati di input utilizzando Caricamento completo, tenere presente che ogni tabella completata durante il trasferimento è disponibile mentre l'attività di trasferimento è in esecuzione. Ciò consente di eseguire contemporaneamente le attività di trasferimento e archiviazione, consentendo di migliorare il tempo di caricamento totale.

Fare clic su ... su un'attività di dati e selezionare Pianificazione per creare una pianificazione. L'impostazione della pianificazione predefinita viene ereditata dalle impostazioni nel progetto dati. Per ulteriori informazioni sulle impostazioni predefinite, vedere Valori predefiniti di archiviazione. Per attivare la pianificazione, è sempre necessario impostare Pianificazione su Attiva.

Pianificazioni basate sul tempo

È possibile utilizzare una pianificazione basata sul tempo indipendentemente da tipo di trasferimento.

• Selezionare In base a un orario specifico in Avvia attività di dati.

È possibile impostare una pianificazione giornaliera, settimanale o mensile.

Pianificazioni basate su un evento

• Selezionare Al completamento di qualsiasi attività di dati di input in Avvia attività di dati.

L'attività di archiviazione verrà eseguita ogni volta che viene completata l'attività di trasferimento dei dati di input.

Monitoraggio di un'attività di archiviazione

È possibile monitorare lo stato e l'avanzamento di un'attività di archiviazione facendo clic su Monitora.

Per ulteriori informazioni, vedere Monitoraggio di un'attività dati individuale.

Risoluzione di problemi per un'attività dati di archiviazione

Quando si presentano problemi con una o più tabelle in un'attività dati di archiviazione, potrebbe essere necessario ricaricare o ricreare i dati. Per eseguire questa operazione, sono disponibili alcune opzioni. Considerare l'opzione da utilizzare nel seguente ordine:

1. È possibile ricaricare il set di dati durante il trasferimento. Il ricaricamento del set di dati al trasferimento avvierà il processo di confronto nell'archiviazione e correggerà i dati mantenendo allo stesso tempo la cronologia di tipo 2. Questa opzione dovrebbe essere presa in considerazione anche nei seguenti casi:

   • Il caricamento completo è stato eseguito molto tempo prima ed è presente un gran numero di modifiche.

   • Se il caricamento completo e i record della tabella di modifica elaborati sono stati eliminati come parte delle attività di manutenzione dell'area di trasferimento.

   Trasferimento dati da sorgenti dati

2. È possibile ricaricare i dati nell'attività dati di archiviazione.

   Se i dati cronologici sono abilitati, un ricaricamento nell'archiviazione può causarne la perdita. Se si presenta questo problema, prendere in considerazione l'opzione di ricaricare il trasferimento dalla sorgente.

   Ricaricamento di dati

3. È possibile ricreare le tabelle. Questa funzione ricrea i set di dati dalla sorgente.

   • Fare clic su ... e quindi fare clic su Ricrea tabelle. Quando si ricrea una tabella, l'attività a valle reagisce come se l'azione di troncamento e ricaricamento si fosse verificata nei set di dati di origine.

Ricaricamento di dati

È possibile eseguire il ricaricamento manuale delle tabelle. Questa funzionalità è utile quando si presentano dei problemi con una o più tabelle.

1. Aprire l'attività dati e selezionare la scheda Monitora.

2. Selezionare le tabelle che si desidera ricaricare.

3. Fare clic su Ricarica tabelle.

Il ricaricamento verrà completato all'esecuzione successiva dell'attività, e verrà eseguito nei seguenti modi:

1. Troncando le tabelle.

2. Caricando i dati di trasferimento nelle tabelle.

3. Caricando le modifiche accumulate durante il tempo di ricaricamento.

Le attività a valle verranno ricaricate per applicare le modifiche, per evitare la retrodatazione. Se un ricaricamento viene eseguito tramite troncamento e ricaricamento, anche tutti gli oggetti a valle verranno ricaricati tramite troncamento e ricaricamento.

L'impatto a valle dipende dal tipo di operazione di ricaricamento eseguita, oltre al tipo di set di dati immediato a valle. L'elaborazione standard significa che il set di dati reagirà ed elaborerà i dati utilizzando il metodo configurato per quel set di dati specifico.

• Nelle attività di trasformazione a valle:

  Le trasformazioni del set di dati vengono ricaricate tramite troncamento e caricamento.

  Le trasformazioni SQL e i flussi di trasformazione vengono ricaricati mediante il confronto con il caricamento completo e l'applicazione delle modifiche.

• Le attività data mart immediatamente successive all'attività di archiviazione vengono ricaricate mediante troncamento e caricamento.

È possibile annullare il ricaricamento per le tabelle con ricaricamento in attesa facendo clic su Annulla ricaricamento. Questa azione non avrà alcun effetto sulle tabelle che sono state già ricaricate e i ricaricamenti attualmente in esecuzione verranno completati.

Evoluzione dello schema

L'evoluzione degli schemi consente di rilevare facilmente le modifiche strutturali di più sorgenti dati e di controllare il modo in cui tali modifiche vengono applicate alla propria attività. L'evoluzione dello schema può essere utilizzata per rilevare le modifiche DDL apportate allo schema dei dati sorgente. È anche possibile applicare alcune modifiche automaticamente.

Per ogni tipo di modifica, è possibile selezionare il tipo di gestione dei cambiamenti nella sezione Evoluzione schema delle impostazioni dell'attività. È possibile applicare le modifiche, ignorarle, sospendere la tabella o arrestare l'elaborazione dell'attività.

È possibile impostare quale azione utilizzare per gestire la modifica DDL per ogni tipo di modifica. Alcune azioni non sono disponibili per tutti i tipi di cambiamento.

• Applica alla destinazione

  Applica le modifiche automaticamente.

• Ignora

  Ignora le modifiche.

• Sospendi tabella

  Sospende la tabella. La tabella verrà visualizzata come in errore in Monitora.

• Arresta attività

  Interrompe l'elaborazione dell'attività. È utile se si desidera gestire manualmente tutte le modifiche allo schema. In questo modo si interrompe anche la pianificazione, cioè le esecuzioni pianificate non vengono eseguite.

Sono supportate le seguenti modifiche:

• Aggiungi colonna

• Crea la tabella che corrisponde al modello di selezione
  

  Se si è utilizzata una Regola di selezione per aggiungere set di dati che corrispondono a un modello, le nuove tabelle che soddisfano il modello verranno rilevate e aggiunte.

Per ulteriori informazioni sulle impostazioni delle attività, vedere Evoluzione dello schema.

Limitazioni per l'evoluzione dello schema

Per l'evoluzione dello schema, si applicano le seguenti limitazioni:

• L'evoluzione dello schema è supportata solo quando si utilizza il CDC come metodo di aggiornamento.

• Una volta modificate le impostazioni di evoluzione dello schema, è necessario preparare nuovamente l'attività.

• Se si rinominano le tabelle, l'evoluzione dello schema non è supportata. In questo caso è necessario aggiornare i metadati prima di preparare l'attività.

• Se si desidera progettare un'attività, è necessario aggiornare il browser per ottenere le modifiche all'evoluzione dello schema. È possibile impostare delle notifiche per ricevere avvisi relativi alle modifiche.

• Nelle attività di trasferimento, l'eliminazione delle colonne non è supportata. L'eliminazione e l'aggiunta di una colonna genereranno un errore della tabella.

• Nelle attività di trasferimento, l'operazione di eliminazione di tabella non eliminerà la tabella. L'eliminazione e la successiva aggiunta di una tabella troncheranno solo la tabella precedente e non verrà aggiunta una nuova tabella.

• La modifica della lunghezza di una colonna non è possibile per tutte le destinazioni, a seconda del supporto del database di destinazione.

• Se il nome di una colonna viene modificato, le trasformazioni esplicite definite utilizzando quella colonna non avranno effetto, poiché si basano sul nome della colonna.

• Le limitazioni dell'opzione Aggiorna metadati si applicano anche all'evoluzione dello schema.

Durante l'acquisizione delle modifiche del DDL, si applicano le seguenti limitazioni:

• Quando si verifica una rapida sequenza di operazioni nel database di origine (ad esempio, DDL>DML>DDL), Qlik Talend Data Integration può analizzare il registro nell'ordine sbagliato, con conseguente mancanza di dati o comportamento imprevedibile. Per ridurre al minimo le possibilità che ciò accada, la prassi migliore è attendere che le modifiche vengano applicate alla destinazione prima di eseguire l'operazione successiva.

  A titolo di esempio, durante l'acquisizione delle modifiche, se una tabella di origine viene rinominata più volte in rapida successione (e la seconda operazione la rinomina con il nome originale), si può verificare un errore che indica che la tabella esiste già nel database di destinazione.

• Se si modifica il nome di una tabella utilizzata in un'attività e poi si interrompe quell'attività, Qlik Talend Data Integration non acquisirà le modifiche apportate a quella tabella dopo la ripresa dell'attività.

• La ridenominazione di una tabella di origine non è supportata quando un'attività è interrotta.

• La riallocazione delle colonne Chiave primaria di una tabella non è supportata (e quindi non verrà scritta nella tabella di controllo Cronologia DDL).
• Quando il tipo di dati di una colonna viene modificato e la (stessa) colonna viene poi rinominata durante l'interruzione dell'attività, la modifica del DDL apparirà nella tabella di controllo Cronologia DDL come "Elimina colonna", quindi come "Aggiungi colonna" una volta ripresa l'attività. Notare che lo stesso comportamento può verificarsi anche come risultato di una latenza prolungata.
• Le operazioni CREATE TABLE eseguite sulla sorgente durante l'interruzione di un'attività verranno applicate alla destinazione una volta ripresa l'attività, ma non saranno registrate come DDL nella tabella di controllo Cronologia DDL.

• Le operazioni associate alle modifiche dei metadati (come ALTER TABLE, riorganizzazione, ricreazione di un indice in cluster e così via) possono causare un comportamento imprevedibile se vengono eseguite nei seguenti casi:

  • Durante un caricamento completo

    -OPPURE-

  • Tra il timestamp Inizia a elaborare le modifiche da e l'ora corrente (cioè il momento in cui l'utente fa clic su OK nella finestra di dialogo Opzioni di esecuzione avanzate ).

    Esempio:

    IF:

    l'ora specificata per Inizia a elaborare le modifiche da sono le 10:00.

    AND:

    una colonna denominata Age (Età) è stata aggiunta alla tabella Employees (Dipendenti) alle ore 10:10.

    AND:

    l'utente fa clic su OK nella finestra di dialogo Opzioni di esecuzione avanzate alle ore 10:15.

    THEN:

    le modifiche avvenute tra le 10:00 e le 10:10 possono causare errori nel processo CDC.

  Nota informatica

  In uno dei casi sopra descritti, la tabella o le tabelle interessate devono essere ricaricate affinché i dati siano correttamente spostato nella destinazione.

• L'istruzione DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> non replica il valore predefinito nella destinazione e la colonna nuova/modificata viene impostata su NULL. Notare che questo può accadere anche se il processo DDL che ha aggiunto/modificato la colonna è stato eseguito precedentemente. Se la colonna nuova/modificata ammette i valori null, l'endpoint di origine aggiorna tutte le righe della tabella prima di registrare il DDL stesso. Di conseguenza, Qlik Talend Data Integration acquisisce le modifiche ma non aggiorna la destinazione. Poiché la colonna nuova/modificata è impostata su NULL, se la tabella di destinazione non ha una chiave primaria/un indice univoco, gli aggiornamenti successivi genereranno il messaggio "zero righe interessate".

• Le modifiche alle colonne di precisione TIMESTAMP e DATE non verranno acquisite.

Impostazioni di archiviazione

È possibile impostare le proprietà per l'attività dati di archiviazione quando la piattaforma dati è un data warehouse cloud. Se si utilizza Qlik Cloud come piattaforma dati, vedere Impostazioni di archiviazione per progetti dati con Qlik Cloud come piattaforma dati.

• Fare clic su Impostazioni.

Impostazioni generali

• Database

  Database da utilizzare nella sorgente dati.

• Schema attività

  È possibile modificare il nome dello schema dell'attività dati di archiviazione. Il nome predefinito è il nome dell'attività di archiviazione.

• Schema interno

  È possibile modificare il nome dello schema asset di dati di archiviazione interno. Il nome predefinito è il nome dell'attività di archiviazione con _internal aggiunto.

• Prefisso per tutte le tabelle e le visualizzazioni

  È possibile impostare un prefisso per tutte le tabelle e visualizzazioni create per questa attività.

  Nota informaticaSe si desidera utilizzare uno schema del database per più attività, è necessario usare un prefisso univoco.

• Cronologia

  È possibile conservare i dati delle modifiche cronologiche per ricreare facilmente i dati così come apparivano in un momento specifico. È possibile utilizzare le viste della cronologia e le viste della cronologia "live", ossia in tempo reale, per vedere i dati storici. Selezionare Mantieni i registri cronologici e l'archivio dei record delle modifiche per abilitare i dati delle modifiche cronologiche.

• Quando si confronta l'archiviazione con il trasferimento, come gestire i record che non esistono nel trasferimento?

  • Contrassegna come eliminato

    Ciò eseguirà un'eliminazione graduale dei record che non esistono nel trasferimento.

  • Mantieni

    Ciò manterrà tutti i record che non esistono nel trasferimento.

  Nota informaticaI set di dati nell'attività dati di archiviazione devono avere una serie di chiavi primarie. In caso contrario, ogni volta che i dati di trasferimento vengono ricaricati, verrà eseguito un caricamento iniziale sull'attività dati di archiviazione.

Impostazioni delle visualizzazioni

• Visualizzazioni live

  Utilizzare le visualizzazioni live per leggere le tabelle con la latenza minima.

  Per ulteriori informazioni sulle visualizzazioni live, vedere Uso delle visualizzazioni live.

  Nota informaticaLe visualizzazioni live sono meno efficienti delle visualizzazioni standard, inoltre richiedono più risorse visto che i dati applicati devono essere ricalcolati.

Impostazioni del tempo di esecuzione

• Esecuzione parallela

  È possibile impostare il numero massimo di connessioni per caricamenti completi su un numero compreso tra 1 e 5.

• Warehouse

  Nome del data warehouse cloud. Questa impostazione è applicabile solo per Snowflake.

Impostazioni Catalogo

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come un set di dati. Il contenuto del Catalogo verrà aggiornato la volta successiva che si prepara l'attività.

Per ulteriori informazioni sul Catalogo, vedere Informazioni sui dati con gli strumenti del catalogo.

Evoluzione dello schema

Selezionare come gestire i seguenti tipi di modifiche del DDL nello schema. Una volta modificate le impostazioni di evoluzione dello schema, è necessario preparare nuovamente l'attività. La tabella seguente descrive le azioni disponibili per le modifiche del DDL supportate.

Impostazioni di archiviazione per progetti dati con Qlik Cloud come piattaforma dati

È possibile impostare la cartella da utilizzare nell'archiviazione quando la piattaforma dati è Qlik Cloud come piattaforma dati.

1. Fare clic su Impostazioni.

2. Selezionare quale cartella utilizzare nell'archiviazione.

3. Fare clic su OK quando si è pronti.

Operazioni sull'attività dati di archiviazione

È possibile eseguire le seguenti operazioni su un'attività dati di archiviazione dal menu attività.

• Apri

  Apre l'attività dati di archiviazione. È possibile visualizzare la struttura della tabella e i dettagli in merito all'attività dati e monitorare lo stato per il caricamento completo e i lotti di modifiche.

• Modifica

  È possibile modificare il nome e la descrizione dell'attività e aggiungere tag.

• Elimina

  È possibile eliminare l'attività dati.

• Prepara

  Questa funzione prepara un'attività per l'esecuzione. Sono incluse le seguenti tabelle:

  • Convalida della validità della progettazione.

  • Creazione o modifica delle tabelle fisiche e delle visualizzazioni in modo che corrispondano alla progettazione.

  • Generazione del codice SQL per l'attività dati.

  • Creazione o modifica delle voci del catalogo per i set di dati di output dell'attività.

  È possibile seguire l'avanzamento in Avanzamento preparazione nella parte inferiore dello schermo.

• Convalida set di dati

  Questa funzione permette di convalidare tutti i set di dati inclusi nell'attività di dati.

  Espandere Convalida e regola per visualizzare tutti gli errori di convalida e le modifiche di progettazione.

• Ricrea tabelle

  Questa funzione ricrea i set di dati dalla sorgente. Quando si ricrea una tabella, l'attività a valle reagisce come se l'azione di troncamento e ricaricamento si fosse verificata nei set di dati di origine. Per ulteriori informazioni, vedere Risoluzione di problemi per un'attività dati di archiviazione.

• Interrompi

  È possibile interrompere il funzionamento dell'attività dati. L'attività dati non continuerà ad aggiornare le tabelle.

  Nota informaticaQuesta opzione è disponibile quando l'attività dati è in esecuzione.

• Riprendi

  È possibile riprendere il funzionamento di un'attività dati dal punto in cui è stato interrotto.

  Nota informaticaQuesta opzione è disponibile quando l'attività dati è interrotta.

• Trasforma dati

  Creare trasformazioni riutilizzabili a livello di riga basate su regole e SQL personalizzato. Ciò crea un'attività dati Trasforma.

  Trasformazione di dati

• Crea data mart

  Permette di creare un data mart per sfruttare le proprie attività di dati. Ciò crea un'attività dati Data mart.

  Creazione e gestione di data mart

Limitazioni

• Se l'attività di dati contiene set di dati e si modificano i parametri nella connessione, ad esempio nome utente, database o schema, si presume che i dati esistano nella nuova posizione. In caso contrario, è possibile:

  • Spostare i dati presenti nell'origine nella nuova posizione.

  • Creare una nuova attività dati con le stesse impostazioni.

• Non è possibile modificate le chiavi primarie nelle attività di archiviazione per i progetti con Qlik Cloud (QVD) come destinazione. Aggiornare le chiavi primarie nell'attività di trasferimento, ricreare l'attività di trasferimento, quindi ricreare l'attività di archiviazione.