Replica di dati con una sottoscrizione Standard, Premium o Enterprise

Per impostare un'attività di replica:

1. In Integrazione dati > Progetti, fare clic su Crea progetto.

2. Nella finestra di dialogo Nuovo progetto, procedere come descritto di seguito:

   1. Fornire un Nome per il progetto.
   2. Selezionare lo Spazio in cui si desidera creare il progetto.
   3. Facoltativamente, fornire una Descrizione.
   4. Selezionare Replica come Caso di utilizzo.
   5. Facoltativamente, deselezionare la casella Apri se si desidera creare un progetto vuoto senza configurare alcuna impostazione.

   6. Fare clic su Crea.

      Si verificherà uno dei seguenti eventi:

      • Se la casella di selezione Apri nella finestra di dialogo Nuovo progetto è stata selezionata (impostazione predefinita), si aprirà il progetto.
      • Se la casella Apri è stata deselezionata nella finestra di dialogo Nuovo progetto, il progetto verrà aggiunto all'elenco dei progetti. È possibile aprire il progetto in un secondo momento selezionando Apri dal menu del progetto.

3. Una volta che il progetto si apre, fare clic su Replica dati.

   Si apre la procedura guidata di Replica dati.

4. Nella scheda Generali, specificare un nome e una descrizione per l'attività di replica. Quindi, fare clic su Avanti.

5. Nella scheda Seleziona una connessione di origine, selezionare una connessione ai dati di origine. Facoltativamente, è possibile modificare le impostazioni della connessione selezionando Modifica dal menu nella colonna Azioni.

   Se non si è ancora creata una connessione alla sorgente dati, è necessario crearne una facendo clic su Crea connessione nella parte superiore destra della scheda.

   È possibile filtrare l'elenco di connessioni utilizzando i filtri a sinistra. Le connessioni possono essere filtrate in base a tipo di origine, gateway, spazio e proprietario. Il pulsante Tutti i filtri sopra l'elenco delle connessioni mostra il numero di filtri attuali. È possibile utilizzare questo pulsante per chiudere o aprire il pannello Filtri a sinistra. I filtri attualmente attivi sono anche visualizzati sopra l'elenco delle connessioni disponibili.

   È possibile inoltre ordinare l'elenco selezionando Ultima modifica, Ultimi creati o Alfabetico dall'elenco a comparsa a destra. Fare clic sulla freccia a destra dell'elenco per modificare l'ordine di ordinamento.

   Dopo aver selezionato una connessione per la sorgente dati, facoltativamente, fare clic su Prova connessione nella parte superiore destra della scheda (procedura consigliata), quindi fare clic su Avanti.

6. Nella scheda Seleziona set di dati, selezionare le tabelle e/o le viste da includere nell'attività di replica. È possibile anche utilizzare i caratteri jolly e creare regole di selezione, come descritto nella sezione Selezione di dati da un database.

7. Nella scheda Seleziona connessione di destinazione, selezionare la destinazione dall'elenco delle connessioni disponibili, quindi fare clic su Avanti. In termini di funzionalità, questa scheda è uguale alla scheda Seleziona connessione di origine descritta sopra.

8. Nella scheda Impostazioni, modificare facoltativamente le seguenti impostazioni e fare clic su Avanti.

   Modalità di replica

   Nota informaticaquando di effettua la replica da sorgenti di applicazioni SaaS, la modalità di replica Caricamento completo è abilitata per impostazione predefinita e non è possibile disabilitarla.
   • Caricamento completo: carica i dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito manualmente in caso di necessità.

   • Applica le modifiche: mantiene le tabelle di destinazione aggiornate riportando qualsiasi modifica apportata alle tabelle di origine.

   • Archivia modifiche: archivia le modifiche alle tabelle di origine nelle Tabelle di modifica (una per ogni tabella di origine).

     Per ulteriori informazioni, vedere Archivia modifiche.

   Quando si utilizza il Gateway di Data Movement, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando non si utilizza Gateway di Data Movement (impostando Gateway dati su Nessuno nelle impostazioni del connettore), le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. L'intervallo di acquisizione delle modifiche predefinito è ogni sei ore. Per ulteriori informazioni, vedere Pianificazione di attività quando non si utilizza il Gateway di Data Movement.

   Applica modalità di modifica

   Nota informaticaQuando si effettua la replica nelle destinazioni del data warehouse, non è possibile selezionare la modalità di Applica modifiche da utilizzare. Le modifiche verranno sempre applicate nella modalità Batch ottimizzato per la massima efficienza.

   Le modifiche vengono applicate nelle tabelle di destinazione utilizzando uno dei metodi seguenti:

   • Batch ottimizzato: è il batch predefinito. Quando questa opzione è selezionata, le modifiche vengono applicate in batch. Viene eseguita un'azione di pre-elaborazione per raggruppare le transazioni in batch nel modo più efficace.
   • Transazionale: selezionare questa opzione per applicare ogni transazione individualmente, nell'ordine di esecuzione del relativo commit. In questo caso, una rigida integrità referenziale è garantita per tutte le tabelle.

   Connessione all'area di staging

   Quando si effettua la replica nei data warehouse elencati di seguito, è necessario impostare un'area di staging. I dati vengono elaborati e preparati nell'area di staging prima di essere trasferiti nel warehouse.

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   Selezionare un'area di staging o fare clic su Crea nuovo per definire una nuova area di staging, quindi seguire le istruzioni nella sezione Connessione a un'archiviazione cloud.

   Per modificare le impostazioni della connessione, fare clic su Modifica. Per testare la connessione (procedura consigliata), fare clic su Prova connessione.

   Per informazioni su quali aree di staging sono supportate con determinati data warehouse, vedere la colonna Supportata come area di staging inCasi d'uso della piattaforma di destinazione e versioni supportate.

   Pianificazione replica

   Nota informaticaQuesta impostazione è rilevante solo quando si accede alle sorgenti dati senza il Gateway di Data Movement. Per informazioni sui vantaggi del Gateway di Data Movement e quando è richiesto, vedere Qlik Data Gateway - Spostamento dati.

   • Replica dati ogni: è possibile pianificare la frequenza con cui acquisire le modifiche dalla sorgente dati e impostare Ora di inizio e Data di inizio. Se i set di dati di origine supportano il CDC (Change data capture), solo le modifiche ai dati di origine verranno replicate e applicate alle tabelle di destinazione corrispondenti. Se i set di dati di origine non supportano il CDC (ad esempio, le viste), le modifiche verranno applicate ricaricando tutti i dati di origine nelle tabelle di destinazione corrispondenti. Se alcuni dei set di dati di origine supportano il CDC e altri no, verranno create due sottoattività separate (supponendo che il metodo di aggiornamento Applica modifiche o che le opzioni di replica Memorizza modifiche siano selezionate): una per ricaricare i set di dati che non supportano il CDC e l'altra per acquisire le modifiche ai set di dati che supportano il CDC.

     L'installazione guidata per l'attività consente di pianificare un intervallo orario di base. Una volta completata l'installazione guidata per l'attività, è possibile valutare differenti opzioni di pianificazione, come descritto in Pianificazione di attività quando non si utilizza il Gateway di Data Movement.

   Per informazioni sugli intervalli di pianificazione minimi in base al tipo di sorgente dati e i livelli di sottoscrizione, vedere Intervalli di pianificazione minimi consentiti.

9. nella scheda Riepilogo, viene visualizzata una pipeline di dati visiva. Se alcuni dei set di dati selezionati non supportano il processo CDC, verranno visualizzate due pipeline: una per l'attività CDC e un'altra per l'attività di ricaricamento. Scegliere l'opzione Apri l'attività <nome> o Non fare nulla, quindi fare clic su Crea.

   A seconda dell'opzione scelta, viene aperta l'attività o viene visualizzato un elenco dei progetti.

10. Se si sceglie di aprire l'attività, la scheda Set di datimostrerà la struttura e i metadati delle tabelle di origine selezionate. Sono incluse tutte le tabelle elencate in modo esplicito, oltre a quelle che corrispondono alle regole di selezione.

    Se si desidera aggiungere più tabelle dalla sorgente dati, fare clic su Seleziona sorgente dati.

11. Facoltativamente, modificare l'impostazione dell'attività come descritto nella sezione Impostazioni attività replica dati.

12. È possibile eseguire trasformazioni sui set di dati, filtrare i dati o aggiungere colonne.

    Per ulteriori informazioni, vedere Gestione dei data mart.

13. Dopo aver aggiunto le trasformazioni desiderate, è possibile convalidare le serie di dati facendo clic su Convalida serie di dati. Se la convalida rileva errori, correggere gli errori prima di procedere.

    Per ulteriori informazioni, vedere Convalida e regolazione dei set di dati.

14. Quando si è pronti, fare clic su Prepara per catalogare l'attività di dati e prepararla per l'esecuzione.

15. Una volta preparata l'attività di dati, fare clic su Esegui.

    Per informazioni sul recupero delle attività e altri metodi di esecuzione delle attività, vedere Opzioni di esecuzione avanzate.

16. Ora la replica dovrebbe iniziare ed è possibile vedere l'avanzamento in Monitoraggio. Per ulteriori informazioni, vedere Monitoraggio di un'attività dati individuale

Impostazione della priorità di caricamento per i set di dati

È possibile controllare l'ordine di caricamento dei set di dati nelle attività dati assegnando una priorità di caricamento per ogni set di dati. Questa opzione può essere utile, per esempio, se si desidera caricare set di dati più piccoli prima di quelli grandi.

1. Fare clic su Priorità di caricamento.

2. Selezionare una priorità di caricamento per ogni set di dati.

   La priorità di caricamento predefinita è Normale. I set di dati verranno caricati nel seguente ordine di priorità:

   • Massima

   • Più alta

   • Alta

   • Normale

   • Bassa

   • Più bassa

   • Minima

   I set di dati con la stessa priorità vengono caricati senza seguire un ordine particolare.

3. Fare clic su OK.

Aggiornamento metadati

È possibile aggiornare i metadati nell'attività per allinearli con le modifiche nei metadati nella sorgente nella vista Progettazione dell'attività. Per le applicazioni SaaS che utilizzano Metadata Manager, quest'ultimo deve essere aggiornato prima di poter aggiornare i metadati nell'attività dati.

1. È possibile eseguire le seguenti azioni:

   • Fare clic su ..., quindi su Aggiorna metadati per aggiornare i metadati per tutti i set di dati nell'attività.

   • Fare clic su ... su un set di dati in Set di dati, quindi su Aggiorna metadati per aggiornare i metadati per un singolo set di dati.

   È possibile visualizzare lo stato del processo di aggiornamento dei metadati in Aggiorna metadati nella parte inferiore dello schermo. È possibile visualizzare la data dell'ultimo aggiornamento dei metadati posizionando il cursore su .

2. Preparare l'attività dati per applicare le modifiche.

   Una volta preparata l'attività dati e applicate le modifiche, queste vengono rimosse da Aggiorna metadati.

Devi preparare attività di archiviazione che utilizzano questa attività per propagare le modifiche.

Se una colonna viene rimossa, viene aggiunta una trasformazione con valori Null per assicurare che l'archiviazione non perda i dati cronologici.

Limitazioni per l'aggiornamento dei metadati

• Se si esegue un'operazione di ridenominazione con una colonna rimossa anteriormente, nello stesso intervallo di tempo, questa verrà tradotta nella ridenominazione della colonna rimossa se hanno lo stesso tipo e la stessa lunghezza dati.

  Esempio:  

  Prima: a b c d

  Dopo: a c1 d

  In questo esempio, b è stato rimosso e c è stato rinominato c1, mentre b e c hanno lo stesso tipo di dati e la stessa lunghezza dati.

  L'operazione verrà identificata come ridenominazione di b in c1 e rimozione di c.

• La ridenominazione dell'ultima colonna non viene riconosciuta, anche se questa è stata rimossa e quella prima di essa è stata rinominata.

  Esempio:  

  Prima: a b c d

  Dopo: a b c1

  In questo esempio, d è stato rimosso e c è stato rinominato c1.

  Questa operazione verrà identificata come rimozione di c e d e l'aggiunta di c1.

• Le nuove colonne dovrebbero essere aggiunte alla fine. Se le colonne vengono aggiunte a metà con lo stesso tipo di dati della colonna successiva, possono essere interpretate come una rimozione e una ridenominazione.

Evoluzione dello schema

L'evoluzione degli schemi consente di rilevare facilmente le modifiche strutturali di più sorgenti dati e di controllare il modo in cui tali modifiche vengono applicate alla propria attività. L'evoluzione dello schema può essere utilizzata per rilevare le modifiche DDL apportate allo schema dei dati sorgente. È anche possibile applicare alcune modifiche automaticamente.

Per ogni tipo di modifica, è possibile selezionare il tipo di gestione dei cambiamenti nella sezione Evoluzione schema delle impostazioni dell'attività. È possibile applicare le modifiche, ignorarle, sospendere la tabella o arrestare l'elaborazione dell'attività.

È possibile impostare quale azione utilizzare per gestire la modifica DDL per ogni tipo di modifica. Alcune azioni non sono disponibili per tutti i tipi di cambiamento.

• Applica alla destinazione

  Applica le modifiche automaticamente.

• Ignora

  Ignora le modifiche.

• Sospendi tabella

  Sospende la tabella. La tabella verrà visualizzata come in errore in Monitora.

• Arresta attività

  Interrompe l'elaborazione dell'attività. È utile se si desidera gestire manualmente tutte le modifiche allo schema. In questo modo si interrompe anche la pianificazione, cioè le esecuzioni pianificate non vengono eseguite.

Sono supportate le seguenti modifiche:

• Aggiungi colonna

• Rinomina colonna

• Modifica tipo di dati colonne

• Rilascia tabella

• Rilascia colonna

• Crea la tabella che corrisponde al modello di selezione
  

  Se si è utilizzata una Regola di selezione per aggiungere set di dati che corrispondono a un modello, le nuove tabelle che soddisfano il modello verranno rilevate e aggiunte.

Per ulteriori informazioni sulle impostazioni delle attività, vedere Evoluzione dello schema.

È possibile anche ricevere notifiche sulle modifiche che vengono gestite con l'evoluzione dello schema. Per ulteriori informazioni, vedere Impostare notifiche quando vengono apportate modifiche al funzionamento.

Limitazioni per l'evoluzione dello schema

Per l'evoluzione dello schema, si applicano le seguenti limitazioni:

• L'evoluzione dello schema è supportata solo quando si utilizza il CDC come metodo di aggiornamento.

• Una volta modificate le impostazioni di evoluzione dello schema, è necessario preparare nuovamente l'attività.

• Se si rinominano le tabelle, l'evoluzione dello schema non è supportata. In questo caso è necessario aggiornare i metadati prima di preparare l'attività.

• Se si desidera progettare un'attività, è necessario aggiornare il browser per ottenere le modifiche all'evoluzione dello schema. È possibile impostare delle notifiche per ricevere avvisi relativi alle modifiche.

• Nelle attività di trasferimento, l'eliminazione delle colonne non è supportata. L'eliminazione e l'aggiunta di una colonna genereranno un errore della tabella.

• Nelle attività di trasferimento, l'operazione di eliminazione di tabella non eliminerà la tabella. L'eliminazione e la successiva aggiunta di una tabella troncheranno solo la tabella precedente e non verrà aggiunta una nuova tabella.

• La modifica della lunghezza di una colonna non è possibile per tutte le destinazioni, a seconda del supporto del database di destinazione.

• Se il nome di una colonna viene modificato, le trasformazioni esplicite definite utilizzando quella colonna non avranno effetto, poiché si basano sul nome della colonna.

• Le limitazioni dell'opzione Aggiorna metadati si applicano anche all'evoluzione dello schema.

Durante l'acquisizione delle modifiche del DDL, si applicano le seguenti limitazioni:

• Quando si verifica una rapida sequenza di operazioni nel database di origine (ad esempio, DDL>DML>DDL), Qlik Talend Data Integration può analizzare il registro nell'ordine sbagliato, con conseguente mancanza di dati o comportamento imprevedibile. Per ridurre al minimo le possibilità che ciò accada, la prassi migliore è attendere che le modifiche vengano applicate alla destinazione prima di eseguire l'operazione successiva.

  A titolo di esempio, durante l'acquisizione delle modifiche, se una tabella di origine viene rinominata più volte in rapida successione (e la seconda operazione la rinomina con il nome originale), si può verificare un errore che indica che la tabella esiste già nel database di destinazione.

• Se si modifica il nome di una tabella utilizzata in un'attività e poi si interrompe quell'attività, Qlik Talend Data Integration non acquisirà le modifiche apportate a quella tabella dopo la ripresa dell'attività.

• La ridenominazione di una tabella di origine non è supportata quando un'attività è interrotta.

• La riallocazione delle colonne Chiave primaria di una tabella non è supportata (e quindi non verrà scritta nella tabella di controllo Cronologia DDL).
• Quando il tipo di dati di una colonna viene modificato e la (stessa) colonna viene poi rinominata durante l'interruzione dell'attività, la modifica del DDL apparirà nella tabella di controllo Cronologia DDL come "Elimina colonna", quindi come "Aggiungi colonna" una volta ripresa l'attività. Notare che lo stesso comportamento può verificarsi anche come risultato di una latenza prolungata.
• Le operazioni CREATE TABLE eseguite sulla sorgente durante l'interruzione di un'attività verranno applicate alla destinazione una volta ripresa l'attività, ma non saranno registrate come DDL nella tabella di controllo Cronologia DDL.

• Le operazioni associate alle modifiche dei metadati (come ALTER TABLE, riorganizzazione, ricreazione di un indice in cluster e così via) possono causare un comportamento imprevedibile se vengono eseguite nei seguenti casi:

  • Durante un caricamento completo

    -OPPURE-

  • Tra il timestamp Inizia a elaborare le modifiche da e l'ora corrente (cioè il momento in cui l'utente fa clic su OK nella finestra di dialogo Opzioni di esecuzione avanzate ).

    Esempio:

    IF:

    l'ora specificata per Inizia a elaborare le modifiche da sono le 10:00.

    AND:

    una colonna denominata Age (Età) è stata aggiunta alla tabella Employees (Dipendenti) alle ore 10:10.

    AND:

    l'utente fa clic su OK nella finestra di dialogo Opzioni di esecuzione avanzate alle ore 10:15.

    THEN:

    le modifiche avvenute tra le 10:00 e le 10:10 possono causare errori nel processo CDC.

  Nota informatica

  In uno dei casi sopra descritti, la tabella o le tabelle interessate devono essere ricaricate affinché i dati siano correttamente spostato nella destinazione.

• L'istruzione DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> non replica il valore predefinito nella destinazione e la colonna nuova/modificata viene impostata su NULL. Notare che questo può accadere anche se il processo DDL che ha aggiunto/modificato la colonna è stato eseguito precedentemente. Se la colonna nuova/modificata ammette i valori null, l'endpoint di origine aggiorna tutte le righe della tabella prima di registrare il DDL stesso. Di conseguenza, Qlik Talend Data Integration acquisisce le modifiche ma non aggiorna la destinazione. Poiché la colonna nuova/modificata è impostata su NULL, se la tabella di destinazione non ha una chiave primaria/un indice univoco, gli aggiornamenti successivi genereranno il messaggio "zero righe interessate".

• Le modifiche alle colonne di precisione TIMESTAMP e DATE non verranno acquisite.

Gestione delle modifiche che non vengono applicate automaticamente

In questa sezione si descrive come gestire le modifiche che non possono essere applicate alla destinazione, cioè l'azione è Ignora, Sospendi o Interrompi attività.

Limiti e considerazioni per la replica dei dati

Le trasformazioni sono soggette alle seguenti limitazioni:

• Le trasformazioni non sono supportate per le colonne con lingue da destra a sinistra.

• Le trasformazioni non possono essere eseguite sulle colonne che contengono caratteri speciali (ad esempio #, \, /, -) nel nome.

• L'unica trasformazione supportata per i tipi di dati LOB/CLOB è il rilascio della colonna nella destinazione.
• L'utilizzo di una trasformazione per rinominare una colonna e quindi aggiungere una nuova colonna con lo stesso nome non è supportato.

La modifica del supporto dei valori null non è supportata per le colonne che vengono spostate, sia modificandole direttamente che utilizzando una regola di trasformazione. Tuttavia, le nuove colonne create nell'attività ammettono i valori null per impostazione predefinita.