Una panoramica dei metodi di aggiornamento della destinazione

È possibile impostare il metodo di aggiornamento che si desidera utilizzare, durante la configurazione iniziale dell'attività o successivamente, nelle Impostazioni dell'attività. Non è possibile cambiare il metodo di aggiornamento una volta preparata l'attività dati. I metodi di aggiornamento disponibili dipendono dal tipo di attività: trasferimento, replica o trasferimento dei dati in un data lake.

Metodi di aggiornamento quando si trasferiscono i dati

• Change Data Capture (CDC)

  L'attività dati ha inizio con un caricamento completo. I dati di destinazione vengono quindi mantenuti aggiornati utilizzando il caricamento incrementale basato sui campi della data. Non tutte le sorgenti dati potrebbero supportate CDC.

  Nota informaticaLe operazioni DELETE non sono supportate. Ciò significa che se una riga viene eliminata nella sorgente, non viene eliminata nei dati di trasferimento. Se la gestione dell'eliminazione è importante, utilizzare invece Ricaricamento e confronto.

  Quando si utilizza Gateway di Data Movement e si trasferiscono i dati dalle applicazioni SaaS, si imposta l'intervallo tra le modifiche alla lettura dalla sorgente, in Impostazioni > Tempo di esecuzione. Quando non si utilizza Gateway di Data Movement, si imposta l'intervallo utilizzando l'Utilità di pianificazione. Per ulteriori informazioni, vedere Pianificazione di attività CDC quando non si utilizza il Gateway di Data Movement.

• Ricaricamento e confronto

  L'attività dati esegue caricamenti completi solo dalla sorgente. Questo processo è utile se la sorgente non supporta il CDC, per esempio, oppure se si desidera che le operazioni DELETE (non supportate dal CDC) vengano propagate nella destinazione. Le operazioni di ricaricamento e il confronto possono essere utilizzate con qualsiasi sorgente dati supportata, e possono essere pianificate in modo da essere eseguite regolarmente.

Metodi di aggiornamento durante la replica in un database o in destinazioni del data warehouse

• Caricamento completo: carica i dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito manualmente in caso di necessità.

• Applica le modifiche: mantiene le tabelle di destinazione aggiornate riportando qualsiasi modifica apportata alle tabelle di origine.

• Archivia modifiche: archivia le modifiche alle tabelle di origine nelle Tabelle di modifica (una per ogni tabella di origine).

  Per ulteriori informazioni, vedere Archivia modifiche.

Quando si utilizza il Gateway di Data Movement, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando non si utilizza il Gateway di Data Movement (per esempio, con una sottoscrizione Avvio Qlik Talend Cloud o quando si seleziona Nessuno), le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. Per ulteriori informazioni, vedere Pianificazione di attività quando non si utilizza il Gateway di Data Movement.

Metodi di aggiornamento durante la replica in un'archiviazione cloud (data lake)

• Change Data Capture (CDC): Le attività di trasferimento del data lake iniziano con un ricaricamento completo (durante il quale tutte le tabelle selezionate vengono trasferite). i dati trasferiti vengono quindi mantenuti aggiornati usando la tecnologia CDC (Change Data Capture).

  Nota informaticaL'acquisizione dati di modifica (CDC) per le operazioni DDL non è supportata.

  Quando si utilizza il Gateway di Data Movement, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando si lavora senza il Gateway di Data MovementData Movement gateway, le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. Per ulteriori informazioni, vedere Pianificazione di attività quando non si utilizza il Gateway di Data Movement.

• Ricarica: esegue un caricamento completo dei dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito o pianificato in modo che venga eseguito regolarmente, in base alle necessità.

Nozioni sulle operazioni di acquisizione dei dati di modifica (CDC)

Quando non si utilizza il Gateway di Data Movement, le modifiche vengono acquisite in base all'intervallo pianificato. È importante essere consapevoli del modo in cui funziona la pianificazione, che può essere dimostrato meglio attraverso un esempio. Nel seguente esempio, un'attività è stata pianificata per essere eseguita ogni 30 minuti a partire dalle 9:00.

• L'attività ha inizio alle 9:00 con un caricamento completo.
• Il caricamento completo termina alle 9:40, quindi l'esecuzione delle 9:30 verrà saltata.
• L'esecuzione successiva inizia alle 10:00 e acquisisce le modifiche eseguite fino alle 10:00.
• L'esecuzione delle 10:00 termina alle 10:15.
• L'esecuzione successiva inizia alle 10:30 e acquisisce qualsiasi modifica che si è verificata tra le 10:00 e le 10:30.

Limiti

Alcune tabelle restituite dall'applicazione SaaS non sono supportate da Change data capture (CDC). In tal caso, verrà visualizzato un messaggio di errore in Errori di convalida. È possibile:

• Eliminare la tabella dall'attività dati.

• Cambiare il metodo di aggiornamento dell'attività dati in Ricaricamento e confronto.