Metodi di aggiornamento della destinazione

È possibile impostare il metodo di aggiornamento che si desidera utilizzare, durante la configurazione iniziale dell'attività o successivamente, nelle Impostazioni dell'attività. Non è possibile cambiare il metodo di aggiornamento una volta preparata l'attività dati.

I metodi di aggiornamento disponibili sono determinati dal tipo di attività e dalle capacità del connettore. I tipi di attività disponibili per lo spostamento dei dati sono i seguenti: trasferimento, replica o trasferimento dei dati in un data lake.

Metodi di aggiornamento quando si trasferiscono i dati nei progetti di pipeline di dati

• Funzione Change Data Capture (CDC) che utilizza tabelle di modifica

  L'attività dati ha inizio con un caricamento completo. I dati di destinazione vengono quindi mantenuti aggiornati utilizzando il caricamento incrementale basato sui campi della data. CDC potrebbe non essere supportato da tutte le origini dati.

  Nota informaticaLe operazioni DELETE non sono supportate. Ciò significa che se una riga viene eliminata nella sorgente, non viene eliminata nei dati di trasferimento. Se la gestione dell'eliminazione è importante, utilizzare invece Ricaricamento e confronto.

  Quando si lavora senza Gateway Data Movement o quando si utilizzano connettori regolari per applicazioni SaaS, si imposta l'intervallo utilizzando l'Utilità di pianificazione. Per ulteriori informazioni, vedere Scheduling tasks. Quando si lavora con Gateway Data Movement e quando si utilizzano i connettori Lite per applicazioni SaaS, si imposta l'intervallo tra la lettura delle modifiche dalla sorgente, in Impostazioni > Regolazione di elaborazione delle modifiche.

• Ricaricamento e confronto

  L'attività dati esegue caricamenti completi solo dalla sorgente. Questo processo è utile se la sorgente non supporta il CDC, per esempio, oppure se si desidera che le operazioni DELETE (non supportate dal CDC) vengano propagate nella destinazione. Le operazioni di ricaricamento e il confronto possono essere utilizzate con qualsiasi sorgente dati supportata, e possono essere pianificate in modo da essere eseguite regolarmente.

Metodi di aggiornamento durante la replica in un database o in destinazioni del data warehouse

• Caricamento completo: Carica i dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito manualmente in caso di necessità. Il caricamento completo manuale è necessario, ad esempio, se bisogna replicare gli aggiornamenti delle Viste (che non vengono acquisiti durante le attività di CDC) o se si esegue la replica da una sorgente dati che non supporta le attività CDC.

  Nota informaticaQuando si utilizza un connettore di applicazione SaaS, questa opzione sarà sempre abilitata poiché è richiesto il caricamento completo.

• Applica modifiche: mantiene le tabelle di destinazione aggiornate riportando qualsiasi modifica apportata alle tabelle di origine.

• Archivia modifiche: Archivia le modifiche alle tabelle di origine nelle Tabelle di modifica (una per ogni tabella di origine).

  Per ulteriori informazioni, vedere Salva modifiche.

Quando si utilizza il Gateway Data Movement, tranne quando si utilizzano sorgenti di applicazioni SaaS, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando non si utilizza Gateway Data Movement (per esempio, con una Avvio Qlik Talend Cloud sottoscrizione o quando si seleziona Nessuno) o quando si utilizzano origini di applicazioni SaaS, le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. Per ulteriori informazioni, vedere Scheduling tasks.

Metodi di aggiornamento durante la replica in un'archiviazione cloud (data lake)

• Acquisizione dei dati modificati (CDC) utilizzando tabelle di modifica: Le attività di trasferimento su data lake iniziano con un caricamento completo (durante il quale tutte le tabelle selezionate vengono caricate nella destinazione). I dati di destinazione vengono quindi mantenuti aggiornati usando la tecnologia CDC (Change Data Capture).

  Nota informaticaL'acquisizione dati di modifica (CDC) per le operazioni DDL non è supportata.

  Quando si utilizza Gateway Data Movement, tranne quando si utilizza una sorgente applicativa SaaS, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando si utilizza senza Gateway Data Movement o con sorgenti di applicazioni SaaS, le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. Per ulteriori informazioni, vedere Scheduling tasks.

• Ricarica: esegue un caricamento completo dei dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito o pianificato in modo che venga eseguito regolarmente, in base alle necessità.

  Nota informaticaQuesta impostazione non è disponibile quando si utilizza un connettore di applicazione SaaS.

Nozioni sulle operazioni di acquisizione dei dati di modifica (CDC)

Quando non si usa Gateway Data Movement o quando si utilizzano i connettori di applicazioni SaaS che non sono connettori Lite, le modifiche vengono acquisite in base a un intervallo pianificato. È importante essere consapevoli del modo in cui funziona la pianificazione, che può esseree dimostrato meglio attraverso un esempio. Nel seguente esempio, un'attività è stata pianificata per essere eseguita ogni 30 minuti a partire dalle 9:00.

• L'attività ha inizio alle 9:00 con un caricamento completo.
• Il caricamento completo termina alle 9:40, quindi l'esecuzione delle 9:30 verrà saltata.
• L'esecuzione successiva inizia alle 10:00 e acquisisce le modifiche eseguite fino alle 10:00.
• L'esecuzione delle 10:00 termina alle 10:15.
• L'esecuzione successiva inizia alle 10:30 e acquisisce qualsiasi modifica che si è verificata tra le 10:00 e le 10:30.