Metodi di aggiornamento della destinazione

È possibile impostare il metodo di aggiornamento che si desidera utilizzare, durante la configurazione iniziale dell'attività o successivamente, nelle Impostazioni dell'attività. Non è possibile cambiare il metodo di aggiornamento una volta preparata l'attività dati.

I metodi di aggiornamento disponibili sono determinati dal tipo di attività, dalle capacità del connettore e dalla classificazione del connettore. I tipi di attività disponibili per lo spostamento dei dati sono i seguenti: trasferimento, replica o trasferimento dei dati in un data lake.

Per informazioni sulla classificazione e sulle capacità del connettore utilizzato, consultare la relativa guida. La classificazione del connettore è indicata da un badge nella parte superiore della relativa pagina della guida. I connettori senza badge sono classificati come "Standard".

Per una spiegazione dettagliata delle classificazioni dei connettori, consultare Classificazioni del connettore.

Metodi di aggiornamento quando si utilizzano i connettori Anteprima

I connettori Anteprima sono supportati solo con i progetti di replica. Quando si utilizzano i connettori Anteprima, tutti i dati vengono propagati alla destinazione come modifiche (Inserimenti/Aggiornamenti), incluso il caricamento completo iniziale. Di conseguenza, l'unico metodo di aggiornamento supportato per i connettori Anteprima è il seguente:

• Per le attività di "replica dei dati": Solo le modalità di replica Applica modifiche e Archivia modifiche. Tutti i dati verranno propagati alle tabelle di destinazione/modifica come modifiche (Inserimenti/Aggiornamenti), incluso il caricamento completo iniziale. Notare che con determinati tipi di tabella, non è possibile identificare le modifiche. In questi casi, tutti i dati della tabella verranno elaborati dall'inizio.
• Per le attività "Trasferisci dati su data lake": Solo il metodo di aggiornamento Change Data Capture (CDC). Tutti i dati verranno propagati alla destinazione come modifiche (Inserimenti/Aggiornamenti), incluso il caricamento completo iniziale. Notare che con determinati tipi di tabella, non è possibile identificare le modifiche. In questi casi, tutti i dati della tabella verranno elaborati dall'inizio.

Quando si utilizzano i connettori di Anteprima, è necessario pianificare la frequenza dell'acquisizione delle modifiche dalla sorgente. Per ulteriori informazioni, vedere gli argomenti seguenti:

• Per le attività di "replica dei dati": Pianificazione delle attività CDC per i processi di replica
• Per le attività "Trasferisci dati su data lake": Pianificazione delle attività CDC per i processi di trasferimento su data lake

Metodi di aggiornamento quando si trasferiscono i dati

• Funzione Change Data Capture (CDC) che utilizza tabelle di modifica

  L'attività dati ha inizio con un caricamento completo. I dati di destinazione vengono quindi mantenuti aggiornati utilizzando il caricamento incrementale basato sui campi della data. Non tutte le sorgenti dati potrebbero supportate CDC.

  Nota informaticaLe operazioni DELETE non sono supportate. Ciò significa che se una riga viene eliminata nella sorgente, non viene eliminata nei dati di trasferimento. Se la gestione dell'eliminazione è importante, utilizzare invece Ricaricamento e confronto.

  Quando si utilizza Data Movement gateway e si trasferiscono i dati dalle applicazioni SaaS, si imposta l'intervallo tra le modifiche alla lettura dalla sorgente, in Impostazioni > Regolazione di elaborazione delle modifiche. Quando non si utilizza Data Movement gateway, si imposta l'intervallo utilizzando l'Utilità di pianificazione. Per ulteriori informazioni, vedere Pianificazione di attività CDC quando non si utilizza il Data Movement gateway.

• Ricaricamento e confronto

  L'attività dati esegue caricamenti completi solo dalla sorgente. Questo processo è utile se la sorgente non supporta il CDC, per esempio, oppure se si desidera che le operazioni DELETE (non supportate dal CDC) vengano propagate nella destinazione. Le operazioni di ricaricamento e il confronto possono essere utilizzate con qualsiasi sorgente dati supportata, e possono essere pianificate in modo da essere eseguite regolarmente.

Metodi di aggiornamento durante la replica in un database o in destinazioni del data warehouse

• Caricamento completo: carica i dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito manualmente in caso di necessità. Il caricamento completo manuale è necessario, ad esempio, se bisogna replicare gli aggiornamenti delle Viste (che non vengono acquisiti durante le attività di CDC) o se si esegue la replica da una sorgente dati che non supporta le attività CDC.

• Applica le modifiche: mantiene le tabelle di destinazione aggiornate riportando qualsiasi modifica apportata alle tabelle di origine.

• Archivia modifiche: archivia le modifiche alle tabelle di origine nelle Tabelle di modifica (una per ogni tabella di origine).

  Per ulteriori informazioni, vedere Archivia modifiche.

Quando si utilizza il Data Movement gateway, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando non si utilizza il Data Movement gateway (per esempio, con una sottoscrizione Avvio Qlik Talend Cloud o quando si seleziona Nessuno), le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. Per ulteriori informazioni, vedere Impostazioni di replica.

Metodi di aggiornamento durante la replica in un'archiviazione cloud (data lake)

• Funzione Change Data Capture (CDC) che utilizza tabelle di modifica: Le attività di trasferimento su data lake iniziano con un caricamento completo (durante il quale tutte le tabelle selezionate vengono caricate nella destinazione). I dati di destinazione vengono quindi mantenuti aggiornati usando la tecnologia CDC (Change Data Capture).

  Nota informaticaL'acquisizione dati di modifica (CDC) per le operazioni DDL non è supportata.

  Quando si utilizza il Data Movement gateway, le modifiche vengono acquisite dalla sorgente pressoché in tempo reale. Quando si lavora senza il Data Movement gatewayRDS Migration Tool, le modifiche vengono acquisite in base alle impostazioni dell'utilità di pianificazione. Per ulteriori informazioni, vedere Impostazioni per le destinazioni di archiviazione cloud.

• Ricarica: esegue un caricamento completo dei dati dalle tabelle di origine selezionate sulla piattaforma di destinazione e, se necessario, crea le tabelle di destinazione. Il caricamento completo viene eseguito automaticamente all'avvio dell'attività, ma può anche essere eseguito o pianificato in modo che venga eseguito regolarmente, in base alle necessità.

Nozioni sulle operazioni di acquisizione dei dati di modifica (CDC)

Quando non si usa Data Movement gateway o quando si utilizzano i connettori Anteprima, le modifiche vengono acquisite in base all'intervallo pianificato. È importante essere consapevoli del modo in cui funziona la pianificazione, che può esseree dimostrato meglio attraverso un esempio. Nel seguente esempio, un'attività è stata pianificata per essere eseguita ogni 30 minuti a partire dalle 9:00.

• L'attività ha inizio alle 9:00 con un caricamento completo.
• Il caricamento completo termina alle 9:40, quindi l'esecuzione delle 9:30 verrà saltata.
• L'esecuzione successiva inizia alle 10:00 e acquisisce le modifiche eseguite fino alle 10:00.
• L'esecuzione delle 10:00 termina alle 10:15.
• L'esecuzione successiva inizia alle 10:30 e acquisisce qualsiasi modifica che si è verificata tra le 10:00 e le 10:30.

Limiti

Alcune tabelle restituite dall'applicazione SaaS non sono supportate da Change data capture (CDC). In tal caso, verrà visualizzato un messaggio di errore in Errori di convalida. È possibile:

• Eliminare la tabella dall'attività dati.

• Cambiare il metodo di aggiornamento dell'attività dati in Ricaricamento e confronto.