Dati CDC

Il processo di onboarding trasferisce i dati da una sorgente CDC o SaaS e li memorizza in tabelle Iceberg. Le modifiche provenienti dalle sorgenti dati vengono applicate continuamente alle tabelle di archiviazione con un processo efficiente in batch di piccole dimensioni.

Inserisci dati

Quando si inizia a inserire i dati in un progetto, I set di dati sono archiviati nella posizione S3 definita nel progetto. Per ulteriori informazioni sui progetti, vedere Creazione di una pipeline di dati in un progetto.

1. Nel progetto, fare clic su Crea e poi su Inserisci dati.

   Nota di suggerimentoÈ possibile anche fare clic su su una sorgente esistente nel progetto, quindi fare clic su Inserisci dati.

2. Aggiungi Nome e Descrizione per l'inserimento.

   Fare clic su Avanti.

3. Seleziona il collegamento sorgente.

   È possibile selezionare una connessione di origine esistente o creare una nuova connessione alla sorgente.

   Per ulteriori informazioni, vedere Configurazione di connessioni alle sorgenti dati.

   Fare clic su Avanti.

4. Seleziona i dati da caricare.

   Per ulteriori informazioni, vedere Selezione di dati.

   Fare clic su Avanti.

   Vengono visualizzate le Impostazioni, dove è possibile selezionare il metodo di aggiornamento e le impostazioni della cronologia.

5. Selezionare il metodo che si desidera usare per aggiornare i dati in Metodo di aggiornamento:

   • Change Data Capture (CDC)

     Se i dati contengono tabelle che non supportano il CDC o le viste, verranno create due pipeline di dati: una pipeline con tutte le tabelle che supportano la funzione CDC, e un'altra pipeline con tutte le altre tabelle e visualizzazioni che utilizzano Ricaricamento e confronto.

   • Ricaricamento e confronto

6. Selezionare se si desidera replicare la cronologia dei dati precedenti oltre ai dati correnti in Cronologia.

7. Fare clic su Avanti quando si è pronti.

8. Visualizzare in anteprima le attività dati create per l'inserimento dei dati e rinominarle se desiderato.

   Nota di suggerimentoI nomi vengono utilizzati durante la denominazione degli schemi di database nell'attività dei dati di archiviazione. Prendere in considerazione l'utilizzo di nomi univoci per evitare conflitti con attività dati in altri progetti che utilizzano la stessa piattaforma dati.

9. Selezionare se si desidera aprire qualsiasi attività dati creata, oppure tornare al progetto.

   Quando si è pronti, fare clic su Fine.

10. Le attività dati di onboarding vengono create. Per iniziare a replicare i dati è necessario:

11. Preparare ed eseguire l'attività per i dati di trasferimento.

    Per ulteriori informazioni, vedere Trasferimento dati da sorgenti dati.

12. Preparare ed eseguire l'attività dati di archiviazione.

    Per ulteriori informazioni, vedere Archiviazione di set di dati.

Selezione di dati

È possibile selezionare tabelle o viste specifiche oppure utilizzare regole di selezione per includere o escludere gruppi di tabelle.

Utilizzare % come carattere jolly per definire un criterio di selezione per schemi e tabelle.

• %.% definisce tutte le tabelle in tutti gli schemi.

• Public.% definisce tutte le tabelle nello schema Pubblico.

I criteri di selezione offrono all'utente un'anteprima in base alle selezioni personali.

Ora è possibile:

• Creare una regola per includere o escludere un gruppo di tabelle in base ai criteri di selezione.

  Fare clic su Aggiungi regola dai criteri di selezioneper creare una regola e selezionare sia Includi sia Escludi.

  È possibile vedere la regola in Regole di selezione.

• Selezionare uno o più set di dati e fare clic su Aggiungi set di dati selezionati.

  È possibile vedere i set di dati aggiunti in Set di dati selezionati in modo esplicito.

Le regole di selezione si applicano solo all'insieme corrente di tabelle e viste, non a tabelle e viste che verranno aggiunte in futuro.