Gestione dei set di dati

È possibile gestire i set di dati inclusi nelle attività dati Trasferimento, Archiviazione, Trasformazione, Data mart, Trasferimento in streaming, Trasformazione in streaming e Replica per creare trasformazioni, filtrare i dati e aggiungere colonne.

I set di dati inclusi sono elencati in Set di dati nella vista Progettazione. È possibile selezionare le colonne da visualizzare con il selettore di colonne ().

Regole di trasformazione e trasformazioni esplicite

È possibile eseguire trasformazioni sia globali che esplicite.

Regole di trasformazione

È possibile eseguire trasformazioni globali creando una regola di trasformazione che utilizza % come carattere jolly nell'ambito da applicare a tutti i set di dati corrispondenti.

• Fare clic su Regole, quindi su Aggiungi regola per creare una nuova regola di trasformazione.

  Per ulteriori informazioni, vedere Creazione di regole per la trasformazione di set di dati.

Le regole di trasformazione sono indicate da un angolo viola scuro sull'attributo interessato.

Trasformazioni esplicite

Le trasformazioni esplicite vengono create:

• Quando si utilizza Modifica per modificare un attributo di colonna

• Quando si utilizza Rinomina su un set di dati.

• Quando si aggiunge una colonna.

Le trasformazioni esplicite sovrascrivono le trasformazioni globali e sono indicate da un angolo viola chiaro sull'attributo interessato.

Modelli di set di dati

I set di dati possono essere basati sull'origine o sulla destinazione, a seconda del tipo di attività e delle operazioni nell'attività. Il modello di set di dati utilizzato influisce sul comportamento della pipeline in caso di modifiche all'origine e sulle operazioni che è possibile eseguire.

• Set di dati basati sull'origine

  Il set di dati si basa sui set di dati di origine e conterrà solo le modifiche nei metadati. Una modifica nei dati di origine viene applicata automaticamente, il che potrebbe causare modifiche in tutte le attività a valle. Non è possibile modificare l'ordine delle colonne o modificare il set di dati di origine.

  I seguenti tipi di attività utilizzano sempre un modello di set di dati basato sull'origine: Trasferimento, Archiviazione, Dati registrati, Replica e Trasferimento in un data lake.

• Set di dati basati sulla destinazione

  Il set di dati si basa sui metadati di destinazione. Se una colonna viene aggiunta dall'origine o rimossa, non viene applicata automaticamente all'attività a valle successiva. È possibile modificare l'ordine delle colonne e modificare il set di dati di origine. Ciò significa che l'attività è più autonoma e consente di controllare l'effetto delle modifiche all'origine.

  I seguenti tipi di attività possono utilizzare un modello di set di dati basato sulla destinazione: Trasformazione, Data mart. In alcuni casi viene utilizzato un modello basato sull'origine per le attività di Trasformazione in base all'operazione.

  • Se una trasformazione SQL o un flusso di trasformazione esegue una selezione di colonne, il set di dati sarà basato sulla destinazione. Ad esempio, se si utilizza SELECT A, B, C from XYZ in una trasformazione SQL o si utilizza il processore Seleziona colonne in un flusso di trasformazione.

  • Se vengono mantenute le colonne predefinite, il set di dati è basato sull'origine. Ad esempio, se si utilizza SELECT * from XYZ in una trasformazione SQL.

Aggiornamento dei progetti da un modello basato sull'origine a un modello basato sulla destinazione

I progetti esistenti vengono aggiornati al modello di set di dati basato sulla destinazione, se applicabile. Si verrà guidati attraverso il processo di aggiornamento alla prima apertura di un progetto. Ci sono alcune considerazioni da fare durante l'importazione e l'esportazione di progetti con modelli di set di dati diversi.

• Non è possibile importare un progetto con un modello basato sull'origine in un progetto con un modello basato sulla destinazione.

  Importare il progetto con un modello basato sull'origine in un nuovo progetto, aggiornare il nuovo progetto e quindi esportare il progetto risultante. Ora è possibile reimportare questo progetto nel progetto con un modello basato sulla destinazione.

• Non è possibile importare un progetto con un modello basato sulla destinazione in un progetto con un modello basato sull'origine.

  Aggiornare il progetto a un modello basato sulla destinazione prima di importare un progetto con un modello basato sulla destinazione.

Filtraggio di un set di dati

È possibile filtrare i dati per creare un sottoinsieme di righe, se necessario.

• Fare clic su Filtro.

Per ulteriori informazioni, vedere Filtrazione di una serie di dati.

Ridenominazione di un set di dati

È possibile rinominare un set di dati.

• Fare clic su su un set di dati, quindi su Modifica.

Aggiunta di colonne

È possibile aggiungere colonne con trasformazioni a livello di riga, se necessario.

• Fare clic su Aggiungi colonna

Per ulteriori informazioni, vedere Aggiunta di colonne a un set di dati.

Modifica di una colonna

È possibile modificare le proprietà della colonna selezionando una colonna e facendo clic su Modifica.

• Nome

• Chiave

  Impostare una colonna come chiave primaria. È inoltre possibile impostare le chiavi selezionando o deselezionando nella colonna Chiave.

• Annullabile

• Tipo di dati

  Impostare il tipo di dati della colonna. Per alcuni tipi di dati, è possibile impostare una proprietà aggiuntiva, ad esempio Lunghezza.

  Nota informaticaQuando si modifica il tipo di dati o la dimensione del tipo di dati di una colonna, ciò potrebbe avere implicazioni sulle attività che utilizzano il set di dati. Per ulteriori informazioni, vedere Gestione dei tipi di dati.

Rimozione di colonne

È possibile rimuovere una o più colonne da un set di dati.

• Selezionare le colonne da rimuovere e fare clic su Rimuovi.

Se si desidera visualizzare le colonne rimosse, fare clic su Mostra colonne rimosse. Le colonne rimosse sono indicate con testo barrato. È possibile recuperare una colonna rimossa selezionandola e facendo clic su Ripristina.

Ripristino delle modifiche esplicite alle colonne

È possibile ripristinare tutte le modifiche esplicite a una o più colonne.

• Selezionare le colonne a cui ripristinare le modifiche e fare clic su Ripristina.

Le modifiche derivanti dalle regole di trasformazione globali non verranno ripristinate.

Se si ripristina una colonna aggiunta, questa verrà rimossa.

Impostazioni del set di dati

È possibile modificare le impostazioni per il set di dati. L'impostazione predefinita consiste nell'ereditare l'impostazione dell'attività dati, ma è anche possibile modificare un'impostazione in modo che sia esplicitamente On o Off.

• Fare clic su su un set di dati, quindi su Impostazioni.

Visualizzazione dei dati

È possibile visualizzare un campione dei dati per vedere e convalidare la forma dei dati durante la progettazione della pipeline di dati.

Devono essere soddisfatti i seguenti requisiti:

• La visualizzazione dei dati è abilitata a livello di tenant nel centro attività Amministrazione.

  Per abilitarla, andare alla pagina Impostazioni, selezionare la scheda Controllo funzionalità e attivare Visualizzazione dei dati in Integrazione dati.

• È stato assegnato il ruolo Può visualizzare i dati nello spazio in cui risiede la connessione.

• È stato assegnato il ruolo Può visualizzare nello spazio in cui risiede il progetto.

Visualizzazione dei dati campione

Per visualizzare i dati campione nella scheda Set di dati nella vista Progettazione.:

• Fare clic su Visualizza dati in Oggetti fisici.

Viene visualizzato un campione dei dati. È possibile impostare quante righe di dati includere nel campione con Numero di righe.

Passaggio tra set di dati e tabelle

Per passare tra set di dati e tabelle:

• Selezionare Set di dati per visualizzare la rappresentazione logica dei dati.

• Selezionare Oggetti fisici per visualizzare la rappresentazione fisica nel database come tabelle e viste.

  Nota notizieQuesta opzione non è disponibile se la rappresentazione fisica non è ancora stata creata.

Filtraggio

È possibile filtrare i dati campione in due modi:

• Utilizzare per filtrare quali dati campione recuperare.

  Ad esempio, se si utilizza il filtro ${OrderYear}>2023 e Numero di righe è impostato su 10, si otterrà un campione di 10 ordini dal 2024.

• Filtrare i dati campione in base a una colonna specifica.

  Ciò influirà solo sui dati campione esistenti. Se si è utilizzato per includere solo gli ordini dal 2024 e si imposta il filtro della colonna per mostrare gli ordini dal 2022, il risultato è un campione vuoto.

Ordinamento

È inoltre possibile ordinare il campione di dati in base a una colonna specifica. L'ordinamento influirà solo sui dati campione esistenti. Se si è utilizzato per includere solo gli ordini dal 2024 e si inverte l'ordinamento, i dati campione conterranno comunque solo gli ordini dal 2024.

Nascondere le colonne

È possibile nascondere le colonne nella vista dati:

• Nascondere una singola colonna facendo clic su sulla colonna, quindi su Nascondi colonna.

• Nascondere più colonne facendo clic su su qualsiasi colonna, quindi su Visualizza colonne. Ciò consente di controllare la visibilità per tutte le colonne nella vista.

Download dei dati campione

È possibile eseguire il download dei dati campione visualizzati:

• Fare clic su per eseguire il download dei contenuti della vista dei dati campione.

I dati campione vengono scaricati come file CSV nei download del browser.

Convalida e regolazione dei set di dati

È possibile convalidare tutti i set di dati inclusi nell'attività dati.

Espandere Convalida e regola per visualizzare tutti gli errori di convalida e le modifiche di progettazione.

Convalida dei set di dati

• Fare clic su Convalida set di dati per convalidare i set di dati.

La convalida include la verifica che:

• Tutte le tabelle abbiano una chiave primaria

• Non vi siano attributi mancanti.

• Non vi siano nomi di tabelle o colonne duplicati.

Si otterrà inoltre un elenco delle modifiche di progettazione rispetto all'origine:

• Tabelle e colonne aggiunte

• Tabelle e colonne eliminate

• Tabelle e colonne rinominate

• Chiavi primarie e tipi di dati modificati

Espandere Convalida e regola per visualizzare tutti gli errori di convalida e le modifiche di progettazione.

• Correggere gli errori di convalida, quindi convalidare nuovamente i set di dati.

• La maggior parte delle modifiche di progettazione può essere regolata automaticamente, ad eccezione delle chiavi primarie o dei tipi di dati modificati. In questo caso, è necessario sincronizzare i set di dati.

Preparazione dei set di dati

È possibile preparare i set di dati per regolare le modifiche di progettazione senza perdita di dati, se possibile. Se sono presenti modifiche di progettazione che non possono essere regolate senza perdita di dati, si otterrà l'opzione per ricreare le tabelle dall'origine con perdita di dati.

Ciò richiede l'arresto dell'attività.

• Fare clic su , quindi su Prepara.

Quando i set di dati sono preparati, convalidare i set di dati prima di riavviare l'attività di archiviazione.

Ricreazione dei set di dati

È possibile ricreare i set di dati dall'origine. Quando si ricrea un set di dati, si verificherà una perdita di dati. Finché si dispone dei dati di origine, è possibile ricaricarli dall'origine.

Ciò richiede l'arresto dell'attività.

• Fare clic su , quindi su Ricrea tabelle.

Download dei dati di convalida

È possibile eseguire il download dei dati da Errori di convalida, Modifiche di progettazione e Avanzamento della preparazione:

• Fare clic su per eseguire il download.

I dati vengono scaricati come file CSV nei download del browser.

Limitazioni

• In Google BigQuery, se si elimina o si rinomina una colonna, la tabella verrà ricreata e si verificherà una perdita di dati.