Trasformazione di dati

È possibile creare trasformazioni di dati riutilizzabili e basate su regole come parte della pipeline di dati. È possibile eseguire trasformazioni come parte dell'onboarding dei dati o creare attività dati di trasformazione riutilizzabili. È possibile eseguire trasformazioni a livello di riga e creare set di dati che vengono materializzati come tabelle o creati come viste che eseguono trasformazioni in tempo reale.

• È possibile eseguire trasformazioni esplicite dei set di dati o creare regole globali per trasformare più set di dati. È possibile anche filtrare un set di dati per creare un sottoinsieme di righe.

• È possibile aggiungere trasformazioni SQL. Una trasformazione SQL consente di inserire una query SQL SELECT in una pipeline per definire trasformazioni complesse o semplici.

• È possibile aggiungere flussi di trasformazione con sorgenti, processori e destinazioni per definire trasformazioni semplici o complesse.

Un'attività dati di trasformazione contiene tre visualizzazioni:

• Trasforma

  Questa visualizzazione mostra tutte le trasformazioni per visualizzare il flusso dal set di dati di origine a quello di destinazione.

• Set di dati

  Questa visualizzazione mostra tutte le trasformazioni di base sui set di dati, come il filtraggio dei dati o l'aggiunta di colonne, nonché le regole per eseguire trasformazioni globali.

• Modello

  Questa visualizzazione consente di creare un modello dati con le relazioni tra i set di dati inclusi.

Creazione di un attività dati di trasformazione

Il modo più semplice per creare un'attività dati di trasformazione consiste nel fare clic su ... su un'attività dati di archiviazione e quindi selezionare Transform data (Trasforma dati).

È possibile anche fare clic su Crea in un progetto e selezionare Trasforma dati. In tal caso è necessario definire quale attività dati di origine utilizzare.

1. Definire i dati di origine e le destinazioni in Trasforma.

   È possibile:

   • Eseguire trasformazioni dei set di dati

     Selezionare i set di dati di origine e fare clic su Aggiungi a destinazione per aggiungerli alla Destinazione.

     È possibile quindi eseguire trasformazioni basiche sui set di dati, come filtrare i dati o aggiungere colonne, nell'opzione Set di dati.

     Per ulteriori informazioni, vedere Gestione dei data mart.

   • Aggiungere una trasformazione SQL

     Selezionare i set di dati di origine e fare clic su Aggiungi trasformazione SQL.

     Una trasformazione SQL consente di inserire una query SQL SELECT in una pipeline per definire trasformazioni complesse o semplici.

     Per ulteriori informazioni, vedere Aggiunta di trasformazioni SQL.

   • Aggiungere un flusso di trasformazione

     Selezionare i set di dati di origine e fare clic su Aggiungi flusso di trasformazione.

     La funzione di progettazione dei flussi consente di creare un flusso di trasformazione con sorgenti, processori e destinazioni per definire trasformazioni semplici o complesse.

     Per ulteriori informazioni, vedere Aggiunta di flussi di trasformazione.

   Nota di suggerimentoÈ possibile anche aggiungere più set di dati da altri attività dati di archiviazione facendo clic su Seleziona dati di origine.

2. Dopo aver aggiunto le trasformazioni desiderate, convalidare i set di dati facendo clic su Convalida set di dati. Se la convalida rileva errori, correggere gli errori prima di procedere.

   Per ulteriori informazioni, vedere Convalida e regolazione dei set di dati.

3. Crea un modello di dati

   Fare clic su modello per impostare le relazioni tra i set di dati inclusi.

   Per ulteriori informazioni, vedere Creazione di un modello dati.

4. Fare clic su Prepara per preparare l'attività dati e tutti gli artefatti richiesti. Questa operazione può richiedere un po' di tempo.

   È possibile seguire l'avanzamento in Avanzamento preparazione nella parte inferiore dello schermo.

5. Quando lo stato visualizzato è Preparato, è possibile eseguire l'attività dati.

   Fare clic su ... e quindi su Esegui.

L'attività dati inizierà ora a creare set di dati per trasformare i dati.

Utilizzo della vista Trasformazione

In Trasforma, tutte le trasformazioni vengono mostrate per visualizzare il flusso dal set di dati di origine a quello di destinazione.

• Selezionare una trasformazione per vedere quali set di dati di origine vengono utilizzati e quali set di dati di destinazione vengono creati.

• Selezionare una sorgente per vedere tutte le trasformazioni in cui viene utilizzata e tutte le destinazioni risultanti.

• Selezionare una destinazione per vedere quali sono i set di dati di origine e quali trasformazioni hanno creato questo set di dati di destinazione.

È possibile modificare le seguenti impostazioni facendo clic su Opzioni di visualizzazione:

• Filtra per tipo di trasformazione

  Visualizza solo le trasformazioni di uno o due tipi di trasformazione.

• Filtro

  Visualizza tutte le trasformazioni oppure solo quella selezionata. Per abilitare questa opzione è necessario selezionare una trasformazione.

• Densità

  Selezionare se si desidera visualizzare le trasformazioni con un layout compatto o con un layout esteso che utilizza più spazio.

Utilizzo della visualizzazione Set di dati

In Set di dati è possibile visualizzare e modificare tutti i set di dati di destinazione nell'attività di trasformazione.

Per maggiori informazioni, vedere anche Gestione dei data mart.

Aggiunta di un set di dati di destinazione

È possibile aggiungere altri set di dati di destinazione all'attività di trasformazione.

1. Fare clic su Aggiungi set di dati.

2. Fornire un Nome e, facoltativamente, una Descrizione per il set di dati.

3. Selezionare un set di dati di origine tra quelli disponibili nell'attività in Set di dati di origine.

   Nota di suggerimentoÈ possibile selezionare Nessun set di dati di origine per creare un set di dati vuoto, non collegato ad alcuna sorgente. È possibile aggiungere colonne al set di dati durante la progettazione, ma è necessario essere collegati a un set di dati di origine prima di poter preparare l'attività.

Il set di dati di destinazione viene aggiunto.

Modifica del set di dati di origine

È possibile cambiare il set di dati di origine di un set di dati di destinazione.

1. Fare clic su dopo Origine: [nome set di dati di origine].

2. Selezionare un altro set di dati di origine tra quelli disponibili nell'attività in Set di dati di origine.

   Nota di suggerimentoÈ possibile selezionare Nessun set di dati di origine per scollegare il set di dati di destinazione dall'origine. È possibile modificare il set di dati durante la progettazione, ma è necessario essere collegati a un set di dati di origine prima di poter preparare l'attività.

Aggiunta di nuove colonne

È possibile aggiungere nuove colonne al set di dati di destinazione.

• Aggiunta di una nuova colonna da zero

  Fare clic su Aggiungi +.

  Fornire un nome per la colonna e impostare un'espressione per definire i dati della colonna.

  Per ulteriori informazioni, vedere Aggiunta di colonne a un set di dati.

• Aggiunta di una colonna dalla sorgente

  Fare clic su accanto ad Aggiungi e selezionare Aggiungi colonna dalla sorgente.

  Selezionare una colonna dal set di dati di origine.

Riordino delle colonne

È possibile cambiare la posizione ordinale di una colonna.

1. Selezionare una colonna.

2. Fare clic su e quindi su Riordina.

3. Utilizzare le frecce per spostare la colonna verso l'alto oppure verso il basso.

4. Chiudere Cambia ordinale per continuare.

Creazione di regole di trasformazione

È possibile creare trasformazioni riutilizzabili per eseguire la trasformazione globale sui set di dati.

Per maggiori informazioni sulla creazione di regole, vedere Creazione di regole per la trasformazione di set di dati.

Filtrare un set di dati

È possibile filtrare i dati per creare un sottoinsieme di righe, se richiesto.

• Fare clic su e quindi su Filtra.

Per maggiori informazioni sul filtraggio, vedere Filtrazione di una serie di dati.

Pianificazione di un'attività di trasformazione

È possibile pianificare un'attività di trasformazione da aggiornare regolarmente. È possibile configurare una pianificazione basata sul tempo, oppure impostare l'attività da eseguire una volta terminata l'esecuzione delle attività di dati di input.

Fare clic su ... su un'attività di dati e selezionare Pianificazione per creare una pianificazione. L'impostazione della pianificazione predefinita viene ereditata dalle impostazioni nel progetto. Per ulteriori informazioni sulle impostazioni predefinite, vedere Trasformare i valori predefiniti.

Per attivare la pianificazione, è sempre necessario impostare Pianificazione su Attiva.

Pianificazioni basate sul tempo

È possibile utilizzare una pianificazione basata sul tempo per eseguire un'attività indipendentemente da quando vengono aggiornate le sorgenti di input.

• Selezionare In base a un orario specifico in Avvia attività di dati.

È possibile impostare una pianificazione giornaliera, settimanale o mensile.

Pianificazioni basate su un evento

È possibile usare una pianificazione basata su un evento per eseguire un'attività determinata una volta terminata l'esecuzione delle attività di dati di input.

• Selezionare In base a un evento specifico in Avvia attività di dati.

È possibile selezionare se si desidera eseguire l'attività quando viene completata una qualsiasi delle attività di input, oppure quando viene completata qualsiasi selezione di attività di input.

Monitoraggio di un'attività di trasformazione

È possibile monitorare lo stato e l'avanzamento di un'attività di trasformazione facendo clic su Monitora.

Per ulteriori informazioni, vedere Monitoraggio di un'attività dati individuale.

Ricaricamento di dati

Se i dati vengono materializzati come tabelle fisiche, è possibile eseguire un ricaricamento manuale delle tabelle. Questa funzionalità è utile quando si presentano dei problemi con una o più tabelle.

1. Aprire l'attività dati e selezionare la scheda Monitora.

2. Selezionare le tabelle che si desidera ricaricare.

3. Fare clic su Ricarica tabelle.

Il ricaricamento verrà completato all'esecuzione successiva dell'attività. Il processo di ricaricamento si comporta in modo differente a seconda delle impostazioni della cronologia e del tipo di trasformazione di ciascun set di dati. Questo significa che il processo di ricaricamento tra differenti set di dati in un'attività dati può essere diverso.

• Le trasformazioni del set di dati vengono ricaricate tramite troncamento e caricamento.

• Le trasformazioni SQL e i flussi di trasformazione possono essere ricaricati mediante troncamento e caricamento, oppure tramite il confronto e l'applicazione. È buona norma eseguire il confronto e l'applicazione.

  Ricaricamento di un set di dati basato su una trasformazione SQL o di un flusso di trasformazione

È possibile annullare il ricaricamento per le tabelle con ricaricamento in attesa facendo clic su Annulla ricaricamento. Questa azione non avrà alcun effetto sulle tabelle che sono state già ricaricate e i ricaricamenti attualmente in esecuzione verranno completati.

Le attività a valle verranno ricaricate per applicare le modifiche, per evitare la retrodatazione.

L'impatto a valle dipende dal tipo di operazione di ricaricamento eseguita, oltre al tipo di set di dati immediato a valle. L'elaborazione standard significa che il set di dati reagirà ed elaborerà i dati utilizzando il metodo configurato per quel set di dati specifico.

Esempio: ricaricamento di un set di dati tramite troncamento e caricamento

• Se il set di dati successivo utilizza le trasformazioni del set di dati, verrà ricaricato alla successiva esecuzione tramite troncamento e caricamento.

• Se il set di dati successivo è una trasformazione SQL o un flusso di trasformazione, verrà ricaricato tramite il confronto e l'applicazione.

Ricaricamento di un set di dati senza cronologia

In questo caso, non è necessario includere la cronologia. Per ridurre l'elaborazione nella destinazione, il ricaricamento viene completato eseguendo le seguenti operazioni:

1. Troncando le tabelle.

2. Caricando i dati correnti dall'attività dati a monte.

Le attività a valle verranno ricaricate per applicare le modifiche.

Ricaricamento di un set di dati con cronologia abilitata

Il ricaricamento viene eseguito nei seguenti modi:

1. Troncando le tabelle correnti, quelle precedenti e le tabelle delle modifiche.

2. Caricando i dati dall'attività dati a monte, incluse le tabelle precedenti.

Ricaricamento di un set di dati basato su una trasformazione SQL o di un flusso di trasformazione

• Tronca e ricarica

  Nota informaticaQuesta opzione può causare la perdita dei dati della cronologia.

  1. Troncando le tabelle correnti e le tabelle delle modifiche.

  2. Eseguendo la query caricandola nelle tabelle correnti.

• Ricarica e confronta

  1. Eseguendo la query e confrontandola con le tabelle correnti.

  2. Aggiungendo le modifiche.

Impostazioni di trasformazione

È possibile impostare le proprietà per l'attività dati di trasformazione.

• Fare clic su Impostazioni.

Impostazioni generali

• Database

  Database da utilizzare nella sorgente dati.

• Schema attività

  È possibile modificare il nome dello schema dell'attività dati. Il nome predefinito è il nome dell'attività.

• Schema interno

  È possibile modificare il nome dello schema interno di archiviazione. Il nome predefinito è il nome dell'attività con "__internal" aggiunto.

• Prefisso per tutte le tabelle e le visualizzazioni

  È possibile impostare un prefisso per tutte le tabelle e visualizzazioni create per questa attività.

  Nota informaticaSe si desidera utilizzare uno schema del database per più attività, è necessario usare un prefisso univoco.

• Materializzato

  È possibile scegliere di creare solo visualizzazioni che eseguono trasformazioni istantanee (Non materializzate), oppure di creare sia tabelle che visualizzazioni (Materializzate).

• Cronologia

  È possibile conservare i dati delle modifiche cronologiche per ricreare facilmente i dati così come apparivano in un momento specifico. È possibile utilizzare le viste della cronologia e le viste della cronologia "live", ossia in tempo reale, per vedere i dati storici.

Impostazioni del tempo di esecuzione

• Esecuzione parallela

  È possibile impostare il numero massimo di connessioni per caricamenti completi su un numero compreso tra 1 e 5.

• Warehouse

  Nome del data warehouse cloud.

Impostazioni Catalogo

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come un set di dati. Il contenuto del Catalogo verrà aggiornato la volta successiva che si prepara l'attività.

Per ulteriori informazioni sul Catalogo, vedere Informazioni sui dati con gli strumenti del catalogo.

Limiti

• Non è possibile modificare i tipi di dati in un'attività dati di trasformazione quando è selezionata l'opzione Non materializzato.

• La derivazione a livello di campo non è disponibile per i set di dati creati nelle trasformazioni SQL o nei flussi di trasformazione.