Trasformazione dei dati

È possibile creare trasformazioni dati riutilizzabili e basate su regole come parte della propria pipeline di dati. È possibile eseguire trasformazioni come parte dell'onboarding dei dati o creare attività dati di trasformazione riutilizzabili. È possibile eseguire trasformazioni a livello di riga, includere trasformazioni SQL e progettare flussi di trasformazione complessi. I set di dati risultanti possono essere materializzati come tabelle o creati come viste che eseguono trasformazioni al volo.

• È possibile eseguire trasformazioni esplicite dei set di dati o creare regole globali che trasformano più set di dati. È inoltre possibile filtrare un set di dati per creare un sottoinsieme di righe.

• È possibile aggiungere trasformazioni SQL. Una trasformazione SQL consente di inserire una query SQL SELECT in una pipeline per definire trasformazioni complesse o semplici.

• È possibile aggiungere flussi di trasformazione visivi con sorgenti, processori e destinazioni per definire trasformazioni complesse o semplici.

Un'attività dati di trasformazione contiene tre viste:

• Trasforma

  Questa vista mostra tutte le trasformazioni per visualizzare il flusso dal set di dati di origine al set di dati di destinazione.

• Set di dati

  Questa vista mostra tutte le trasformazioni di base sui set di dati, come il filtraggio dei dati o l'aggiunta di colonne, nonché le regole per eseguire trasformazioni globali.

• Modello

  Questa vista consente di creare un modello dati con le relazioni tra i set di dati inclusi. Per ulteriori informazioni, vedere Creazione di un modello dati.

Oltre a memorizzare le tabelle nel data warehouse, è possibile anche memorizzare le tabelle come tabelle Iceberg, che è possibile gestire dalla piattaforma dati. Questa opzione attualmente è disponibile solo con i progetti Snowflake. È possibile utilizzarla selezionando le Tabelle Iceberg gestite da Snowflake alla voce Tipo di tabella nelle impostazioni dell'attività.

Creazione di un'attività dati di trasformazione

Il modo più semplice per creare un'attività dati di trasformazione è fare clic su ... in un'attività dati di archiviazione e quindi selezionare Trasforma dati.

È inoltre possibile fare clic su Crea in un progetto e selezionare Trasforma dati. In questo caso è necessario definire quale attività dati di origine utilizzare.

1. Definire i dati di origine e le destinazioni in Trasforma.

   È possibile:

   • Eseguire trasformazioni dei set di dati

     Selezionare i set di dati di origine e fare clic su Aggiungi a destinazione per aggiungerli a Destinazione.

     È quindi possibile eseguire trasformazioni di base sui set di dati, come il filtraggio dei dati o l'aggiunta di colonne, in Set di dati.

     Per ulteriori informazioni, vedere Gestione dei set di dati.

   • Aggiungere una trasformazione SQL

     Selezionare i set di dati di origine e fare clic su Aggiungi trasformazione SQL.

     Una trasformazione SQL consente di inserire una query SQL SELECT in una pipeline per definire trasformazioni complesse o semplici.

     Per ulteriori informazioni, vedere Aggiunta di trasformazioni SQL.

   • Aggiungere un flusso di trasformazione

     Selezionare i set di dati di origine e fare clic su Aggiungi flusso di trasformazione.

     Il designer di flussi consente di creare un flusso di trasformazione con sorgenti, processori e destinazioni per definire trasformazioni complesse o semplici.

     Per ulteriori informazioni, vedere Aggiunta di flussi di trasformazione.

2. È inoltre possibile aggiungere altri set di dati da altre attività dati di archiviazione facendo clic su Seleziona dati di origine.

   È possibile aggiungere set di dati dal progetto corrente o da un altro progetto. Per aggiungere set di dati da un altro progetto:

   • È necessario disporre almeno del ruolo Può consumare nello spazio del progetto consumato.

   • Entrambi i progetti devono trovarsi sulla stessa piattaforma dati.

   Se il progetto selezionato è sotto controllo di versione, è possibile selezionare quale ramo utilizzare come origine. Per ulteriori informazioni sulle pipeline tra progetti, vedere Creazione di pipeline tra progetti.

3. Dopo aver aggiunto le trasformazioni desiderate, convalidare i set di dati facendo clic su Convalida set di dati. Se la convalida rileva errori, correggerli prima di procedere.

   Per ulteriori informazioni, vedere Convalida e regolazione dei set di dati.

4. Creare un modello dati

   Fare clic su Modello per impostare le relazioni tra i set di dati inclusi.

   Per ulteriori informazioni, vedere Creazione di un modello dati.

5. Fare clic su Prepara per preparare l'attività dati e tutti gli artefatti richiesti. Questa operazione potrebbe richiedere un po' di tempo.

   È possibile seguire l'avanzamento in Avanzamento preparazione nella parte inferiore dello schermo.

   Nota informaticaPrima di preparare un'attività, interrompere tutte le attività direttamente a valle.

6. Quando lo stato visualizza Preparato, è possibile eseguire l'attività dati .

   Fare clic su ... e quindi su Esegui.

L'attività dati inizierà ora a creare set di dati per trasformare i dati.

Utilizzo della vista Trasforma

In Trasforma, vengono visualizzate tutte le trasformazioni per visualizzare il flusso dal set di dati di origine al set di dati di destinazione.

• Selezionare una trasformazione per vedere quali set di dati di origine vengono utilizzati e quali set di dati di destinazione vengono creati.

• Selezionare un'origine per vedere tutte le trasformazioni in cui viene utilizzata e tutte le destinazioni risultanti.

• Selezionare una destinazione per vedere quali sono i set di dati di origine e quale trasformazione ha creato questo set di dati di destinazione.

È possibile modificare le seguenti impostazioni facendo clic su Opzioni di visualizzazione:

• Filtra per tipo di trasformazione

  Visualizza solo le trasformazioni di uno o due tipi di trasformazione.

• Filtro

  Visualizza tutte le trasformazioni o solo la trasformazione selezionata. È necessario selezionare una trasformazione per abilitare questa opzione.

• Densità

  Selezionare se si desidera visualizzare le trasformazioni con un layout compatto o un layout ampio che utilizza più spazio.

Utilizzo della vista Set di dati

In Set di dati è possibile visualizzare e modificare tutti i set di dati di destinazione nell'attività di trasformazione.

Vedere anche Gestione dei set di dati per ulteriori informazioni.

Aggiunta di un set di dati di destinazione

È possibile aggiungere altri set di dati di destinazione all'attività di trasformazione.

1. Fare clic su .

2. Fornire il Nome e facoltativamente la Descrizione per il set di dati.

3. Selezionare un set di dati di origine dai set di dati disponibili nell'attività in Set di dati di origine.

   Nota di suggerimentoÈ possibile selezionare Nessun set di dati di origine per creare un set di dati vuoto, non connesso ad alcuna origine. È possibile aggiungere colonne al set di dati durante la progettazione, ma è necessario connettersi a un set di dati di origine prima di poter preparare l'attività.

Il set di dati di destinazione è ora aggiunto.

Modifica del set di dati di origine

È possibile modificare il set di dati di origine di un set di dati di destinazione.

1. Fare clic su dopo Origine: [nome del set di dati di origine].

2. Selezionare un altro set di dati di origine dai set di dati disponibili nell'attività in Set di dati di origine.

   Nota di suggerimentoÈ possibile selezionare Nessun set di dati di origine per disconnettere il set di dati di destinazione dall'origine. È possibile modificare il set di dati durante la progettazione, ma è necessario connettersi a un set di dati di origine prima di poter preparare l'attività.

Aggiunta di nuove colonne

È possibile aggiungere nuove colonne al set di dati di destinazione.

• Aggiunta di una nuova colonna da zero

  Fare clic su + Aggiungi.

  Fornire un nome per la colonna e impostare un'espressione per definire i dati della colonna.

  Per ulteriori informazioni, vedere Aggiunta di colonne a un set di dati.

• Aggiunta di una colonna dall'origine

  Fare clic su accanto a Aggiungi e selezionare Aggiungi colonna da origine.

  Selezionare una colonna dal set di dati di origine.

Riordino delle colonne

È possibile modificare la posizione ordinale di una colonna.

1. Selezionare una colonna.

2. Fare clic su e quindi su Riordina.

3. Utilizzare le frecce per spostare la colonna verso l'alto o verso il basso.

4. Chiudere Modifica ordinale quando si è pronti.

Creazione di regole di trasformazione

È possibile creare regole di trasformazione riutilizzabili per eseguire trasformazioni globali sui set di dati.

Per ulteriori informazioni sulla creazione di regole, vedere Creazione di regole per la trasformazione di set di dati.

Filtraggio di un set di dati

È possibile filtrare i dati per creare un sottoinsieme di righe, se necessario.

• Fare clic su e quindi su Filtro.

Per ulteriori informazioni sul filtraggio, vedere Filtrazione di una serie di dati.

Pianificazione di un'attività di trasformazione

È possibile pianificare un'attività di trasformazione in modo che venga aggiornata periodicamente. È possibile impostare una pianificazione basata sul tempo o impostare l'esecuzione dell'attività al termine dell'esecuzione delle attività dati di input.

Fare clic su ... in un'attività dati e selezionare Pianificazione per creare una pianificazione. L'impostazione di pianificazione predefinita viene ereditata dalle impostazioni nel progetto. Per ulteriori informazioni sulle impostazioni predefinite, vedere Valori predefiniti di trasformazione.

È sempre necessario impostare Pianificazione su On per abilitare la pianificazione.

Pianificazioni basate sul tempo

È possibile utilizzare una pianificazione basata sul tempo per eseguire l'attività indipendentemente da quando vengono aggiornate le diverse origini di input.

• Selezionare A un'ora specifica in Esegui l'attività dati.

È possibile impostare una pianificazione oraria, giornaliera, settimanale o mensile.

Pianificazioni basate su eventi

È possibile utilizzare una pianificazione basata su eventi per eseguire l'attività al termine dell'esecuzione delle attività dati di input.

• Selezionare Su un evento specifico in Esegui l'attività dati.

È possibile selezionare se si desidera eseguire l'attività quando una qualsiasi delle attività di input è stata completata correttamente o quando una qualsiasi di una selezione di attività di input è stata completata correttamente.

Monitoraggio di un'attività di trasformazione

È possibile monitorare lo stato e l'avanzamento di un'attività di trasformazione facendo clic su Monitora.

Per ulteriori informazioni, vedere Monitoraggio di un'attività dati individuale.

Ricaricamento dei dati

È possibile eseguire un ricaricamento manuale delle tabelle se i dati sono materializzati come tabelle fisiche. Ciò è utile in caso di problemi con una o più tabelle.

1. Aprire l'attività dati e selezionare la scheda Monitora.

2. Selezionare le tabelle che si desidera ricaricare.

3. Fare clic su Ricarica tabelle.

Il ricaricamento avverrà alla successiva esecuzione dell'attività. Il processo di ricaricamento si comporta in modo diverso a seconda dell'impostazione della cronologia e del tipo di trasformazione di ciascun set di dati. Ciò significa che il processo di ricaricamento può differire tra i set di dati in un'attività dati.

• Le trasformazioni dei set di dati vengono ricaricate troncando e caricando.

• Le trasformazioni SQL e i flussi di trasformazione possono essere ricaricati troncando e caricando, oppure confrontando e applicando. La best practice è confrontare e applicare.

  Ricaricamento di un set di dati basato su trasformazione SQL o flusso di trasformazione

È possibile annullare il ricaricamento per le tabelle che sono in attesa di ricaricamento facendo clic su Annulla ricaricamento. Ciò non influirà sulle tabelle già ricaricate e i ricaricamenti attualmente in esecuzione verranno completati.

Le attività a valle verranno ricaricate per applicare le modifiche e per evitare la retrodatazione.

L'impatto a valle dipende dal tipo di operazione di ricaricamento eseguita e dal tipo di set di dati immediatamente a valle. L'elaborazione standard significa che il set di dati reagirà ed elaborerà i dati utilizzando il metodo configurato per il set di dati specifico.

Esempio: Ricaricamento di un set di dati tramite troncamento e caricamento

• Se il set di dati successivo utilizza trasformazioni del set di dati, verrà ricaricato all'esecuzione successiva tramite un troncamento e caricamento.

• Se il set di dati successivo è una trasformazione SQL o un flusso di trasformazione, verrà ricaricato utilizzando il confronto e l'applicazione.

Ricaricamento di un set di dati senza cronologia

In questo caso, non c'è alcuna cronologia da considerare. Per ridurre l'elaborazione sulla destinazione, il ricaricamento viene eseguito tramite:

1. Troncamento delle tabelle.

2. Caricamento dei dati correnti dall'attività dati a monte.

Le attività a valle verranno ricaricate per applicare le modifiche.

Ricaricamento di un set di dati con cronologia abilitata

Il ricaricamento viene eseguito tramite:

1. Troncamento delle tabelle correnti, precedenti e delle modifiche.

2. Caricamento dei dati dall'attività dati a monte, incluse le tabelle precedenti.

Ricaricamento di un set di dati basato su trasformazione SQL o flusso di trasformazione

• Tronca e ricarica

  Nota informaticaQuesta opzione potrebbe causare la perdita della cronologia.

  1. Troncamento delle tabelle correnti e delle modifiche.

  2. Esecuzione della query e caricamento nelle tabelle correnti.

• Ricarica e confronta

  1. Esecuzione della query e confronto con le tabelle correnti.

  2. Aggiunta delle modifiche.

Eliminazione di un'attività

È possibile eliminare l'attività di dati se non è in esecuzione e non ci sono dipendenze da attività downstream nello stesso progetto.

• Nella vista Progetto pipeline del progetto, fare clic su su un'attività e selezionare Elimina.

Anche gli artefatti (tabelle e viste) creati dall'attività verranno eliminati, a meno che non si scelga di mantenerli.

Visualizzazione delle informazioni sull'attività

Fare clic su sulla barra dei menu per visualizzare le informazioni sull'attività, ad esempio:

• Proprietario

• Spazio

• Piattaforma dati

• ID progetto

• ID tempo di esecuzione attività dati

Impostazioni di trasformazione

È possibile impostare le proprietà per l'attività dati di trasformazione .

• Fare clic su Impostazioni.

Impostazioni generali

• Database

  Database da utilizzare nella sorgente dati.

• Schema attività

  È possibile modificare il nome dello schema dell'attività dati. Il nome predefinito è il nome dell'attività.

• Schema interno

  È possibile modificare il nome dello schema di archiviazione interno. Il nome predefinito è il nome dell'attività con l'aggiunta di "__internal".

• Maiuscole/minuscole predefinite del nome dello schema

  È possibile impostare l'uso predefinito delle maiuscole/minuscole per tutti i nomi di schema. Se il database è configurato per forzare le maiuscole/minuscole, questa opzione non avrà effetto.

• Prefisso per tutte le tabelle e le visualizzazioni

  È possibile impostare un prefisso per tutte le tabelle e visualizzazioni create per questa attività.

  Nota informaticaSe si desidera utilizzare uno schema del database per più attività, è necessario usare un prefisso univoco.

• Materializzato

  È possibile scegliere di creare solo viste che eseguono trasformazioni al volo (Non materializzato) o creare sia tabelle che viste (Materializzato).

• Archivio dati storici (Tipo 2)

  È possibile conservare i dati delle modifiche storiche per consentire di ricreare facilmente i dati come apparivano in un momento specifico. È possibile utilizzare le viste cronologia e le viste cronologia in tempo reale per visualizzare i dati storici.

• Pubblica nel catalogo

  Selezionare questa opzione per pubblicare questa versione dei dati nel Catalogo come un set di dati. Il contenuto del Catalogo verrà aggiornato la volta successiva che si prepara l'attività.

  Per ulteriori informazioni sul Catalogo, vedere Informazioni sui dati con gli strumenti del catalogo.

Impostazioni di runtime

• Esecuzione parallela

  È possibile impostare il numero massimo di connessioni per i caricamenti completi su un numero da 1 a 5.

• Warehouse

  Il nome del data warehouse cloud.

Impostazioni del tipo di vista

Le impostazioni del tipo di vista sono applicabili solo per Snowflake.

• Viste standard

  Utilizzare le viste standard per la maggior parte dei casi.

• Viste sicure Snowflake

  Utilizzare le viste sicure Snowflake per le viste designate per la privacy dei dati o la protezione delle informazioni sensibili, come le viste create per limitare l'accesso ai dati sensibili che non dovrebbero essere esposti a tutti gli utenti delle tabelle sottostanti.

  Nota informatica Le viste sicure Snowflake possono essere eseguite più lentamente rispetto alle viste standard.

Impostazioni del tipo di tabella

Queste impostazioni sono disponibili solo nei progetti con Snowflake come piattaforma dati.

• Tipo di tabella

  È possibile selezionare il tipo di tabella da utilizzare:

  • Tabelle Snowflake

  • Tabelle Iceberg gestite da Snowflake

    È necessario impostare il nome predefinito del volume esterno in Volume esterno Snowflake.

• Archiviazione cloud da utilizzare

  Selezionare la cartella da utilizzare durante il trasferimento dei dati nell'area di staging.

  • Cartella predefinita

    Viene creata una cartella con il nome predefinito: <nome progetto>/<nome attività di dati>.

  • Cartella radice

    Archivia i dati nella cartella radice dell'archivio.

  • Cartella

    Specifica un nome di cartella da utilizzare.

• Sincronizza con Snowflake Open Catalog

  Abilitare questa opzione per consentire a Snowflake Open Catalog di gestire i file nell'archiviazione cloud.

Best practice

• Non è possibile modificare l'origine per un set di dati in un data mart se sono stati aggiunti fatti e dimensioni. Se si desidera essere flessibili, è possibile aggiungere un'attività Trasforma precedente con viste non materializzate che possono essere utilizzate per modificare le origini e anche per avere un modello per tutte le attività di origine.

Limitazioni

• Non è possibile modificare i tipi di dati in un'attività dati di trasformazione quando è selezionata l'opzione Non materializzato.

• La derivazione a livello di campo non è disponibile per i set di dati creati in trasformazioni SQL o flussi di trasformazione.

• L'utilizzo di Aggiungi a destinazione per leggere da un'attività Mirror di Qlik Open Lakehouse impostata su Solo accodamento non è supportato.

  Come soluzione alternativa, è possibile leggere i dati utilizzando una trasformazione SQL o un flusso di trasformazione.