Creazione di regole per la trasformazione di set di dati

È possibile creare regole di trasformazione riutilizzabili per eseguire la trasformazione globale su set di dati nelle attività dati di Replica, Trasferimento, Archiviazione, Trasformazione e Data mart.

Selezionare Set di dati, fare clic su Regole di trasformazione e quindi su Aggiungi regola di trasformazione per creare una nuova regola di trasformazione.

1. Selezionare il tipo di trasformazione e fare clic su Avanti.

   È possibile eseguire le seguenti trasformazioni:

   • Ridenominazione dei set di dati

   • Sovrascrivi pubblicazione messaggi dati

     Nota informatica

     • Disponibile solo per target Kafka.

     • Se si utilizza Data Movement gateway (richiesto con Kafka on-premise), è richiesta la versione 2025.5.40 o successiva.

   • Rinomina colonne

   • Aggiungi colonne

   • Elimina colonne

   • Converti tipi di dati

   • Sostituisci valori colonna

2. Selezionare l'ambito di trasformazione e fare clic su Avanti.

3. Selezionare l'azione di trasformazione da eseguire e fare clic su Avanti.

4. Aggiungere un nome e una descrizione per la regola e fare clic su Fine.

La regola verrà applicata quando si esegue l'attività dati. Se si aggiungono più regole, queste vengono eseguite nell'ordine in cui sono elencate.

Ambito di trasformazione

Quando più trasformazioni si applicano allo stesso set di dati o alle stesse colonne, l'ambito è sempre sui nomi di origine originali, mentre l'azione si riferisce al valore dopo l'applicazione della regola precedente. Ad esempio, se si hanno queste regole:

1. Rinominare tutti i set di dati che iniziano con Abc_ (Abc_%) per modificare il prefisso in ABC_.

2. Aggiungere il suffisso _zzz ai set di dati che iniziano con ABC_ (ABC_%).

L'applicazione delle regole a questi set di dati fornirebbe questi risultati. Si noti che dopo la seconda regola, il suffisso _zzz non viene aggiunto a ABC_clienti poiché l'ambito è sempre sul nome originale (Abc_clienti).

Ridenominazione dei set di dati

1. Selezionare Rinomina set di dati, quindi fare clic su Avanti.

2. Impostare l'ambito di trasformazione, ovvero quali set di dati rinominare. È possibile utilizzare % come carattere jolly per selezionare più set di dati da uno o più asset di dati.

   Fare clic su Avanti.

3. Impostare l'azione di trasformazione È possibile eseguire le seguenti azioni:

   • Rinominare il set di dati con un nome fisso.

   • Aggiungere un prefisso o suffisso.

   • Rimuovere un prefisso o suffisso.

   • Sostituire un prefisso o suffisso.

   • Cambiare minuscolo/maiuscolo in minuscolo o maiuscolo.

   • Sostituire i nomi di serie di dati usando un'espressione.

   • Sostituire i nomi di set di dati usando un dizionario.

     Per ulteriori informazioni, vedere Rinomina di set di dati o colonne utilizzando un dizionario.

   Fare clic su Avanti quando si è pronti.

4. Impostare il nome della regola e fare clic su Fine.

Personalizzazione pubblicazione messaggi dati

1. Seleziona Personalizza pubblicazione messaggi di dati, quindi fai clic su Avanti.

2. Imposta l'ambito di trasformazione, ovvero per quali set di dati ignorare le impostazioni di pubblicazione dei messaggi di dati. È possibile utilizzare % come carattere jolly per selezionare più set di dati da uno o più asset di dati.

   Fare clic su Avanti.

3. Impostare l'azione di trasformazione

   Per ogni impostazione, l'impostazione dell'attività corrente è indicata dal campo Impostazione attività: <impostazione> (ad esempio, Impostazione attività: Argomento specifico).

   Per una descrizione di queste impostazioni, vedere Pubblicazione messaggi dati.

   È possibile mantenere l'impostazione dell'attività o utilizzare l'Expression Builder per specificare un argomento personalizzato, una chiave di messaggio o una chiave di partizione.

   Nota informaticaQueste impostazioni sovrascriveranno le impostazioni delle attività, ma non sovrascriveranno le impostazioni configurate per i singoli set di dati.

   Per utilizzare l'Expression Builder:

   1. Selezionare, a seconda dei casi, il campo Argomento personalizzato, Chiave messaggio personalizzata o Chiave partizione personalizzata e fare clic su .

      Nota informaticaGli argomenti personalizzati devono essere già presenti o il broker deve essere configurato per crearli.

      Si apre il Generatore di espressioni.

   2. Crea un'espressione.

      È possibile utilizzare colonne nel set di dati, funzioni e operatori per generare l'espressione.

      Fare clic su per spostare un elemento nell'espressione.

      È inoltre possibile utilizzare nell'espressione tutte le funzioni supportate da Kafka.

   3. Fare clic su Estrai parametri.

      È ora possibile aggiungere un valore di prova a Valore da verificare per tutti i parametri.

   4. Fare clic su Prova espressione.

      Ora si dovrebbe vedere il risultato dell'espressione, usando i valori del test.

   5. Quando si è pronti, fare clic su OK.

      L'espressione viene aggiunta al campo.

   Nota di suggerimentoPer rimuovere una colonna aggiunta, selezionarla e fare clic su Ripristina.

   Generazione di espressioni

   È necessario generare un'espressione che definisca valori personalizzati. È possibile utilizzare:

   • Funzioni

     Funzioni di stringa, funzioni numeriche, funzioni di controllo nullo, funzioni di data e ora e funzioni logiche.

   • Operatori

     Operatori matematici e logici. Alcuni operatori sono disponibili anche nella barra degli strumenti sopra l'espressione. Questo è anche il punto in cui si trova l'operatore per la concatenazione di stringhe, ||.

   • Metadati

     Vedere Inclusione di metadati in un'espressione.

   Fare clic su per spostare un elemento nell'espressione.

   È inoltre possibile utilizzare nell'espressione tutte le funzioni supportate da Kafka.

   Fare clic su Avanti quando si è pronti.

4. Impostare il nome della regola e fare clic su Fine.

Rinomina di colonne

1. Selezionare Rinomina colonna, quindi fare clic su Avanti.

2. Impostare l'ambito di trasformazione, ovvero quali colonne rinominare. È possibile utilizzare il simbolo % come carattere jolly per selezionare varie colonne da uno o più set di dati e attività dati.

   È possibile anche limitare l'azione a un determinato tipo di dati. Impostare il tipo di dati su UNSPECIFIED per eseguire l'azione per tutte le colonne corrispondenti, indipendentemente dal tipo di dati.
   

   Fare clic su Avanti.

   È possibile inoltre limitare l'ambito alle colonne chiave o che ammettono valori null.

3. Impostare l'azione di trasformazione È possibile eseguire le seguenti azioni:

   • Rinominare la colonna con un nome fisso.

   • Aggiungere un prefisso o suffisso.

   • Rimuovere un prefisso o suffisso.

   • Sostituire un prefisso o suffisso.

   • Cambiare il minuscolo/maiuscolo della colonna in minuscolo o maiuscolo.

   • Sostituire i nomi delle colonne usando un'espressione.

   • Sostituire i nomi delle colonne usando un dizionario.

     Per ulteriori informazioni, vedere Rinomina di set di dati o colonne utilizzando un dizionario.

   Fare clic su Avanti quando si è pronti.

4. Impostare il nome della regola e fare clic su Fine.

Aggiungere colonne

1. Selezionare Aggiungi colonna, quindi fare clic su Avanti.

2. Impostare l'ambito di trasformazione, ovvero quali set di dati aggiungere alla colonna. È possibile utilizzare il simbolo % come carattere jolly per aggiungere la colonna a uno o più set di dati.
   

   Fare clic su Avanti.

3. Impostare i dettagli della nuova colonna:

   • Nome colonna.

   • Utilizzare il generatore di espressioni per impostare Valore per la colonna.

   • Selezionare Aggiungi alla chiave primaria per utilizzare questa colonna come chiave primaria.

   • Impostare il tipo di dati in Tipo di dati di destinazione.

   • Se il tipo di dati è BYTES, STRING, o WSTRING, specificare anche una Lunghezza.

     Se il tipo di dati è NUMERIC, specificare anche Precisione e Scala.

   Fare clic su Avanti quando si è pronti.

4. Impostare il nome della regola e fare clic su Fine.

Eliminazione di colonne

1. Selezionare Elimina colonna, quindi fare clic su Avanti.

2. Impostare l'ambito di trasformazione, ovvero quali colonne eliminare. È possibile utilizzare % come carattere jolly per selezionare varie colonne da uno o più asset di dati e serie di dati.

   È possibile anche limitare l'azione a un determinato tipo di dati. Impostare il tipo di dati su UNSPECIFIED per eseguire l'azione per tutte le colonne corrispondenti, indipendentemente dal tipo di dati.
   

   Fare clic su Avanti.

   È possibile inoltre limitare l'ambito alle colonne chiave o che ammettono valori null.

3. Impostare il nome della regola e fare clic su Fine.

Conversione di tipi di dati

1. Selezionare Converti tipo di dati, quindi fare clic su Avanti.

2. Impostare l'ambito di trasformazione, ovvero quali tipi di dati convertire. È possibile utilizzare % come carattere jolly per selezionare varie colonne da uno o più asset di dati e serie di dati.

   È possibile anche limitare l'azione a un determinato tipo di dati. Impostare il tipo di dati su UNSPECIFIED per eseguire l'azione per tutte le colonne corrispondenti, indipendentemente dal tipo di dati.
   

   Fare clic su Avanti.

   È possibile inoltre limitare l'ambito alle colonne chiave o che ammettono valori null.

3. Impostare l'azione di trasformazione

   • Impostare Tipo di dati di destinazione sul tipo di dati in cui effettuare la conversione.

   • Se il tipo di dati è BYTES, STRING, o WSTRING, specificare anche una Lunghezza.

     Se il tipo di dati è NUMERIC, specificare anche Precisione e Scala.

   Fare clic su Avanti quando si è pronti.

4. Impostare il nome della regola e fare clic su Fine.

Vedere anche: Gestione dei tipi di dati

Sostituzione di valori colonna

1. Selezionare Sostituisci valori colonna, quindi fare clic su Avanti.

2. Impostare l'ambito di trasformazione, ovvero le colonne per le quali sostituire i valori. È possibile utilizzare % come carattere jolly per selezionare varie colonne da uno o più asset di dati e serie di dati.

   È possibile anche limitare l'azione a un determinato tipo di dati. Impostare il tipo di dati su UNSPECIFIED per eseguire l'azione per tutte le colonne corrispondenti, indipendentemente dal tipo di dati.
   

   Fare clic su Avanti.

   È possibile inoltre limitare l'ambito alle colonne chiave o che ammettono valori null.

3. Impostare l'azione di trasformazione

   • Impostare un'espressione per definire i valori di sostituzione in Valore target.

   • Impostare Tipo di dati target sul tipo di dati relativo alle colonne sostituite.

   • Se il tipo di dati è BYTES, STRING, o WSTRING, specificare anche una Lunghezza.

     Se il tipo di dati è NUMERIC, specificare anche Precisione e Scala.

   Fare clic su Avanti quando si è pronti.

4. Impostare il nome della regola e fare clic su Fine.

Rinomina di set di dati o colonne utilizzando un dizionario

È possibile utilizzare un dizionario per rinominare set di dati o colonne. È utile quando si lavora con un gran numero di oggetti che utilizzano convenzioni di denominazione criptiche. È possibile aggiungere le traduzioni in un editor di dizionari o importare un file CSV contenente le traduzioni. È anche possibile esportare il dizionario in un file CSV e riutilizzarlo in un altro asset di dati.

Rinomina per dizionario è disponibile in Azioni di trasformazione una volta selezionato Rinomina set di dati o Rinomina colonne. Fare clic su per aprire l'editor dizionari.

• Fare clic su Aggiungi traduzione e inserire il Nome sorgente e il Nome tradotto per aggiungere una traduzione al dizionario.

Dopo aver creato le traduzioni necessarie, fare clic su OK per chiudere l'editor del dizionario.

Importazione di traduzioni

È possibile importare le traduzioni da un file CSV contenente un dizionario. Il file deve contenere una traduzione per riga. Esempio:

• Fare clic su Aggiungi da CSV e selezionare il file CSV da importare.

Le traduzioni del dizionario importato vengono aggiunte al proprio dizionario.

Esportazione di traduzioni

È possibile esportare il dizionario in un file CSV per poterlo riutilizzare in altri asset di dati.

• Fare clic su Esporta in CSV.

Il dizionario viene esportato in un file CSV.

Inclusione di metadati in un'espressione

La scheda Metadati dell'editor delle espressioni contiene le seguenti variabili utilizzabili in un'espressione di una regola di trasformazione.

Esempio:  

È possibile rinominare tutte le tabelle che si trovano nell'ambito della trasformazione per aggiungere il nome dello schema come prefisso con la seguente espressione:

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Ad esempio, si può rinominare la tabella prodotti nello schema dwprod in dwprod.products.

Gestione delle regole

Le regole si possono gestire nel riquadro Regole .

• Fare clic su Regole.

È possibile abilitare/disabilitare una regola, eliminare una regola e modificare una regola.