Skapa regler för att transformera dataset

Du kan skapa återanvändbara transformeringsregler för att utföra global transformering på dataset i datauppgifterna Replication, Landing, Storage, Transform, och Data mart.

Välj Datasets, klicka på Transformation rules och sedan på Add transformation rule för att skapa en ny transformeringsregel.

1. Välj transformeringstyp och klicka på Next.

   Du kan utföra följande transformeringar:

   • Byta namn på dataset

   • Åsidosätta publicering av datameddelanden

     Anteckning om information

     • Endast tillgängligt för Kafka-mål.

     • Om du använder Data Movement gateway (krävs med lokal Kafka) krävs version 2025.5.40 eller senare.

   • Byta namn på kolumner

   • Lägga till kolumner

   • Ta bort kolumner

   • Konvertera datatyper

   • Ersätta kolumnvärden

2. Välj transformeringsomfång och klicka på Next.

3. Välj vilken transformeringsåtgärd som ska utföras och klicka på Next.

4. Ange ett namn och en beskrivning för regeln och klicka på Finish.

Regeln tillämpas när du kör datauppgiften. Om du lägger till mer än en regel körs reglerna i den ordning de listas.

Transformeringsomfång

När flera transformeringar tillämpas på samma dataset eller kolumner ligger omfånget alltid på de ursprungliga källnamnen, medan åtgärden relaterar till värdet efter att den föregående regeln tillämpades. Om du till exempel har dessa regler:

1. Byt namn på alla dataset som börjar med Abc_ (Abc_%) för att ändra prefix till ABC_.

2. Lägg till suffixet _zzz för dataset som börjar med ABC_ (ABC_%).

Att tillämpa reglerna på dessa dataset skulle ge följande resultat. Observera att efter den andra regeln läggs suffixet _zzz inte till för ABC_customers eftersom omfånget alltid ligger på det ursprungliga namnet (Abc_customers).

Byta namn på dataset

1. Välj Rename dataset och klicka sedan på Next.

2. Ange transformeringsomfånget, det vill säga vilka dataset som ska byta namn. Du kan använda % som ett jokertecken för att välja flera dataset från en eller flera datatillgångar.

   Klicka på Next.

3. Ange transformeringsåtgärden. Du kan utföra följande åtgärder:

   • Byta namn på dataset till ett fast namn.

   • Lägga till ett prefix eller suffix.

   • Ta bort ett prefix eller suffix.

   • Ersätta ett prefix eller suffix.

   • Ändra skiftläge till gemener eller versaler.

   • Ersätta datasetnamn med ett uttryck.

   • Ersätta datasetnamn med en ordlista.

     Mer information finns i Byta namn på dataset eller kolumner med en ordlista.

   Klicka på Next när du är klar.

4. Ange namnet på regeln och klicka på Finish.

Anpassa publicering av datameddelanden

1. Välj Customize data message publishing och klicka sedan på Next.

2. Ange transformeringsomfånget, det vill säga för vilka dataset inställningarna för publicering av datameddelanden ska åsidosättas. Du kan använda % som ett jokertecken för att välja flera dataset från en eller flera datatillgångar.

   Klicka på Next.

3. Ange transformeringsåtgärden.

   För varje inställning anges den aktuella uppgiftsinställningen av fältet Uppgiftsinställning: <inställning> (till exempel, Uppgiftsinställning: Specifikt ämne).

   För en beskrivning av dessa inställningar, se Publicering av datameddelanden.

   Du kan antingen behålla uppgiftsinställningen eller använda uttrycksbyggaren för att ange ett anpassat ämne, meddelandenyckel eller partitionsnyckel.

   Anteckning om informationDessa inställningar åsidosätter uppgiftsinställningarna, men de åsidosätter inte inställningar som konfigurerats för individuella datauppsättningar.

   Så här använder du uttrycksbyggaren:

   1. Välj fältet Anpassat ämne, Anpassad meddelandenyckel eller Anpassad partitionsnyckel vid behov, och klicka på .

      Anteckning om informationAnpassade ämnen måste antingen redan finnas eller så måste brokern konfigureras för att skapa dem.

      Uttrycksverktyget öppnas.

   2. Bygg ett uttryck.

      Du kan använda funktioner, operatorer och metadata för att bygga upp uttrycket.

      Klicka på för att flytta ett objekt till uttrycket.

      Du kan också använda alla funktioner som stöds av Kafka i uttrycket.

   3. Klicka på Extract parameters.

      Du kan nu lägga till ett testvärde i Value to test för alla parametrar.

   4. Klicka på Test expression.

      Du bör nu se resultatet av uttrycket med testvärdena.

   5. Klicka på OK när du är klar.

      Uttrycket läggs till i fältet.

   Bygga uttryck

   Du måste bygga ett uttryck som definierar anpassade värden. Du kan använda:

   • Funktioner

     Strängfunktioner, numeriska funktioner, nollkontrollfunktioner, data- och tidsfunktioner samt logiska funktioner.

   • Operatorer

     Matematiska och logiska operatorer. Vissa operatorer finns också tillgängliga i verktygsfältet ovanför uttrycket. Det är också här du hittar operatorn för sammanfogande av strängar, ||.

   • Metadata

     Följande metadata är tillgänglig:

     • $Q_M_SCHEMA_NAMN
     • $Q_M_SOURCE_SCHEMA_NAME
     • $Q_M_SOURCE_TABLE_NAME
     • $Q_M_TABLE_NAME

   Klicka på för att flytta ett objekt till uttrycket.

   Du kan också använda alla funktioner som stöds av Kafka i uttrycket.

   Klicka på Next när du är klar.

4. Ange namnet på regeln och klicka på Finish.

Byta namn på kolumner

1. Välj Rename column och klicka sedan på Next.

2. Ange transformeringsomfånget, det vill säga vilka kolumner som ska byta namn. Du kan använda % som ett jokertecken för att välja flera kolumner från en eller flera datauppgifter och dataset.

   Du kan också begränsa åtgärden till en viss datatyp. Ange datatyp till UNSPECIFIED för att utföra åtgärden för alla matchande kolumner, oavsett datatyp.
   

   Klicka på Next.

   Du kan också begränsa omfånget till kolumner som är nycklar eller tillåter null-värden (nullable).

3. Ange transformeringsåtgärden. Du kan utföra följande åtgärder:

   • Byta namn på kolumnen till ett fast namn.

   • Lägga till ett prefix eller suffix.

   • Ta bort ett prefix eller suffix.

   • Ersätta ett prefix eller suffix.

   • Ändra kolumnens skiftläge till gemener eller versaler.

   • Ersätta kolumnnamn med ett uttryck.

   • Ersätta kolumnnamn med en ordlista.

     Mer information finns i Byta namn på dataset eller kolumner med en ordlista.

   Klicka på Next när du är klar.

4. Ange namnet på regeln och klicka på Finish.

Lägga till kolumner

1. Välj Add column och klicka sedan på Next.

2. Ange transformeringsomfånget, det vill säga till vilket dataset kolumnen ska läggas till. Du kan använda % som ett jokertecken för att lägga till kolumnen i ett eller flera dataset.
   

   Klicka på Next.

3. Ange detaljer för den nya kolumnen:

   • Column name.

   • Använd uttrycksverktyget för att ange Value för kolumnen.

   • Välj Add to primary key för att använda denna kolumn som en primärnyckel.

   • Ange datatypen i Target data type.

   • Om datatypen är BYTES, STRING eller WSTRING anger du även en Length.

     Om datatypen är NUMERIC anger du även Precision och Scale.

   Klicka på Next när du är klar.

4. Ange namnet på regeln och klicka på Finish.

Ta bort kolumner

1. Välj Drop column och klicka sedan på Next.

2. Ange transformeringsomfånget, det vill säga vilka kolumner som ska tas bort. Du kan använda % som ett jokertecken för att välja flera kolumner från en eller flera datatillgångar och dataset.

   Du kan också begränsa åtgärden till en viss datatyp. Ange datatyp till UNSPECIFIED för att utföra åtgärden för alla matchande kolumner, oavsett datatyp.
   

   Klicka på Next.

   Du kan också begränsa omfånget till kolumner som är nycklar eller tillåter null-värden (nullable).

3. Ange namnet på regeln och klicka på Finish.

Konvertera datatyper

1. Välj Convert data type och klicka sedan på Next.

2. Ange transformeringsomfånget, det vill säga vilka kolumner vars datatyp ska konverteras. Du kan använda % som ett jokertecken för att välja flera kolumner från en eller flera datatillgångar och dataset.

   Du kan också begränsa åtgärden till en viss datatyp. Ange datatyp till UNSPECIFIED för att utföra åtgärden för alla matchande kolumner, oavsett datatyp.
   

   Klicka på Next.

   Du kan också begränsa omfånget till kolumner som är nycklar eller tillåter null-värden (nullable).

3. Ange transformeringsåtgärden.

   • Ange Target data type till den datatyp som ska konverteras till.

   • Om datatypen är BYTES, STRING eller WSTRING anger du även en Length.

     Om datatypen är NUMERIC anger du även Precision och Scale.

   Klicka på Next när du är klar.

4. Ange namnet på regeln och klicka på Finish.

Se även: Hantera datatyper

Ersätta kolumnvärden

1. Välj Replace column values och klicka sedan på Next.

2. Ange transformeringsomfånget, det vill säga vilka kolumner vars värden ska ersättas. Du kan använda % som ett jokertecken för att välja flera kolumner från en eller flera datatillgångar och dataset.

   Du kan också begränsa åtgärden till en viss datatyp. Ange datatyp till UNSPECIFIED för att utföra åtgärden för alla matchande kolumner, oavsett datatyp.
   

   Klicka på Next.

   Du kan också begränsa omfånget till kolumner som är nycklar eller tillåter null-värden (nullable).

3. Ange transformeringsåtgärden.

   • Ange ett uttryck för att definiera ersättningsvärdena i Target value.

   • Ange Target data type till datatypen för de ersatta kolumnerna.

   • Om datatypen är BYTES, STRING eller WSTRING anger du även en Length.

     Om datatypen är NUMERIC anger du även Precision och Scale.

   Klicka på Next när du är klar.

4. Ange namnet på regeln och klicka på Finish.

Byta namn på dataset eller kolumner med en ordlista

Du kan använda en ordlista för att byta namn på dataset eller kolumner. Detta är användbart när du arbetar med ett stort antal objekt som använder kryptiska namngivningskonventioner. Du kan lägga till översättningar i ett ordlisteredigeringsverktyg eller importera en CSV-fil som innehåller översättningarna. Du kan också exportera ordlistan till en CSV-fil och återanvända den i en annan datatillgång.

Rename by dictionary är tillgängligt i Transformation actions när du har valt Rename datasets eller Rename columns. Klicka på för att öppna ordlisteredigeraren.

• Klicka på Add translation och fyll i Source name och Translated name för att lägga till en översättning i ordlistan.

När du har skapat de översättningar du behöver klickar du på OK för att stänga ordlisteredigeraren.

Importera översättningar

Du kan importera översättningar från en CSV-fil som innehåller en ordlista. Filen ska innehålla en översättning per rad. Exempel:

• Klicka på Append from CSV och välj den CSV-fil som ska importeras.

Översättningarna i den importerade ordlistan läggs till i din ordlista.

Exportera översättningar

Du kan exportera din ordlista till en CSV-fil för att kunna återanvända den i andra datatillgångar.

• Klicka på Export to CSV.

Ordlistan exporteras till en CSV-fil.

Inkludera metadata i ett uttryck

Fliken Metadata i uttrycksredigeraren innehåller följande variabler som du kan använda i ett uttryck i en transformeringsregel.

Du kan byta namn på alla tabeller som ingår i transformeringsomfånget för att lägga till schemanamnet som prefix med följande uttryck:

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Detta skulle till exempel byta namn på tabellen products i schemat dwprod till dwprod.products.

Hantera regler

Du kan hantera regler i panelen Rules .

• Klicka på Rules.

Du kan aktivera/inaktivera en regel, ta bort en regel och redigera en regel.