Regels maken om datasets te transformeren

U kunt herbruikbare transformatieregels maken om globale transformaties uit te voeren op datasets in de datataken Replication, Landing, Storage, Transform, en Data mart.

Selecteer Datasets, klik op Transformatieregels en vervolgens op Transformatieregel toevoegen om een nieuwe transformatieregel te maken.

1. Selecteer het transformatietype en klik op Volgende.

   U kunt de volgende transformaties uitvoeren:

   • Datasets hernoemen

   • Publiceren van gegevensberichten overschrijven

     Informatie

     • Alleen beschikbaar voor Kafka-doel.

     • Als u Data Movement gateway gebruikt (vereist voor on-premises Kafka), is versie 2025.5.40 of nieuwer vereist.

   • Kolommen hernoemen

   • Kolommen toevoegen

   • Kolommen verwijderen

   • Gegevenstypen converteren

   • Kolomwaarden vervangen

2. Selecteer het transformatiebereik en klik op Volgende.

3. Selecteer welke transformatieactie u wilt uitvoeren en klik op Volgende.

4. Voeg een naam en een beschrijving toe voor de regel en klik op Voltooien.

De regel wordt toegepast wanneer u de datataak uitvoert. Als u meer dan één regel toevoegt, worden de regels uitgevoerd in de volgorde waarin ze worden vermeld.

Transformatiebereik

Wanneer verschillende transformaties van toepassing zijn op dezelfde dataset of kolommen, is het bereik altijd gebaseerd op de oorspronkelijke bronnamen, terwijl de actie betrekking heeft op de waarde nadat de vorige regel is toegepast. Bijvoorbeeld, als u deze regels hebt:

1. Hernoem alle datasets die beginnen met Abc_ (Abc_%) om het voorvoegsel te wijzigen in ABC_.

2. Voeg het achtervoegsel _zzz toe aan datasets die beginnen met ABC_ (ABC_%).

Het toepassen van de regels op deze datasets zou deze resultaten opleveren. Merk op dat na de tweede regel het achtervoegsel _zzz niet wordt toegevoegd aan ABC_customers, omdat het bereik altijd gebaseerd is op de oorspronkelijke naam (Abc_customers).

Datasets hernoemen

1. Selecteer Dataset hernoemen en klik vervolgens op Volgende.

2. Stel het transformatiebereik in, dat wil zeggen welke datasets moeten worden hernoemd. U kunt % als jokerteken gebruiken om meerdere datasets uit een of meer gegevensassets te selecteren.

   Klik op Volgende.

3. Stel de transformatieactie in. U kunt de volgende acties uitvoeren:

   • Dataset hernoemen naar een vaste naam.

   • Een voorvoegsel of achtervoegsel toevoegen.

   • Een voorvoegsel of achtervoegsel verwijderen.

   • Een voorvoegsel of achtervoegsel vervangen.

   • Hoofdlettergebruik wijzigen in kleine letters of hoofdletters.

   • Datasetnamen vervangen met behulp van een uitdrukking.

   • Datasetnamen vervangen met behulp van een woordenboek.

     Voor meer informatie, zie Datasets of kolommen hernoemen met behulp van een woordenboek.

   Klik op Volgende wanneer u klaar bent.

4. Stel de naam van de regel in en klik op Voltooien.

Publiceren van gegevensberichten aanpassen

1. Selecteer Publiceren van gegevensberichten aanpassen en klik vervolgens op Volgende.

2. Stel het transformatiebereik in, dat wil zeggen voor welke datasets u de instellingen voor het publiceren van gegevensberichten wilt overschrijven. U kunt % als jokerteken gebruiken om meerdere datasets uit een of meer gegevensassets te selecteren.

   Klik op Volgende.

3. Stel de transformatieactie in.

   Voor elke instelling wordt de huidige taakinstelling aangegeven door het veld Taakinstelling: <instelling> (bijvoorbeeld, Taakinstelling: Specifiek onderwerp).

   Zie voor een beschrijving van deze instellingen Gegevensberichten publiceren.

   U kunt de taakinstelling behouden of de Expression Builder gebruiken om een aangepast onderwerp, berichtsleutel of partitiesleutel op te geven.

   InformatieDeze instellingen overschrijven de taakinstellingen, maar ze overschrijven de instellingen die zijn geconfigureerd voor afzonderlijke gegevensverzamelingen niet.

   De Expression Builder gebruiken:

   1. Selecteer het Aangepast onderwerp, Aangepaste berichtsleutel of Aangepaste partitiesleutel veld, indien van toepassing, en klik op .

      InformatieAangepaste onderwerpen moeten al bestaan of de broker moet zijn geconfigureerd om ze te maken.

      De expressiebuilder wordt geopend.

   2. Bouw een expressie.

      U kunt functies, operators en metagegevens gebruiken om de expressie te bouwen.

      Klik op om een item naar de expressie te verplaatsen.

      U kunt ook alle functies gebruiken die door Kafka worden ondersteund in de expressie.

   3. Klik op Parameters uitpakken.

      U kunt nu een testwaarde toevoegen aan Te testen waarde voor alle parameters.

   4. Klik op Expressie testen.

      U zou nu het resultaat van de expressie moeten kunnen zien met behulp van de testwaarden.

   5. Als u klaar bent klikt u op OK.

      De expressie wordt toegevoegd aan het veld.

   Expressies bouwen

   U moet een expressie bouwen die aangepaste waarden definieert. U kunt het volgende gebruiken:

   • Functies

     Tekenreeksfuncties, numerieke functies, null-controlefuncties, gegevens- en tijdfuncties en logische functies.

   • Operatoren

     Wiskundige en logische operators. Sommige operators zijn ook beschikbaar in de werkbalk boven de expressie. Hier vindt u ook de operator voor de aaneengeschakelde tekenreeks, ||.

   • Metagegevens

     De volgende metagegevens zijn beschikbaar:

     • $Q_M_SCHEMA_NAME
     • $Q_M_SOURCE_SCHEMA_NAME
     • $Q_M_SOURCE_TABLE_NAME
     • $Q_M_TABLE_NAME

   Klik op om een item naar de expressie te verplaatsen.

   U kunt ook alle functies gebruiken die worden ondersteund door Kafka in de expressie.

   Klik op Volgende wanneer u klaar bent.

4. Stel de naam van de regel in en klik op Voltooien.

Kolommen hernoemen

1. Selecteer Kolom hernoemen en klik vervolgens op Volgende.

2. Stel het transformatiebereik in, dat wil zeggen welke kolommen moeten worden hernoemd. U kunt % als jokerteken gebruiken om meerdere kolommen uit een of meer datataken en datasets te selecteren.

   U kunt de actie ook beperken tot een bepaald gegevenstype. Stel het gegevenstype in op UNSPECIFIED om de actie uit te voeren voor alle overeenkomende kolommen, ongeacht het gegevenstype.
   

   Klik op Volgende.

   U kunt het bereik ook beperken tot kolommen die sleutels zijn of null-waarden toestaan.

3. Stel de transformatieactie in. U kunt de volgende acties uitvoeren:

   • Kolom hernoemen naar een vaste naam.

   • Een voorvoegsel of achtervoegsel toevoegen.

   • Een voorvoegsel of achtervoegsel verwijderen.

   • Een voorvoegsel of achtervoegsel vervangen.

   • Hoofdlettergebruik van kolom wijzigen in kleine letters of hoofdletters.

   • Kolomnamen vervangen met behulp van een uitdrukking.

   • Kolomnamen vervangen met behulp van een woordenboek.

     Voor meer informatie, zie Datasets of kolommen hernoemen met behulp van een woordenboek.

   Klik op Volgende wanneer u klaar bent.

4. Stel de naam van de regel in en klik op Voltooien.

Kolommen toevoegen

1. Selecteer Kolom toevoegen en klik vervolgens op Volgende.

2. Stel het transformatiebereik in, dat wil zeggen aan welke dataset de kolom moet worden toegevoegd. U kunt % als jokerteken gebruiken om de kolom aan een of meer datasets toe te voegen.
   

   Klik op Volgende.

3. Stel de details van de nieuwe kolom in:

   • Kolomnaam.

   • Gebruik de uitdrukkingsbouwer om de Waarde voor de kolom in te stellen.

   • Selecteer Toevoegen aan primaire sleutel om deze kolom als primaire sleutel te gebruiken.

   • Stel het gegevenstype in bij Doelgegevenstype.

   • Als het gegevenstype BYTES, STRING of WSTRING is, geef dan ook een Lengte op.

     Als het gegevenstype NUMERIC is, geef dan ook Precisie en Schaal op.

   Klik op Volgende wanneer u klaar bent.

4. Stel de naam van de regel in en klik op Voltooien.

Kolommen verwijderen

1. Selecteer Kolom verwijderen en klik vervolgens op Volgende.

2. Stel het transformatiebereik in, dat wil zeggen welke kolommen moeten worden verwijderd. U kunt % als jokerteken gebruiken om meerdere kolommen uit een of meer gegevensassets en datasets te selecteren.

   U kunt de actie ook beperken tot een bepaald gegevenstype. Stel het gegevenstype in op UNSPECIFIED om de actie uit te voeren voor alle overeenkomende kolommen, ongeacht het gegevenstype.
   

   Klik op Volgende.

   U kunt het bereik ook beperken tot kolommen die sleutels zijn of null-waarden toestaan.

3. Stel de naam van de regel in en klik op Voltooien.

Gegevenstypen converteren

1. Selecteer Gegevenstype converteren en klik vervolgens op Volgende.

2. Stel het transformatiebereik in, dat wil zeggen van welke kolommen het gegevenstype moet worden geconverteerd. U kunt % als jokerteken gebruiken om meerdere kolommen uit een of meer gegevensassets en datasets te selecteren.

   U kunt de actie ook beperken tot een bepaald gegevenstype. Stel het gegevenstype in op UNSPECIFIED om de actie uit te voeren voor alle overeenkomende kolommen, ongeacht het gegevenstype.
   

   Klik op Volgende.

   U kunt het bereik ook beperken tot kolommen die sleutels zijn of null-waarden toestaan.

3. Stel de transformatieactie in.

   • Stel Doelgegevenstype in op het gegevenstype waarnaar moet worden geconverteerd.

   • Als het gegevenstype BYTES, STRING of WSTRING is, geef dan ook een Lengte op.

     Als het gegevenstype NUMERIC is, geef dan ook Precisie en Schaal op.

   Klik op Volgende wanneer u klaar bent.

4. Stel de naam van de regel in en klik op Voltooien.

Zie ook: Gegevenstypen beheren

Kolomwaarden vervangen

1. Selecteer Kolomwaarden vervangen en klik vervolgens op Volgende.

2. Stel het transformatiebereik in, dat wil zeggen voor welke kolommen waarden moeten worden vervangen. U kunt % als jokerteken gebruiken om meerdere kolommen uit een of meer gegevensassets en datasets te selecteren.

   U kunt de actie ook beperken tot een bepaald gegevenstype. Stel het gegevenstype in op UNSPECIFIED om de actie uit te voeren voor alle overeenkomende kolommen, ongeacht het gegevenstype.
   

   Klik op Volgende.

   U kunt het bereik ook beperken tot kolommen die sleutels zijn of null-waarden toestaan.

3. Stel de transformatieactie in.

   • Stel een uitdrukking in om de vervangende waarden te definiëren in Doelwaarde.

   • Stel Doelgegevenstype in op het gegevenstype voor de vervangen kolommen.

   • Als het gegevenstype BYTES, STRING of WSTRING is, geef dan ook een Lengte op.

     Als het gegevenstype NUMERIC is, geef dan ook Precisie en Schaal op.

   Klik op Volgende wanneer u klaar bent.

4. Stel de naam van de regel in en klik op Voltooien.

Datasets of kolommen hernoemen met behulp van een woordenboek

U kunt een woordenboek gebruiken om datasets of kolommen te hernoemen. Dit is handig wanneer u werkt met een groot aantal objecten die cryptische naamgevingsconventies gebruiken. U kunt vertalingen toevoegen in een woordenboekeditor of een CSV-bestand met de vertalingen importeren. U kunt het woordenboek ook naar een CSV-bestand exporteren en het hergebruiken in een andere gegevensasset.

Hernoemen via woordenboek is beschikbaar in Transformatieacties wanneer u Datasets hernoemen of Kolommen hernoemen hebt geselecteerd. Klik op om de woordenboekeditor te openen.

• Klik op Vertaling toevoegen en vul Bronnaam en Vertaalde naam in om een vertaling aan het woordenboek toe te voegen.

Wanneer u de benodigde vertalingen hebt gemaakt, klikt u op OK om de woordenboekeditor te sluiten.

Vertalingen importeren

U kunt vertalingen importeren uit een CSV-bestand dat een woordenboek bevat. Het bestand moet één vertaling per rij bevatten. Voorbeeld:

• Klik op Toevoegen vanuit CSV en selecteer het te importeren CSV-bestand.

De vertalingen in het geïmporteerde woordenboek worden toegevoegd aan uw woordenboek.

Vertalingen exporteren

U kunt uw woordenboek exporteren naar een CSV-bestand om het in andere gegevensassets te kunnen hergebruiken.

• Klik op Exporteren naar CSV.

Het woordenboek wordt geëxporteerd naar een CSV-bestand.

Metagegevens opnemen in een uitdrukking

Het tabblad Metagegevens in de uitdrukkingseditor bevat de volgende variabelen die u kunt gebruiken in een uitdrukking in een transformatieregel.

U kunt alle tabellen binnen het transformatiebereik hernoemen om de schemanaam als voorvoegsel toe te voegen met de volgende uitdrukking:

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Dit zou bijvoorbeeld de tabel products in het schema dwprod hernoemen naar dwprod.products.

Regels beheren

U kunt regels beheren in het deelvenster Regels .

• Klik op Regels.

U kunt een regel in- of uitschakelen, een regel verwijderen en een regel bewerken.