Tworzenie reguł przekształcania zestawów danych

Możesz tworzyć reguły transformacji wielokrotnego użytku, aby wykonywać globalne transformacje na zestawach danych w zadaniach danych replikacji, umieszczania, pamięci masowej, transformacji i data mart.

Aby utworzyć nową regułę transformacji, wybierz Zestawy danych, kliknij Reguły transformacji, a następnie Dodaj regułę transformacji.

1. Wybierz typ transformacji i kliknij Dalej.

   Możesz wykonać następujące transformacje:

   • Zmień nazwę zestawów danych

   • Zastąp publikowanie wiadomości danych

     Informacja

     • Dostępne tylko dla celu Kafka.

     • Jeśli używasz Data Movement gateway (wymagane w przypadku lokalnego systemu Kafka), wymagana jest wersja 2025.5.40 lub nowsza.

   • Zmień nazwę kolumn

   • Dodaj kolumny

   • Usuń kolumny

   • Konwertuj typy danych

   • Zastąp wartości kolumny

2. Wybierz zakres transformacji i kliknij Dalej.

3. Wybierz czynność transformacji, którą chcesz wykonać i kliknij Dalej.

4. Dodaj nazwę i opis reguły i kliknij Zakończ.

Reguła zostanie zastosowana podczas uruchamiania zadania danych. Jeśli dodasz więcej niż jedną regułę, reguły będą wykonywane w kolejności, w jakiej zostały wymienione.

Zakres transformacji

Gdy kilka transformacji dotyczy tego samego zestawu danych lub kolumn, zakres zawsze dotyczy oryginalnych nazw źródłowych, natomiast działanie odnosi się do wartości po zastosowaniu poprzedniej reguły. Na przykład, jeśli masz następujące reguły:

1. Zmień nazwy wszystkich zestawów danych, które zaczynają się od Abc_ (Abc_%), aby zmienić prefiks na ABC_.

2. Dodaj sufiks _zzz do zestawów danych zaczynających się od ABC_ (ABC_%).

Zastosowanie reguł do tych zestawów danych przyniosłoby takie wyniki. Zauważ, że po zastosowaniu drugiej reguły sufiks _zzz nie jest dodawany do ABC_customers, ponieważ zakres jest zawsze na oryginalnej nazwie (Abc_customers).

Zmiana nazwy zestawów danych

1. Wybierz opcję Zmiana nazwy zestawu danych, a następnie kliknij Dalej.

2. Ustaw zakres transformacji, czyli określ, które nazwy zestawów danych mają zostać zmienione. Możesz użyć % jako symbolu wieloznacznego, aby wybrać kilka zestawów danych z jednego lub więcej zasobów danych.

   Kliknij przycisk Dalej.

3. Ustawia działanie transformacji. Możesz wykonać następujące czynności:

   • Zmień nazwę zestawu danych na stałą.

   • Dodaj prefiks lub sufiks.

   • Usuń prefiks lub sufiks.

   • Zmień prefiks lub sufiks.

   • Zmień wielkość liter na małe lub wielkie litery.

   • Zastąp nazwy zestawów danych za pomocą wyrażenia.

   • Zastąp nazwy zestawów danych za pomocą słownika.

     Więcej informacji zawiera temat Zmienianie nazw zestawów danych lub kolumn przy użyciu słownika.

   Po zakończeniu kliknij Dalej.

4. Ustaw nazwę reguły i kliknij Zakończ.

Dostosowywanie publikowania wiadomości danych

1. Wybierz Dostosuj publikowanie komunikatów danych, a następnie kliknij Dalej.

2. Ustaw zakres transformacji, czyli dla których zestawów danych zostaną zastąpione ustawienia publikowania komunikatów danych. Możesz użyć % jako symbolu wieloznacznego, aby wybrać kilka zestawów danych z jednego lub więcej zasobów danych.

   Kliknij przycisk Dalej.

3. Ustawia działanie transformacji.

   Dla każdego ustawienia, bieżące ustawienie zadania jest wskazywane przez pole Ustawienie zadania: <ustawienie> (na przykład, Ustawienie zadania: Określony temat).

   Opis tych ustawień znajduje się w Publikowanie wiadomości danych.

   Możesz zachować ustawienie zadania lub użyć Konstruktora wyrażeń, aby określić niestandardowy temat, klucz wiadomości lub klucz partycji.

   InformacjaTe ustawienia zastąpią ustawienia zadań, ale nie zastąpią ustawień skonfigurowanych dla poszczególnych zestawów danych.

   Aby użyć Konstruktora wyrażeń:

   1. Wybierz, odpowiednio, pole Niestandardowy temat, Niestandardowy klucz wiadomości lub Niestandardowy klucz partycji i kliknij .

      InformacjaNiestandardowe tematy muszą już istnieć lub broker musi być skonfigurowany w celu ich utworzenia.

      Zostanie otwarty kreator wyrażeń.

   2. Zbuduj wyrażenie.

      Do utworzenia wyrażenia możesz użyć kolumn zestawu danych, funkcji i operatorów.

      Kliknij , aby przenieść element do wyrażenia.

      Możesz również korzystać ze wszystkich funkcji obsługiwanych przez Kafka w wyrażeniu.

   3. Kliknij Wyodrębnij parametry.

      Możesz teraz dodać wartość testową do Wartości do przetestowania dla wszystkich parametrów.

   4. Kliknij Testuj wyrażenie.

      Powinieneś teraz zobaczyć wynik wyrażenia z użyciem wartości testowych.

   5. Kiedy wszystko będzie gotowe, kliknij OK.

      Wyrażenie jest dodawane do pola.

   WskazówkaAby usunąć dodaną kolumnę, zaznacz ją i kliknij przycisk Odwróć.

   Tworzenie wyrażeń

   Musisz utworzyć wyrażenie, które określa niestandardowe wartości. Możesz użyć:

   • Funkcje

     Funkcje ciągu znaków, funkcje numeryczne, funkcje sprawdzania wartości null, funkcje danych i czasu oraz funkcje logiczne.

   • Operatory

     Operatory matematyczne i logiczne. Niektóre operatory są również dostępne na pasku narzędziowym nad wyrażeniem. Tutaj znajduje się również operator konkatenacji ciągów, ||.

   • Metadane

     Zob. Uwzględnianie metadanych w wyrażeniu.

   Kliknij , aby przenieść element do wyrażenia.

   Możesz również korzystać ze wszystkich funkcji obsługiwanych przez Kafka w wyrażeniu.

   Po zakończeniu kliknij Dalej.

4. Ustaw nazwę reguły i kliknij Zakończ.

Zmiana nazwy kolumn

1. Wybierz opcję Zmiana nazwy kolumny, a następnie kliknij Dalej.

2. Ustaw zakres transformacji, czyli określ, które nazwy kolumn mają zostać zmienione. Możesz użyć % jako symbolu wieloznacznego, aby wybrać kilka kolumn z jednego lub więcej zadań danych i zestawów danych.

   Możesz także ograniczyć działanie do określonego typu danych. Ustaw typ danych na UNSPECIFIED, aby wykonać akcję dla wszystkich pasujących kolumn, niezależnie od typu danych.
   

   Kliknij przycisk Dalej.

   Możesz także ograniczyć zakres do kolumn, które są kluczami lub są nullowalne.

3. Ustawia działanie transformacji. Możesz wykonać następujące czynności:

   • Zmień nazwę kolumny na stałą.

   • Dodaj prefiks lub sufiks.

   • Usuń prefiks lub sufiks.

   • Zmień prefiks lub sufiks.

   • Zmień wielkość liter kolumny na małe lub wielkie litery.

   • Zastąp nazwy kolumn za pomocą wyrażenia.

   • Zastąp nazwy kolumn za pomocą słownika.

     Więcej informacji zawiera temat Zmienianie nazw zestawów danych lub kolumn przy użyciu słownika.

   Po zakończeniu kliknij Dalej.

4. Ustaw nazwę reguły i kliknij Zakończ.

Dodawanie kolumn

1. Wybierz opcję Dodaj kolumnę, a następnie kliknij Dalej.

2. Ustaw zakres transformacji, czyli określ, do którego zestawu danych należy dodać kolumnę. Możesz użyć % jako symbolu wieloznacznego, aby dodać kolumnę do jednego lub więcej zestawów danych.
   

   Kliknij przycisk Dalej.

3. Ustaw szczegóły nowej kolumny:

   • Nazwa kolumny.

   • Użyj kreatora wyrażeń, aby ustawić Wartość dla kolumny.

   • Wybierz opcję Dodaj do klucza głównego, aby użyć tej kolumny jako klucza głównego.

   • Ustaw typ danych w polu Typ danych docelowych.

   • Jeśli typem danych jest BYTES, STRING lub WSTRING, określ także Długość.

     Jeśli typem danych jest NUMERIC, określ również Precyzję i Skalę.

   Po zakończeniu kliknij Dalej.

4. Ustaw nazwę reguły i kliknij Zakończ.

Usuwanie kolumn

1. Wybierz opcję Usuń kolumnę, a następnie kliknij Dalej.

2. Ustaw zakres transformacji, czyli określ, które nazwy kolumn mają zostać usunięte. Możesz użyć % jako symbolu wieloznacznego, aby wybrać kilka kolumn z jednego lub więcej zasobów danych i zestawów danych.

   Możesz także ograniczyć działanie do określonego typu danych. Ustaw typ danych na UNSPECIFIED, aby wykonać akcję dla wszystkich pasujących kolumn, niezależnie od typu danych.
   

   Kliknij przycisk Dalej.

   Możesz także ograniczyć zakres do kolumn, które są kluczami lub są nullowalne.

3. Ustaw nazwę reguły i kliknij Zakończ.

Konwertowanie typów danych

1. Wybierz opcję Konwertuj typ danych, a następnie kliknij Dalej.

2. Ustaw zakres transformacji, czyli określ, jaki typ danych kolumny ma zostać przekonwertowany. Możesz użyć % jako symbolu wieloznacznego, aby wybrać kilka kolumn z jednego lub więcej zasobów danych i zestawów danych.

   Możesz także ograniczyć działanie do określonego typu danych. Ustaw typ danych na UNSPECIFIED, aby wykonać akcję dla wszystkich pasujących kolumn, niezależnie od typu danych.
   

   Kliknij przycisk Dalej.

   Możesz także ograniczyć zakres do kolumn, które są kluczami lub są nullowalne.

3. Ustawia działanie transformacji.

   • Ustaw Typ danych docelowych na typ danych, na który ma zostać przekonwertowany.

   • Jeśli typem danych jest BYTES, STRING lub WSTRING, określ także Długość.

     Jeśli typem danych jest NUMERIC, określ również Precyzję i Skalę.

   Po zakończeniu kliknij Dalej.

4. Ustaw nazwę reguły i kliknij Zakończ.

Zob. także: Zarządzanie typami danych

Zastąpienie wartości kolumny

1. Wybierz opcję Zastąp wartości kolumny, a następnie kliknij Dalej.

2. Ustaw zakres transformacji, czyli określ, które wartości kolumn mają zostać zastąpione. Możesz użyć % jako symbolu wieloznacznego, aby wybrać kilka kolumn z jednego lub więcej zasobów danych i zestawów danych.

   Możesz także ograniczyć działanie do określonego typu danych. Ustaw typ danych na UNSPECIFIED, aby wykonać akcję dla wszystkich pasujących kolumn, niezależnie od typu danych.
   

   Kliknij przycisk Dalej.

   Możesz także ograniczyć zakres do kolumn, które są kluczami lub są nullowalne.

3. Ustawia działanie transformacji.

   • Ustaw wyrażenie określające wartości zastępcze w polu Wartość docelowa.

   • Ustaw Typ danych docelowych na typ danych dla zastąpionych kolumn.

   • Jeśli typem danych jest BYTES, STRING lub WSTRING, określ także Długość.

     Jeśli typem danych jest NUMERIC, określ również Precyzję i Skalę.

   Po zakończeniu kliknij Dalej.

4. Ustaw nazwę reguły i kliknij Zakończ.

Zmienianie nazw zestawów danych lub kolumn przy użyciu słownika

Do zmiany nazw zestawów danych lub kolumn możesz użyć słownika. Jest to przydatne, gdy pracujesz z dużą liczbą obiektów, które używają niejasnych konwencji nazewnictwa. Tłumaczenia możesz dodać w edytorze słownika lub zaimportować plik CSV zawierający tłumaczenia. Możesz także wyeksportować słownik do pliku CSV i użyć go ponownie w innym zasobie danych.

Funkcja Zmień nazwę wg słownika jest dostępna w Działaniach transformacji po wybraniu opcji Zmień nazwę zestawów danych lub Zmień nazwę kolumn. Kliknij , aby otworzyć edytor słownika.

• Kliknij Dodaj tłumaczenie i wypełnij pola Nazwa źródła oraz Przetłumaczona nazwa, aby dodać tłumaczenie do słownika.

Gdy utworzysz potrzebne tłumaczenia, kliknij OK, aby zamknąć edytor słowników.

Importowanie tłumaczeń

Możesz zaimportować tłumaczenia z pliku CSV zawierającego słownik. Plik powinien zawierać po jednym tłumaczeniu na wiersz. Przykład:

• Kliknij Dołącz z pliku CSV i wybierz plik CSV do zaimportowania.

Tłumaczenia z zaimportowanego słownika są dołączane do Twojego słownika.

Eksportowanie tłumaczeń

Słownik można wyeksportować do pliku CSV, aby móc go ponownie używać w innych zasobach danych.

• Kliknij Eksportuj do CSV.

Słownik zostanie wyeksportowany do pliku CSV.

Uwzględnianie metadanych w wyrażeniu

Karta Metadane w edytorze wyrażeń zawiera następujące zmienne, których można użyć w wyrażeniu w regule transformacji.

Przykład:  

Możesz zmienić nazwy wszystkich tabel znajdujących się w zakresie transformacji, aby dodać nazwę schematu jako przedrostek z następującym wyrażeniem:

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Spowodowałoby to na przykład zmianę nazwy tabeli products w schemacie dwprod na dwprod.products.

Zarządzanie regułami

Regułami można zarządzać w panelu Reguły.

• Kliknij Reguły.

Możesz włączyć/wyłączyć regułę, usunąć ją i edytować.