Tworzenie reguł transformacji zestawów danych

Możesz tworzyć reguły transformacji wielokrotnego użytku, aby przeprowadzać globalną transformację zestawów danych w zadaniach danych Replikacja, Landing, Przechowywanie, Transformacja, i Data mart.

Globalne transformacje nie są obsługiwane w przypadku zestawów danych i kolumn dodanych do zadań w wyniku ewolucji schematu.

Wybierz Zestawy danych, kliknij Reguły transformacji, a następnie Dodaj regułę transformacji, aby utworzyć nową regułę transformacji.

Wybierz typ transformacji i kliknij Dalej.

Możesz wykonywać następujące transformacje:
- Zmiana nazwy zestawów danych
- Zastępowanie publikowania komunikatów danych
  Informacja
  - Dostępne tylko dla celu Kafka.
  - Jeśli używasz bramy Data Movement gateway (wymaganej w przypadku lokalnego systemu Kafka), wymagana jest wersja 2025.5.40 lub nowsza.
- Zmiana nazwy kolumn
- Dodawanie kolumn
- Usuwanie kolumn
- Konwertowanie typów danych
- Zastępowanie wartości kolumn
Wybierz zakres transformacji i kliknij Dalej.
Wybierz akcję transformacji do wykonania i kliknij Dalej.
Dodaj nazwę i opis reguły, a następnie kliknij Zakończ.

Reguła zostanie zastosowana po uruchomieniu zadania danych. Jeśli dodasz więcej niż jedną regułę, reguły będą wykonywane w kolejności, w jakiej zostały wymienione.

W wyrażeniu w regule można używać zmiennych, na przykład nazw kolumn. Więcej informacji można znaleźć w sekcji Uwzględnianie metadanych w wyrażeniu.

Zakres transformacji

Gdy kilka transformacji ma zastosowanie do tego samego zestawu danych lub tych samych kolumn, zakres zawsze dotyczy oryginalnych nazw źródłowych, natomiast akcja odnosi się do wartości po zastosowaniu poprzedniej reguły. Na przykład, jeśli masz następujące reguły:

Zmień nazwę wszystkich zestawów danych zaczynających się od Abc_ (Abc_%), aby zmienić prefiks na ABC_.
Dodaj sufiks _zzz do zestawów danych zaczynających się od ABC_ (ABC_%).

Zastosowanie reguł do tych zestawów danych dałoby następujące wyniki. Zauważ, że po drugiej regule sufiks _zzz nie jest dodawany do ABC_customers, ponieważ zakres zawsze dotyczy oryginalnej nazwy (Abc_customers).

Oryginalna nazwa zestawu danych	Nazwa zestawu danych po regule 1	Nazwa zestawu danych po regule 2
Abc_customers	ABC_customers	ABC_customers
ABC_Suppliers	ABC_Suppliers	ABC_Suppliers_zzz

Zmiana nazwy zestawów danych

Wybierz Zmień nazwę zestawu danych, a następnie kliknij Dalej.
Ustaw zakres transformacji, czyli zestawy danych, których nazwy mają zostać zmienione. Możesz użyć znaku wieloznacznego %, aby wybrać kilka zestawów danych z jednego lub większej liczby zasobów danych.

Kliknij Dalej.
Ustaw akcję transformacji. Możesz wykonać następujące akcje:
- Zmiana nazwy zestawu danych na stałą nazwę.
- Dodanie prefiksu lub sufiksu.
- Usunięcie prefiksu lub sufiksu.
- Zastąpienie prefiksu lub sufiksu.
- Zmiana wielkości liter na małe lub wielkie litery.
- Zastąpienie nazw zestawów danych przy użyciu wyrażenia.
- Zastąpienie nazw zestawów danych przy użyciu słownika.
  
  Więcej informacji można znaleźć w sekcji Zmiana nazwy zestawów danych lub kolumn przy użyciu słownika.
Kliknij Dalej, gdy wszystko będzie gotowe.
Ustaw nazwę reguły i kliknij Zakończ.

Dostosowywanie publikowania komunikatów danych

Dostępne tylko dla celu Kafka.

Wybierz Dostosuj publikowanie komunikatów danych, a następnie kliknij Dalej.
Ustaw zakres transformacji, czyli zestawy danych, dla których mają zostać zastąpione ustawienia publikowania komunikatów danych. Możesz użyć znaku wieloznacznego %, aby wybrać kilka zestawów danych z jednego lub większej liczby zasobów danych.

Kliknij Dalej.
Ustaw akcję transformacji.

Dla każdego ustawienia, bieżące ustawienie zadania jest wskazywane przez pole Ustawienie zadania: <ustawienie> (na przykład, Ustawienie zadania: Określony temat).

Opis tych ustawień znajduje się w Publikowanie komunikatów o danych.

Możesz zachować ustawienie zadania lub użyć Konstruktora wyrażeń, aby określić niestandardowy temat, klucz wiadomości lub klucz partycji.

InformacjaTe ustawienia zastąpią ustawienia zadań, ale nie zastąpią ustawień skonfigurowanych dla poszczególnych zestawów danych.

Aby użyć Konstruktora wyrażeń:
1. Wybierz, odpowiednio, pole Niestandardowy temat, Niestandardowy klucz wiadomości lub Niestandardowy klucz partycji i kliknij .
  
  InformacjaNiestandardowe tematy muszą już istnieć lub broker musi być skonfigurowany w celu ich utworzenia.
  
  Zostanie otwarty kreator wyrażeń.
2. Zbuduj wyrażenie.
  
  Możesz użyć funkcji, operatorów i metadanych do utworzenia wyrażenia.
  
  Kliknij , aby przenieść element do wyrażenia.
  
  Możesz również korzystać ze wszystkich funkcji obsługiwanych przez Kafka w wyrażeniu.
3. Kliknij Wyodrębnij parametry.
  
  Możesz teraz dodać wartość testową do Wartości do przetestowania dla wszystkich parametrów.
4. Kliknij Testuj wyrażenie.
  
  Powinieneś teraz zobaczyć wynik wyrażenia z użyciem wartości testowych.
5. Kiedy wszystko będzie gotowe, kliknij OK.
  
  Wyrażenie jest dodawane do pola.
Tworzenie wyrażeń

Musisz utworzyć wyrażenie, które określa niestandardowe wartości. Możesz użyć:
- Funkcje
  
  Funkcje ciągu znaków, funkcje numeryczne, funkcje sprawdzania wartości null, funkcje danych i czasu oraz funkcje logiczne.
- Operatory
  
  Operatory matematyczne i logiczne. Niektóre operatory są również dostępne na pasku narzędziowym nad wyrażeniem. Tutaj znajduje się również operator konkatenacji ciągów, ||.
- Metadane
  
  Następujące metadane są dostępne:
  - $Q_M_SCHEMA_NAME
  - $Q_M_SOURCE_SCHEMA_NAME
  - $Q_M_SOURCE_TABLE_NAME
  - $Q_M_TABLE_NAME
Kliknij , aby przenieść element do wyrażenia.

Możesz również korzystać ze wszystkich funkcji obsługiwanych przez Kafka w wyrażeniu.

Kliknij Dalej, gdy wszystko będzie gotowe.
Ustaw nazwę reguły i kliknij Zakończ.

Zmiana nazwy kolumn

Wybierz Zmień nazwę kolumny, a następnie kliknij Dalej.
Ustaw zakres transformacji, czyli kolumny, których nazwy mają zostać zmienione. Możesz użyć znaku wieloznacznego %, aby wybrać kilka kolumn z jednego lub większej liczby zadań danych i zestawów danych.

Możesz również ograniczyć akcję do określonego typu danych. Ustaw typ danych na UNSPECIFIED, aby wykonać akcję dla wszystkich pasujących kolumn, niezależnie od typu danych.

Kliknij Dalej.

Możesz również ograniczyć zakres do kolumn będących kluczami lub dopuszczających wartości null.
Ustaw akcję transformacji. Możesz wykonać następujące akcje:
- Zmiana nazwy kolumny na stałą nazwę.
- Dodanie prefiksu lub sufiksu.
- Usunięcie prefiksu lub sufiksu.
- Zastąpienie prefiksu lub sufiksu.
- Zmiana wielkości liter kolumny na małe lub wielkie litery.
- Zastąpienie nazw kolumn przy użyciu wyrażenia.
- Zastąpienie nazw kolumn przy użyciu słownika.
  
  Więcej informacji można znaleźć w sekcji Zmiana nazwy zestawów danych lub kolumn przy użyciu słownika.
Kliknij Dalej, gdy wszystko będzie gotowe.
Ustaw nazwę reguły i kliknij Zakończ.

Dodawanie kolumn

Wybierz Dodaj kolumnę, a następnie kliknij Dalej.
Ustaw zakres transformacji, czyli zestaw danych, do którego ma zostać dodana kolumna. Możesz użyć znaku wieloznacznego %, aby dodać kolumnę do jednego lub większej liczby zestawów danych.

Kliknij Dalej.
Ustaw szczegóły nowej kolumny:
- Nazwa kolumny.
- Użyj kreatora wyrażeń, aby ustawić Wartość dla kolumny.
- Wybierz Dodaj do klucza podstawowego, aby użyć tej kolumny jako klucza podstawowego.
- Ustaw typ danych w polu Docelowy typ danych.
- Jeśli typem danych jest BYTES, STRING lub WSTRING, określ również Długość.
  
  Jeśli typem danych jest NUMERIC, określ również Precyzja i Skala.
Kliknij Dalej, gdy wszystko będzie gotowe.
Ustaw nazwę reguły i kliknij Zakończ.

Usuwanie kolumn

Wybierz Usuń kolumnę, a następnie kliknij Dalej.
Ustaw zakres transformacji, czyli kolumny, które mają zostać usunięte. Możesz użyć znaku wieloznacznego %, aby wybrać kilka kolumn z jednego lub większej liczby zasobów danych i zestawów danych.

Możesz również ograniczyć akcję do określonego typu danych. Ustaw typ danych na UNSPECIFIED, aby wykonać akcję dla wszystkich pasujących kolumn, niezależnie od typu danych.

Kliknij Dalej.

Możesz również ograniczyć zakres do kolumn będących kluczami lub dopuszczających wartości null.
Ustaw nazwę reguły i kliknij Zakończ.

Konwertowanie typów danych

Wybierz Konwertuj typ danych, a następnie kliknij Dalej.
Ustaw zakres transformacji, czyli kolumny, których typ danych ma zostać przekonwertowany. Możesz użyć znaku wieloznacznego %, aby wybrać kilka kolumn z jednego lub większej liczby zasobów danych i zestawów danych.

Możesz również ograniczyć akcję do określonego typu danych. Ustaw typ danych na UNSPECIFIED, aby wykonać akcję dla wszystkich pasujących kolumn, niezależnie od typu danych.

Kliknij Dalej.

Możesz również ograniczyć zakres do kolumn będących kluczami lub dopuszczających wartości null.
Ustaw akcję transformacji.
- Ustaw Docelowy typ danych na typ danych, na który ma nastąpić konwersja.
- Jeśli typem danych jest BYTES, STRING lub WSTRING, określ również Długość.
  
  Jeśli typem danych jest NUMERIC, określ również Precyzja i Skala.
Kliknij Dalej, gdy wszystko będzie gotowe.
Ustaw nazwę reguły i kliknij Zakończ.

Patrz również: Zarządzanie typami danych

Zastępowanie wartości kolumn

Wybierz Zastąp wartości kolumn, a następnie kliknij Dalej.
Ustaw zakres transformacji, czyli kolumny, dla których mają zostać zastąpione wartości. Możesz użyć znaku wieloznacznego %, aby wybrać kilka kolumn z jednego lub większej liczby zasobów danych i zestawów danych.

Możesz również ograniczyć akcję do określonego typu danych. Ustaw typ danych na UNSPECIFIED, aby wykonać akcję dla wszystkich pasujących kolumn, niezależnie od typu danych.

Kliknij Dalej.

Możesz również ograniczyć zakres do kolumn będących kluczami lub dopuszczających wartości null.
Ustaw akcję transformacji.
- Ustaw wyrażenie definiujące wartości zastępcze w polu Wartość docelowa.
- Ustaw Docelowy typ danych na typ danych dla zastępowanych kolumn.
- Jeśli typem danych jest BYTES, STRING lub WSTRING, określ również Długość.
  
  Jeśli typem danych jest NUMERIC, określ również Precyzja i Skala.
Kliknij Dalej, gdy wszystko będzie gotowe.
Ustaw nazwę reguły i kliknij Zakończ.

Zmiana nazwy zestawów danych lub kolumn przy użyciu słownika

Możesz użyć słownika, aby zmienić nazwy zestawów danych lub kolumn. Jest to przydatne podczas pracy z dużą liczbą obiektów, które używają niejasnych konwencji nazewnictwa. Możesz dodać tłumaczenia w edytorze słownika lub zaimportować plik CSV zawierający tłumaczenia. Możesz również wyeksportować słownik do pliku CSV i użyć go ponownie w innym zasobie danych.

Opcja Zmień nazwę według słownika jest dostępna w sekcji Akcje transformacji po wybraniu opcji Zmień nazwę zestawów danych lub Zmień nazwę kolumn. Kliknij Książka , aby otworzyć edytor słownika.

Kliknij Dodaj tłumaczenie i wypełnij pola Nazwa źródłowa oraz Przetłumaczona nazwa, aby dodać tłumaczenie do słownika.

Po utworzeniu potrzebnych tłumaczeń kliknij przycisk OK, aby zamknąć edytor słownika.

Nazwa zostanie zastąpiona tylko wtedy, gdy istnieje pełne dopasowanie z nazwą źródłową w słowniku. Częściowe dopasowania nie są obsługiwane.

Importowanie tłumaczeń

Możesz zaimportować tłumaczenia z pliku CSV zawierającego słownik. Plik powinien zawierać jedno tłumaczenie w każdym wierszu. Przykład:

sourcename1,translatedname1 sourcename2,translatedname2 sourcename3,translatedname3

Kliknij Dołącz z pliku CSV i wybierz plik CSV do zaimportowania.

Tłumaczenia z zaimportowanego słownika zostaną dołączone do Twojego słownika.

Eksportowanie tłumaczeń

Możesz wyeksportować swój słownik do pliku CSV, aby móc go ponownie użyć w innych zasobach danych.

Kliknij Eksportuj do pliku CSV.

Słownik zostanie wyeksportowany do pliku CSV.

Uwzględnianie metadanych w wyrażeniu

Karta Metadane w edytorze wyrażeń zawiera następujące zmienne, których można użyć w wyrażeniu w regule transformacji.

Podczas przenoszenia danych oryginalne źródłowe typy danych są mapowane na typy danych Qlik Talend Data Integration, a następnie opcjonalnie transformowane i mapowane na cel. Na przykład typ danych BIT w bazie MySQL jest mapowany na typ danych BOOLEAN w Qlik Talend Data Integration. W rezultacie zmienne z członem DATATYPE w nazwie odnoszą się do typu danych Qlik Talend Data Integration lub do przetransformowanego typu danych, a nie do oryginalnego źródłowego typu danych.

Zmienne, których można użyć w regułach transformacji
Zmienna	Opis
$Q_D_COLUMN_DATA	Wartość kolumny w tabeli źródłowej.
$Q_M_COLUMN_NAME	Zmodyfikowana nazwa kolumny.
$Q_M_DATATYPE_LENGTH	Zmodyfikowana długość typu danych kolumny.
$Q_M_DATATYPE_NAME	Zmodyfikowany typ danych kolumny.
$Q_M_DATATYPE_PRECISION	Zmodyfikowana precyzja typu danych kolumny.
$Q_M_DATATYPE_SCALE	Zmodyfikowana skala typu danych kolumny.
$Q_M_SCHEMA_NAME	Nazwa schematu źródłowego.
$Q_M_SOURCE_COLUMN_NAME	Nazwa kolumny w tabeli źródłowej.
$Q_M_SOURCE_DATATYPE_LENGTH	Długość typu danych kolumny w tabeli źródłowej.
$Q_M_SOURCE_DATATYPE_NAME	Typ danych kolumny w tabeli źródłowej.
$Q_M_SOURCE_DATATYPE_PRECISION	Precyzja typu danych kolumny w tabeli źródłowej.
$Q_M_SOURCE_DATATYPE_SCALE	Skala typu danych kolumny w tabeli źródłowej.
$Q_M_SOURCE_TABLE_NAME	Nazwa tabeli źródłowej.
$Q_M_TABLE_NAME	Zmodyfikowana nazwa tabeli źródłowej.

Możesz zmienić nazwy wszystkich tabel znajdujących się w zakresie transformacji, aby dodać nazwę schematu jako prefiks za pomocą następującego wyrażenia:

${Q_M_SCHEMA_NAME}||'.'||${Q_M_SOURCE_TABLE_NAME}.

Spowodowałoby to na przykład zmianę nazwy tabeli products w schemacie dwprod na dwprod.products.

Zarządzanie regułami

Możesz zarządzać regułami w panelu Reguły.

Kliknij Reguły.

Możesz włączyć/wyłączyć regułę, usunąć regułę oraz edytować regułę.

Czy ta strona była pomocna?

Jeżeli natkniesz się na problemy z tą stroną lub jej zawartością — literówkę, brakujący krok lub błąd techniczny — daj nam znać!

Przekaż tu opinię