Przekształcanie danych

Możesz tworzyć transformacje danych wielokrotnego użytku i oparte na regułach w ramach swojego potoku danych. Możesz wykonywać transformacje jako część procesu wprowadzania danych lub tworzyć zadania danych transformacji wielokrotnego użytku. Możesz wykonywać transformacje na poziomie wiersza i tworzyć zestawy danych zmaterializowanych, takich jak tabele, lub w postaci widoków, w których przekształcenia odbywają się na bieżąco.

• Możesz wykonywać jawne transformacje zestawów danych lub tworzyć globalne reguły do transformacji wielu zestawów danych. W razie potrzeby można filtrować zestawy danych, aby utworzyć podzestaw wierszy.

• Można dodawać transformacje SQL. Transformacja SQL umożliwia wprowadzenie zapytania SQL SELECT do potoku w celu zdefiniowania złożonych lub prostych transformacji.

• Można dodać wizualne przepływy transformacji ze źródłami, procesorami i celami, aby zdefiniować złożone lub proste transformacje.

Zadanie transformacji danych zawiera trzy widoki:

• Transformacja

  Widok ten wyświetla wszystkie transformacje w celu wizualizacji przepływu ze źródłowego zestawu danych do docelowego zestawu danych.

• Zestawy danych

  W tym widoku wyświetlane są wszystkie podstawowe transformacje zestawów danych, takie jak filtrowanie danych lub dodawanie kolumn, a także reguły wykonywania globalnych transformacji.

• Model

  Widok ten pozwala utworzyć model danych z relacjami pomiędzy uwzględnionymi zestawami danych. Więcej informacji można znaleźć w temacie . Tworzenie modelu danych.

Oprócz przechowywania tabel w hurtowni danych można również przechowywać tabele jako tabele Iceberg, które są zarządzane przez platformę danych. Ta opcja jest obecnie dostępna tylko w przypadku projektów Snowflake. Jest to możliwe po wybraniu zarządzanych przez Snowflake tabel Iceberg w sekcji Typ tabeli w ustawieniach zadania.

Tworzenie zadania danych transformacji

Najprostszym sposobem utworzenia zadania danych transformacji jest kliknięcie ... na zadaniu danych pamięci masowej, a następnie wybranie opcji Transformacja danych.

Możesz także kliknąć Utwórz w projekcie i wybrać Przekształć dane. W tym przypadku musisz określić, które zadanie danych źródłowych ma zostać użyte.

1. Zdefiniuj swoje dane źródłowe i cele w polu Przekształcenie.

   Można wykonać jedną z następujących czynności:

   • Wykonywanie transformacji zestawów danych

     Wybierz źródłowe zestawy danych i kliknij Dodaj do celu, aby dodać je do Celu.

     Możesz wtedy wykonywać transformacje na zestawach danych, np. filtrować dane lub dodawać kolumny w sekcji Zestawy danych.

     Więcej informacji zawiera temat Zarządzanie zestawami danych.

   • Dodawanie transformacji SQL

     Wybierz źródłowe zestawy danych i kliknij Add SQL transformation (Dodaj transformację SQL).

     Transformacja SQL umożliwia wprowadzenie zapytania SQL SELECT do potoku w celu zdefiniowania złożonych lub prostych transformacji.

     Więcej informacji zawiera temat Dodawanie transformacji SQL.

   • Dodawanie przepływu transformacji

     Wybierz źródłowe zestawy danych i kliknij Add transformation flow (Dodaj przepływ transformacji).

     Kreator przepływu umożliwia utworzenie przepływu transformacji ze źródłami, procesorami i celami w celu zdefiniowania złożonych lub prostych transformacji.

     Więcej informacji zawiera temat Dodawanie przepływów transformacji.

2. Możesz także dodać kolejne zestawy danych z innych zadań danych pamięci masowej, klikając Wybierz dane źródłowe.

   Można dodawać zestawy danych z bieżącego lub z innego projektu. Aby dodać zestawy danych z innego projektu:

   • Musisz mieć co najmniej rolę Może używać w przestrzeni użytkowanego projektu.

   • Oba projekty muszą znajdować się na tej samej platformie danych.

   Więcej informacji na temat potoków międzyprojektowych zawiera temat Budowanie potoków międzyprojektowych.

3. Po dodaniu odpowiednich transformacji możesz sprawdzić poprawność zestawów danych, klikając Sprawdź poprawność zestawów danych. Jeśli walidacja wykaże błędy, należy je naprawić przed kontynuacją.

   Aby uzyskać więcej informacji, zobacz temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

4. Utwórz model danych

   Kliknij Model, aby ustawić relacje między dołączonymi zestawami danych.

   Aby uzyskać więcej informacji, zobacz temat Tworzenie modelu danych.

5. Kliknij Przygotuj, aby przygotować zadanie danych i wszystkie wymagane artefakty. Może to trochę potrwać.

   Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

6. Gdy na ekranie pojawi się komunikat Przygotowany, możesz uruchomić zadanie danych.

   Kliknij ... a następnie Uruchom.

Zadanie danych zacznie teraz tworzyć zestawy danych do transferu danych.

Używanie widoku Transformacji

W widoku Transformacja są wyświetlane wszystkie transformacje w celu wizualizacji przepływu ze źródłowego zestawu danych do docelowego zestawu danych.

• Wybierz transformację, aby zobaczyć, które źródłowe zestawy danych są używane i które docelowe zestawy danych są tworzone.

• Wybierz źródło, aby zobaczyć wszystkie transformacje, w których zostało ono użyte, oraz wszystkie wynikowe cele.

• Wybierz cel, aby zobaczyć, które zestawy danych są źródłowe i która transformacja wygenerowała ten docelowy zestaw danych.

Możesz zmienić następujące ustawienia, klikając Opcje wyświetlania:

• Filtruj według typu transformacji

  Wyświetla transformacje tylko z jednego lub dwóch typów transformacji.

• Filter

  Wyświetla wszystkie transformacje lub tylko wybraną. Aby móc użyć tej opcji, należy wybrać transformację.

• Gęstość

  Wybierz, czy chcesz wyświetlać transformacje w układzie kompaktowym, czy w szerokim, wykorzystując więcej miejsca.

Korzystanie z widoku Zestawy danych

W Zestawach danych można wyświetlać i edytować wszystkie docelowe zestawy danych w zadaniu transformacji.

Więcej informacji zawiera temat Zarządzanie zestawami danych.

Dodawanie docelowego zestawu danych

Do zadania transformacji można dodać więcej docelowych zestawów danych.

1. Kliknij .

2. Podaj Nazwę oraz opcjonalny Opis zestawu danych.

3. Wybierz źródłowy zestaw danych spośród zestawów danych dostępnych w zadaniu w obszarze Źródłowy zestaw danych.

   WskazówkaMożesz wybrać Brak źródłowego zestawu danych, aby utworzyć pusty zestaw danych, niepołączony z żadnym źródłem. Kolumny do zestawu danych można dodać podczas projektowania, ale przed przygotowaniem zadania należy połączyć się ze źródłowym zestawem danych.

Docelowy zestaw danych został teraz dodany.

Zmiana źródłowego zestawu danych

Źródłowy zestaw danych docelowego zestawu danych można zmienić.

1. Kliknij po Źródło: [nazwa źródłowego zestawu danych].

2. Wybierz źródłowy zestaw danych spośród zestawów danych dostępnych w zadaniu w obszarze Źródłowy zestaw danych.

   WskazówkaMożesz wybrać opcję Brak źródłowego zestawu danych, aby rozłączyć docelowy zestaw danych ze źródłem. Zestaw danych można edytować podczas projektowania, ale przed przygotowaniem zadania należy połączyć się ze źródłowym zestawem danych.

Dodawanie nowych kolumn

Możesz dodać nowe kolumny do docelowego zestawu danych.

• Dodawanie nowej kolumny od podstaw

  Kliknij + Dodaj.

  Podaj nazwę kolumny i ustaw wyrażenie, aby zdefiniować dane kolumny.

  Więcej informacji zawiera temat Dodawanie kolumn do zestawu danych.

• Dodawanie kolumny ze źródła

  Kliknij obok pozycji Dodaj i wybierz Dodaj kolumnę ze źródła.

  Wybierz kolumnę ze źródłowego zestawu danych.

Zmiana kolejności kolumn

Możesz zmienić kolejność kolumny.

1. Wybierz kolumnę.

2. Kliknij , a następnie Zmień kolejność.

3. Użyj strzałek, aby przenieść kolumnę w górę lub w dół.

4. Zamknij Zmień numer kolumny, gdy wszystko będzie gotowe.

Tworzenie reguł transformacji

Możesz tworzyć reguły transformacji wielokrotnego użytku, aby wykonywać globalne transformacje na zestawach danych.

Więcej informacji o tworzeniu reguł zawiera temat Tworzenie reguł przekształcania zestawów danych.

Filtrowanie zestawu danych

W razie potrzeby można filtrować dane, aby utworzyć podzbiór wierszy.

• Kliknij , a następnie Filtruj.

Aby uzyskać więcej informacji o filtrowaniu, zobacz temat Filtrowanie zestawów danych.

Planowanie zadania transformacji

Możesz zaplanować okresową aktualizację zadania transformacji. Możesz ustawić harmonogram oparty na czasie lub ustawić uruchamianie zadania po zakończeniu wykonywania zadań danych wejściowych.

Kliknij ... na zadaniu danych i wybierz Planowanie, aby utworzyć harmonogram. Domyślne ustawienie planowania jest dziedziczone z ustawień w projekcie. Więcej informacji na temat ustawień domyślnych zawiera temat Wartości domyślne transformacji.

Aby włączyć harmonogram, należy zawsze ustawić opcję Planowanie na Wł.

Harmonogramy oparte na czasie

Harmonogramu opartego na czasie można użyć, aby uruchomić zadanie niezależnie od tego, kiedy zostaną zaktualizowane różne źródła danych wejściowych.

• Wybierz O określonym czasie w Uruchom zadanie danych.

Możesz ustawić harmonogram godzinowy, dzienny, tygodniowy lub miesięczny.

Harmonogramy oparte na zdarzeniach

Harmonogramu opartego na zdarzeniach można użyć, aby uruchomić zadanie po zakończeniu wykonywania zadań danych wejściowych.

• Wybierz Po wystąpieniu określonego zdarzenia w Uruchom zadanie danych.

Możesz wybrać, czy chcesz uruchomić zadanie, gdy którekolwiek z zadań wejściowych zakończy się pomyślnie, czy też gdy zostanie pomyślnie zakończone dowolne z wybranych zadań wejściowych.

Monitorowanie zadania transformacji

Możesz monitorować stan i postęp zadania transformacji, klikając Monitoruj.

Aby uzyskać więcej informacji, zobacz temat Monitorowanie indywidualnego zadania danych.

Ładowanie danych

Można wykonać ręczne przeładowanie tabel, jeśli dane są zmaterializowane w postaci tabel fizycznych. Jest to przydatne, gdy występują problemy z jedną lub większą liczbą tabel.

1. Otwórz zadanie danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

3. Kliknij przycisk Przeładuj tabele.

Przeładowanie nastąpi, kiedy zadanie zostanie uruchomione następnym razem. Proces przeładowania przebiega inaczej w zależności od ustawień historii i typu transformacji każdego zestawu danych. Oznacza to, że proces przeładowania może się różnić w zależności od zestawu danych w zadaniu danych.

• Transformacje zestawu danych są przeładowywane przez obcinanie i ładowanie.

• Transformacje SQL i przepływy transformacji można przeładowywać, obcinając i ładując lub porównując i stosując. Najlepszą praktyką jest porównywanie i stosowanie.

  Przeładowanie zestawu danych w oparciu o transformację SQL lub przepływ transformacji

Możesz anulować przeładowanie tabel oczekujących na przeładowanie, klikając Anuluj przeładowanie. Nie wpłynie to na tabele już przeładowane, a trwające przeładowania zostaną ukończone.

Zadania podrzędne zostaną przeładowane w celu zastosowania zmian i uniknięcia datowania wstecznego.

Wpływ na dalsze etapy zależy od rodzaju wykonanej operacji przeładowania i rodzaju bezpośrednio następującego zestawu danych. Przetwarzanie standardowe oznacza, że zestaw danych będzie reagował i przetwarzał dane przy użyciu metody skonfigurowanej dla określonego zbioru danych.

Przykład: Ponowne ładowanie zestawu danych przez obcinanie i ładowanie

• Jeśli następny zestaw danych korzysta z transformacji zestawu danych, zostanie on przeładowany przy następnym wykonaniu przez obcięcie i załadowanie.

• Jeśli następny zestaw danych to transformacja SQL lub przepływ transformacji, zostanie on przeładowany przy użyciu porównania i zastosowania.

Przeładowanie zestawu danych bez historii

W tym przypadku nie ma historii do uwzględnienia. Aby ograniczyć przetwarzanie celu, przeładowanie odbywa się przez:

1. Obcinanie tabel.

2. Ładowanie bieżących danych z nadrzędnego zadania danych.

Zadania podrzędne zostaną przeładowane, aby zastosować zmiany.

Przeładowanie zestawu danych z włączoną historią

Przeładowania dokonuje się przez:

1. Obcinanie tabel bieżących, wcześniejszych i zmian.

2. Ładowanie danych z nadrzędnego zadania danych, w tym wcześniejszych tabel.

Przeładowanie zestawu danych w oparciu o transformację SQL lub przepływ transformacji

• Przytnij i przeładuj

  InformacjaTa opcja może spowodować utratę historii.

  1. Przycinanie bieżących tabel i tabel zmian.

  2. Uruchomienie zapytania i załadowanie go do bieżących tabel.

• Przeładowanie i porównanie

  1. Uruchomienie zapytania i porównanie go z bieżącymi tabelami.

  2. Dodawanie zmian.

Ustawienia transformacji

Możesz ustawić właściwości zadania danych transformacji.

• Kliknij Ustawienia.

Ustawienia ogólne

• Baza danych

  Baza danych, która ma być użyta w źródle danych.

• Schemat zadania

  Możesz zmienić nazwę schematu zadania danych. Domyślna nazwa to nazwa zadania.

• Schemat wewnętrzny

  Możesz zmienić nazwę schematu wewnętrznej pamięci masowej. Domyślną nazwą jest nazwa zadania z dodatkiem „_internal”.

• Domyślnie wielkie litery nazwy schematu

  Można ustawić domyślną wielkość liter wszystkich nazw schematów. Jeśli baza danych jest skonfigurowana do wymuszania wielkich liter, opcja ta nie będzie działać.

• Sufiks dla wszystkich tabel i widoków

  Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania.

  InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu.

• Zmaterializowane

  Możesz wybrać tworzenie widoków, które wykonują transformacje w czasie rzeczywistym (niezmaterializowanych) lub tworzą zarówno tabele, jak i widoki (zmaterializowane).

• Magazyn danych historycznych (typ 2)

  Aby łatwo odtworzyć dane w postaci z konkretnego momentu, można zachować dane historyczne zmian. Do wyświetlania danych historycznych służą widoki historii i widoki historii na żywo.

Ustawienia czasu działania

• Wykonanie równoległe

  Możesz ustawić maksymalną liczbę połączeń dla pełnego ładowania w zakresie od 1 do 5.

• Hurtownia

  Nazwa hurtowni danych w chmurze.

Ustawienia typów widoków

Ustawienia typów widoków dotyczą tylko Snowflake.

• Widoki standardowe

  W większości przypadków należy używać widoków standardowych.

• Bezpieczne widoki Snowflake

  Używaj funkcji bezpiecznych widoków Snowflake w przypadku widoków przeznaczonych do ochrony prywatności danych lub poufnych informacji, takich jak widoki utworzone w celu ograniczenia dostępu do poufnych danych, które nie powinny być dostępne dla wszystkich użytkowników tabel bazowych.

  Informacja Bezpieczne widoki Snowflake mogą być wykonywane wolniej niż widoki standardowe.

Ustawienia katalogu

• Opublikuj w katalogu

  Wybierz tę opcję, aby opublikować tę wersję danych w Katalogu jako zbiór danych. Zawartość Katalogu zostanie zaktualizowana przy następnym przygotowywaniu zadania.

Aby uzyskać więcej informacji na temat Katalogu, zobacz Rozumienie danych za pomocą narzędzi katalogu.

Ustawienia typów tabeli

Ustawienia te są dostępne tylko w projektach, w których platformą danych jest Snowflake.

• Rodzaj tabeli

  Można wybrać typ tabeli:

  • Tabele Snowflake

  • Tabele Iceberg zarządzane przez Snowflake

    Należy ustawić domyślną nazwę woluminu zewnętrznego w Wolumin zewnętrzny Snowflake.

• Folder pamięci w chmurze do użycia

  Wybierz folder, który będzie używany podczas umieszczania danych w obszarze tymczasowym.

  • Domyślny folder

    W ten sposób zostanie utworzony folder o domyślnej nazwie: <nazwa projektu>/<nazwa zadania danych>.

  • Folder główny

    Zapisz dane w głównym folderze pamięci masowej.

  • Folder

    Określ nazwę folderu, który ma być używany.

• Synchronizuj ze Snowflake Open Catalog

  Włącz tę opcję, aby umożliwić aplikacji Snowflake Open Catalog zarządzanie plikami w pamięci masowej plików w chmurze.

Ograniczenia

• Nie jest możliwa zmiana typów danych w zadaniach danych transformacji, gdy wybrana jest opcja Niezmaterializowane.

• Pochodzenie na poziomie pól nie jest dostępne w przypadku zestawów danych utworzonych w transformacjach SQL lub przepływach transformacji.