Przekształcanie danych

Możesz tworzyć transformacje danych wielokrotnego użytku i oparte na regułach w ramach swojego potoku danych. Możesz wykonywać transformacje jako część procesu wprowadzania danych lub tworzyć zadania danych transformacji wielokrotnego użytku. Możesz wykonywać transformacje na poziomie wiersza i tworzyć zestawy danych zmaterializowanych, takich jak tabele, lub w postaci widoków, w których przekształcenia odbywają się na bieżąco.

• Możesz wykonywać jawne transformacje zestawów danych lub tworzyć globalne reguły do transformacji wielu zestawów danych. W razie potrzeby można filtrować zestawy danych, aby utworzyć podzestaw wierszy.

• Można dodawać transformacje SQL. Transformacja SQL umożliwia wprowadzenie zapytania SQL SELECT do potoku w celu zdefiniowania złożonych lub prostych transformacji.

• Można dodać wizualne przepływy transformacji ze źródłami, procesorami i celami, aby zdefiniować złożone lub proste transformacje.

Tworzenie zadania danych transformacji

Najprostszym sposobem utworzenia zadania danych transformacji jest kliknięcie ... na zadaniu danych pamięci masowej, a następnie wybranie opcji Transformacja danych.

Możesz także kliknąć Dodaj nowy w projekcie danych i wybrać Tranformacja danych. W tym przypadku musisz określić, które zadanie danych źródłowych ma zostać użyte.

1. Zdefiniuj swoje dane źródłowe i cele w polu Przekształcenie.

   Można wykonać jedną z następujących czynności:

   • Wykonywanie transformacji zestawów danych

     Wybierz źródłowe zestawy danych i kliknij Dodaj do celu, aby dodać je do Celu.

     Możesz wtedy wykonywać transformacje na zestawach danych, np. filtrować dane lub dodawać kolumny w sekcji Zestawy danych.

     Więcej informacji zawiera temat Zarządzanie zestawami danych.

   • Dodawanie transformacji SQL

     Wybierz źródłowe zestawy danych i kliknij Add SQL transformation (Dodaj transformację SQL).

     Transformacja SQL umożliwia wprowadzenie zapytania SQL SELECT do potoku w celu zdefiniowania złożonych lub prostych transformacji.

     Więcej informacji zawiera temat Dodawanie transformacji SQL.

   • Dodawanie przepływu transformacji

     Wybierz źródłowe zestawy danych i kliknij Add transformation flow (Dodaj przepływ transformacji).

     Kreator przepływu umożliwia utworzenie przepływu transformacji ze źródłami, procesorami i celami w celu zdefiniowania złożonych lub prostych transformacji.

     Więcej informacji zawiera temat Dodawanie przepływów transformacji.

   WskazówkaMożesz także dodać kolejne zestawy danych z innych zadań danych pamięci masowej, klikając Wybierz dane źródłowe.

2. Po dodaniu odpowiednich transformacji możesz sprawdzić poprawność zestawów danych, klikając Sprawdź poprawność zestawów danych. Jeśli walidacja wykaże błędy, należy je naprawić przed kontynuacją.

   Aby uzyskać więcej informacji, zobacz temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

3. Utwórz model danych

   Kliknij Model, aby ustawić relacje między dołączonymi zestawami danych.

   Aby uzyskać więcej informacji, zobacz temat Tworzenie modelu danych.

4. Kliknij Przygotuj, aby przygotować zadanie danych i wszystkie wymagane artefakty. Może to trochę potrwać.

   Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

5. Gdy na ekranie pojawi się komunikat Przygotowany, możesz uruchomić zadanie danych.

   Kliknij ... a następnie Uruchom.

Zadanie danych zacznie teraz tworzyć zestawy danych do transferu danych.

Planowanie zadania transformacji

Możesz zaplanować okresową aktualizację zadania transformacji. Możesz ustawić harmonogram oparty na czasie lub ustawić uruchamianie zadania po zakończeniu wykonywania zadań danych wejściowych.

Kliknij ... na zadaniu danych i wybierz Planowanie, aby utworzyć harmonogram. Domyślne ustawienie planowania jest dziedziczone z ustawień w projekcie danych. Więcej informacji na temat ustawień domyślnych zawiera temat Wartości domyślne transformacji.

Aby włączyć harmonogram, należy zawsze ustawić opcję Planowanie na Wł.

Harmonogramy oparte na czasie

Harmonogramu opartego na czasie można użyć, aby uruchomić zadanie niezależnie od tego, kiedy zostaną zaktualizowane różne źródła danych wejściowych.

• Wybierz O określonym czasie w Uruchom zadanie danych.

Możesz ustawić harmonogram godzinowy, dzienny, tygodniowy lub miesięczny.

Harmonogramy oparte na zdarzeniach

Harmonogramu opartego na zdarzeniach można użyć, aby uruchomić zadanie po zakończeniu wykonywania zadań danych wejściowych.

• Wybierz Po wystąpieniu określonego zdarzenia w Uruchom zadanie danych.

Możesz wybrać, czy chcesz uruchomić zadanie, gdy którekolwiek z zadań wejściowych zakończy się pomyślnie, czy też gdy zostanie pomyślnie zakończone dowolne z wybranych zadań wejściowych.

Monitorowanie zadania transformacji

Możesz monitorować stan i postęp zadania transformacji, klikając Monitoruj.

Aby uzyskać więcej informacji, zobacz temat Monitorowanie indywidualnego zadania danych.

Ładowanie danych

Można wykonać ręczne przeładowanie tabel, jeśli dane są zmaterializowane w postaci tabel fizycznych. Jest to przydatne, gdy występują problemy z jedną lub większą liczbą tabel.

1. Otwórz zadanie danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

3. Kliknij przycisk Przeładuj tabele.

Przeładowanie nastąpi, kiedy zadanie zostanie uruchomione następnym razem. Proces przeładowania przebiega inaczej w zależności od ustawień historii i typu transformacji każdego zestawu danych. Oznacza to, że proces przeładowania może się różnić w zależności od zestawu danych w zadaniu danych.

Możesz anulować przeładowanie tabel oczekujących na przeładowanie, klikając Anuluj przeładowanie. Nie wpłynie to na tabele już przeładowane, a trwające przeładowania zostaną ukończone.

Zadania podrzędne zostaną przeładowane w celu zastosowania zmian i uniknięcia datowania wstecznego.

Przeładowanie zestawu danych bez historii

W tym przypadku nie ma historii do uwzględnienia. Aby ograniczyć przetwarzanie celu, przeładowanie odbywa się przez:

1. Obcinanie tabel.

2. Ładowanie bieżących danych z nadrzędnego zadania danych.

Zadania podrzędne zostaną przeładowane, aby zastosować zmiany.

Przeładowanie zestawu danych z włączoną historią

Przeładowania dokonuje się przez:

1. Obcinanie tabel bieżących, wcześniejszych i zmian.

2. Ładowanie danych z nadrzędnego zadania danych, w tym wcześniejszych tabel.

Przeładowanie zestawu danych w oparciu o transformację SQL lub przepływ transformacji

• Przytnij i przeładuj

  InformacjaTa opcja może spowodować utratę historii.

  1. Przycinanie bieżących tabel i tabel zmian.

  2. Uruchomienie zapytania i załadowanie go do bieżących tabel.

• Przeładowanie i porównanie

  1. Uruchomienie zapytania i porównanie go z bieżącymi tabelami.

  2. Dodawanie zmian.

Ustawienia transformacji

Możesz ustawić właściwości zadania danych transformacji.

• Kliknij Ustawienia.

Ustawienia ogólne

• Baza danych

  Baza danych, która ma być użyta w źródle danych.

• Schemat zadania dotyczącego danych

  Możesz zmienić nazwę schematu zadania pamięci masowej danych. Domyślną nazwą jest store.

• Schemat wewnętrzny

  Możesz zmienić nazwę schematu wewnętrznej pamięci masowej. Domyślną nazwą jest store__internal.

• Sufiks dla wszystkich tabel i widoków

  Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania.

  InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu.

• Zmaterializowane

  Możesz wybrać tworzenie widoków, które wykonują transformacje w czasie rzeczywistym (niezmaterializowanych) lub tworzą zarówno tabele, jak i widoki (zmaterializowane).

• Historia

  Aby łatwo odtworzyć dane w postaci z konkretnego momentu, można zachować dane historyczne zmian. Do wyświetlania danych historycznych służą widoki historii i widoki historii na żywo.

Ustawienia czasu działania

• Wykonanie równoległe

  Możesz ustawić maksymalną liczbę połączeń danych dla pełnego ładowania w zakresie od 1 do 5.

• Hurtownia

  Nazwa hurtowni danych w chmurze.

Ograniczenia

• Nie jest możliwa zmiana typów danych w zadaniach danych transformacji, gdy wybrana jest opcja Niezmaterializowane.

• Niezmaterializowane zestawy danych oparte na SQL udostępniają tylko pełny zestaw wyników, a filtrowanie przyrostowe nie jest obsługiwane. Niezmaterializowane zbiory danych oparte na języku SQL również dostarczają tylko aktualnych danych i nie przechowują danych historycznych.