Przekształcanie danych

Możesz tworzyć transformacje danych wielokrotnego użytku i oparte na regułach w ramach swojego potoku danych. Możesz wykonywać transformacje jako część procesu wprowadzania danych lub tworzyć zadania danych transformacji wielokrotnego użytku. Możesz wykonywać transformacje na poziomie wiersza i tworzyć zestawy danych zmaterializowanych, takich jak tabele, lub w postaci widoków, w których przekształcenia odbywają się na bieżąco.

• Możesz wykonywać jawne transformacje dla każdego zestawu danych lub tworzyć globalne reguły do transformacji wielu zestawów danych. W razie potrzeby można filtrować zestawy danych, aby utworzyć podzestaw wierszy.

• Możesz dodać transformacje SQL.

Tworzenie zadania danych transformacji

Najprostszym sposobem utworzenia zadania danych transformacji jest kliknięcie ... na zadaniu danych pamięci masowej, a następnie wybranie opcji Transformacja danych.

Możesz także kliknąć Dodaj nowy w projekcie danych i wybrać Tranformacja danych. W tym przypadku musisz określić, które zadanie danych źródłowych ma zostać użyte.

1. Zdefiniuj swoje dane źródłowe w polu Transformacja zestawu danych.

   Wybierz źródłowe zestawy danych i kliknij Dodaj, aby dodać je do Celu.

   Możesz dodać transformację SQL, wybierając zestaw danych i klikając Dodaj zestaw danych oparty na SQL.

   Dodawanie transformacji SQL

   WskazówkaMożesz także dodać kolejne zestawy danych z innych zasobów danych pamięci masowej, klikając Wybierz dane źródłowe.

2. Dokonaj wszystkich wymaganych zmian w dołączonych zestawach danych, takich jak transformacje, filtrowanie danych czy dodawanie kolumn.

   Aby uzyskać więcej informacji, zobacz temat Zarządzanie zestawami danych.

3. Po dodaniu odpowiednich transformacji możesz sprawdzić poprawność zestawów danych, klikając Sprawdź poprawność zestawów danych. Jeśli walidacja wykaże błędy, należy je naprawić przed kontynuacją.

   Aby uzyskać więcej informacji, zobacz temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

4. Utwórz model danych

   Kliknij Model, aby ustawić relacje między dołączonymi zestawami danych.

   Aby uzyskać więcej informacji, zobacz temat Tworzenie modelu danych.

5. Kliknij Przygotuj, aby przygotować zadanie danych i wszystkie wymagane artefakty. Może to trochę potrwać.

   Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

6. Gdy na ekranie pojawi się komunikat Przygotowany, możesz uruchomić zadanie danych.

   Kliknij ... a następnie Uruchom.

Zadanie danych zacznie teraz tworzyć zestawy danych do transferu danych.

Dodawanie transformacji SQL

Do zadań transformacji można dołączać transformacje SQL. Transformacja SQL umożliwia wprowadzenie zapytania SQL SELECT do potoku w celu zdefiniowania złożonych lub prostych transformacji.

• W sekcji Przekształć zestaw danych wybierz zestawy danych, które mają zostać włączone do zapytania, i kliknij Dodaj transformację SQL.

Aby uzyskać więcej informacji, zobacz temat Dodawanie transformacji SQL.

Planowanie zadania transformacji

Możesz zaplanować okresową aktualizację zadania transformacji. Możesz ustawić harmonogram oparty na czasie lub ustawić uruchamianie zadania po zakończeniu wykonywania zadań danych wejściowych.

Kliknij ... na zadaniu danych i wybierz Planowanie, aby utworzyć harmonogram. Domyślne ustawienie planowania jest dziedziczone z ustawień w projekcie danych. Więcej informacji na temat ustawień domyślnych zawiera temat Wartości domyślne transformacji.

Aby włączyć harmonogram, należy zawsze ustawić opcję Planowanie na Wł.

Harmonogramy oparte na czasie

Harmonogramu opartego na czasie można użyć, aby uruchomić zadanie niezależnie od tego, kiedy zostaną zaktualizowane różne źródła danych wejściowych.

• Wybierz O określonym czasie w Uruchom zadanie danych.

Możesz ustawić harmonogram godzinowy, dzienny, tygodniowy lub miesięczny.

Harmonogramy oparte na zdarzeniach

Harmonogramu opartego na zdarzeniach można użyć, aby uruchomić zadanie po zakończeniu wykonywania zadań danych wejściowych.

• Wybierz Po wystąpieniu określonego zdarzenia w Uruchom zadanie danych.

Możesz wybrać, czy chcesz uruchomić zadanie, gdy którekolwiek z zadań wejściowych zakończy się pomyślnie, czy też gdy zostanie pomyślnie zakończone dowolne z wybranych zadań wejściowych.

Monitorowanie zadania transformacji

Możesz monitorować stan i postęp zadania transformacji, klikając Monitoruj.

Aby uzyskać więcej informacji, zobacz temat Monitorowanie indywidualnego zadania danych.

Ładowanie danych

Można wykonać ręczne przeładowanie tabel, jeśli dane są zmaterializowane w postaci tabel fizycznych. Jest to przydatne, gdy występują problemy z jedną lub większą liczbą tabel. Jeśli zestawy danych nie są zmaterializowane, należy przeładować źródłowe zestawy danych w nadrzędnym zadaniu danych, aby odświeżyć dane.

1. Otwórz zadanie danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

3. Kliknij przycisk Przeładuj tabele.

Przeładowanie nastąpi, kiedy zadanie zostanie uruchomione następnym razem. Proces przeładowania przebiega inaczej w zależności od ustawień historii i typu transformacji każdego zestawu danych. Oznacza to, że proces przeładowania może się różnić w zależności od zestawu danych w zadaniu danych.

Możesz anulować przeładowanie tabel oczekujących na przeładowanie, klikając Anuluj przeładowanie. Nie wpłynie to na tabele już przeładowane, a trwające przeładowania zostaną ukończone.

Zadania podrzędne zostaną przeładowane w celu zastosowania zmian i uniknięcia datowania wstecznego. Dokonuje się tego przez:

1. Porównanie z pełnym ładowaniem i stosowanie zmian.

2. Stosowanie zmian ze stanu po przeładowaniu.

Przeładowanie zestawu danych bez historii

W tym przypadku nie ma historii do uwzględnienia. Aby ograniczyć przetwarzanie celu, przeładowanie odbywa się przez:

1. Obcinanie tabel.

2. Ładowanie bieżących danych z nadrzędnego zadania danych.

Zadania podrzędne zostaną przeładowane, aby zastosować zmiany.

Przeładowanie zestawu danych z włączoną historią

Przeładowania dokonuje się przez:

1. Obcinanie tabel bieżących, wcześniejszych i zmian.

2. Ładowanie danych z nadrzędnego zadania danych, w tym wcześniejszych tabel.

Przeładowanie zestawu danych w oparciu o transformację SQL

• Przytnij i przeładuj

  InformacjaTa opcja może spowodować utratę historii.

  1. Przycinanie bieżących tabel i tabel zmian.

  2. Uruchomienie zapytania i załadowanie go do bieżących tabel.

• Przeładowanie i porównanie

  1. Uruchomienie zapytania i porównanie go z bieżącymi tabelami.

  2. Dodawanie zmian.

Ustawienia transformacji

Możesz ustawić właściwości zadania danych transformacji.

• Kliknij Ustawienia.

Ustawienia ogólne

• Baza danych

  Baza danych, która ma być użyta w źródle danych.

• Schemat zadania dotyczącego danych

  Możesz zmienić nazwę schematu zadania pamięci masowej danych. Domyślną nazwą jest store.

• Schemat wewnętrzny

  Możesz zmienić nazwę schematu wewnętrznej pamięci masowej. Domyślną nazwą jest store__internal.

• Sufiks dla wszystkich tabel i widoków

  Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania.

  InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu.

• Zmaterializowane

  Możesz wybrać tworzenie widoków, które wykonują transformacje w czasie rzeczywistym (niezmaterializowanych) lub tworzą zarówno tabele, jak i widoki (zmaterializowane).

• Historia

  Aby łatwo odtworzyć dane w postaci z konkretnego momentu, można zachować dane historyczne zmian. Do wyświetlania danych historycznych służą widoki historii i widoki historii na żywo.

Ustawienia czasu działania

• Wykonanie równoległe

  Możesz ustawić maksymalną liczbę połączeń danych dla pełnego ładowania w zakresie od 1 do 5.

• Hurtownia

  Nazwa hurtowni danych w chmurze.

Ograniczenia

• Nie jest możliwa zmiana typów danych w zadaniach danych transformacji, gdy wybrana jest opcja Niezmaterializowane.

• Niezmaterializowane zestawy danych oparte na SQL udostępniają tylko pełny zestaw wyników, a filtrowanie przyrostowe nie jest obsługiwane. Niezmaterializowane zbiory danych oparte na języku SQL również dostarczają tylko aktualnych danych i nie przechowują danych historycznych.