Zarządzanie zestawami danych

Możesz zarządzać zestawami danych uwzględnionymi w zadaniach danych Umieszczanie, Przechowywanie, Transformacja, Baza danych hurtowni, Umieszczanie strumieniowe, Transformacja strumieniowa i Replikacja, aby tworzyć transformacje, filtrować dane i dodawać kolumny.

Uwzględnione zestawy danych są wymienione w sekcji Zestawy danych w widoku Projekt. Możesz wybrać kolumny do wyświetlenia za pomocą selektora kolumn ().

Reguły transformacji i transformacje jawne

Możesz wykonywać zarówno transformacje globalne, jak i jawne.

Reguły transformacji

Możesz wykonywać transformacje globalne, tworząc regułę transformacji, która używa znaku % jako symbolu wieloznacznego w zakresie, aby zastosować ją do wszystkich pasujących zestawów danych.

• Kliknij Reguły, a następnie Dodaj regułę, aby utworzyć nową regułę transformacji.

  Więcej informacji zawiera sekcja Tworzenie reguł przekształcania zestawów danych.

Reguły transformacji są oznaczane ciemnofioletowym rogiem na atrybucie, którego dotyczą.

Transformacje jawne

Transformacje jawne są tworzone:

• Gdy używasz opcji Edytuj, aby zmienić atrybut kolumny

• Gdy używasz opcji Zmień nazwę na zestawie danych.

• Gdy dodajesz kolumnę.

Transformacje jawne zastępują transformacje globalne i są oznaczane jasnofioletowym rogiem na atrybucie, którego dotyczą.

Modele zestawów danych

Zestawy danych mogą być oparte na źródle lub na celu, w zależności od typu zadania i operacji w zadaniu. Użyty model zestawu danych wpływa na zachowanie potoku przy zmianach w źródle oraz na to, jakie operacje można wykonywać.

• Zestawy danych oparte na źródle

  Zestaw danych jest oparty na źródłowych zestawach danych i będzie przechowywać tylko zmiany w metadanych. Zmiana w danych źródłowych jest stosowana automatycznie, co może powodować zmiany we wszystkich zadaniach podrzędnych. Nie można zmienić kolejności kolumn ani zmienić źródłowego zestawu danych.

  Następujące typy zadań zawsze używają modelu zestawu danych opartego na źródle: Umieszczanie, Przechowywanie, Zarejestrowane dane, Replikacja i Umieszczanie w jeziorze danych.

• Zestawy danych oparte na celu

  Zestaw danych jest oparty na metadanych docelowych. Jeśli kolumna zostanie dodana ze źródła lub usunięta, nie jest to automatycznie stosowane do następnego zadania podrzędnego. Możesz zmienić kolejność kolumn i zmienić źródłowy zestaw danych. Oznacza to, że zadanie jest bardziej samowystarczalne i pozwala kontrolować wpływ zmian w źródle.

  Następujące typy zadań mogą używać modelu zestawu danych opartego na celu: Transformacja, Baza danych hurtowni. W niektórych przypadkach model oparty na źródle jest używany dla zadań Transformacji w zależności od operacji.

  • Jeśli transformacja SQL lub przepływ transformacji wykonuje wybór kolumn, zestaw danych będzie oparty na celu. Na przykład, jeśli użyjesz SELECT A, B, C from XYZ w transformacji SQL lub użyjesz procesora Wybierz kolumny w przepływie transformacji.

  • Jeśli domyślne kolumny zostaną zachowane, zestaw danych jest oparty na źródle. Na przykład, jeśli użyjesz SELECT * from XYZ w transformacji SQL.

Aktualizowanie projektów z modelu opartego na źródle do modelu opartego na celu

Istniejące projekty są aktualizowane do modelu zestawu danych opartego na celu, gdy ma to zastosowanie. Zostaniesz poprowadzony przez proces aktualizacji podczas pierwszego otwierania projektu. Istnieją pewne kwestie, które należy wziąć pod uwagę podczas importowania i eksportowania projektów z różnymi modelami zestawów danych.

• Nie można zaimportować projektu z modelem opartym na źródle do projektu z modelem opartym na celu.

  Zaimportuj projekt z modelem opartym na źródle do nowego projektu, zaktualizuj nowy projekt, a następnie wyeksportuj wynikowy projekt. Teraz możesz ponownie zaimportować ten projekt do projektu z modelem opartym na celu.

• Nie można zaimportować projektu z modelem opartym na celu do projektu z modelem opartym na źródle.

  Zaktualizuj projekt do modelu opartego na celu przed zaimportowaniem projektu z modelem opartym na celu.

Filtrowanie zestawu danych

W razie potrzeby możesz filtrować dane, aby utworzyć podzbiór wierszy.

• Kliknij Filtruj.

Więcej informacji zawiera sekcja Filtrowanie zestawów danych.

Zmiana nazwy zestawu danych

Możesz zmienić nazwę zestawu danych.

• Kliknij na zestawie danych, a następnie Edytuj.

Dodawanie kolumn

W razie potrzeby możesz dodawać kolumny z transformacjami na poziomie wiersza.

• Kliknij Dodaj kolumnę

Więcej informacji zawiera sekcja Dodawanie kolumn do zbioru danych.

Edytowanie kolumny

Możesz edytować właściwości kolumny, wybierając kolumnę i klikając Edytuj.

• Nazwa

• Klucz

  Ustaw kolumnę jako klucz podstawowy. Możesz również ustawiać klucze, zaznaczając lub odznaczając je w kolumnie Klucz.

• Dopuszcza wartość null

• Typ danych

  Ustaw typ danych kolumny. Dla niektórych typów danych można ustawić dodatkową właściwość, na przykład Długość.

  InformacjaZmiana typu danych lub rozmiaru typu danych kolumny może mieć wpływ na zadania korzystające z zestawu danych. Więcej informacji zawiera sekcja Zarządzanie typami danych.

Usuwanie kolumn

Możesz usunąć jedną lub więcej kolumn z zestawu danych.

• Wybierz kolumny do usunięcia i kliknij Usuń.

Jeśli chcesz zobaczyć usunięte kolumny, kliknij Pokaż usunięte kolumny. Usunięte kolumny są oznaczone przekreślonym tekstem. Możesz przywrócić usuniętą kolumnę, wybierając ją i klikając Przywróć.

Przywracanie jawnych zmian w kolumnach

Możesz przywrócić wszystkie jawne zmiany w jednej lub wielu kolumnach.

• Wybierz kolumny, w których chcesz przywrócić zmiany, i kliknij Przywróć.

Zmiany wynikające z globalnych reguł transformacji nie zostaną przywrócone.

Jeśli przywrócisz dodaną kolumnę, zostanie ona usunięta.

Ustawienia zestawu danych

Możesz zmienić ustawienia zestawu danych. Domyślnym ustawieniem jest dziedziczenie ustawienia zadania danych, ale możesz również zmienić ustawienie na jawnie Włączone lub Wyłączone.

• Kliknij na zestawie danych, a następnie Ustawienia.

Wyświetlanie danych

Możesz wyświetlić dane przykładowe, aby zobaczyć i zweryfikować kształt danych podczas projektowania potoku danych.

Muszą zostać spełnione następujące wymagania:

• Wyświetlanie danych jest włączone na poziomie dzierżawy w centrum aktywności Administrowanie.

  Aby je włączyć, przejdź na stronę Ustawienia, wybierz kartę Kontrola funkcji i włącz opcję Wyświetlanie danych w Integracja danych.

• Masz przypisaną rolę Może wyświetlać dane w przestrzeni, w której znajduje się połączenie.

• Masz przypisaną rolę Może wyświetlać w przestrzeni, w której znajduje się projekt.

Wyświetlanie danych przykładowych

Aby wyświetlić dane przykładowe na karcie Zestawy danych w widoku Projekt:

• Kliknij Wyświetl dane w sekcji Obiekty fizyczne.

Wyświetlane są dane przykładowe. Możesz ustawić, ile wierszy danych ma zostać uwzględnionych w próbce, za pomocą opcji Liczba wierszy.

Przełączanie między zestawami danych a tabelami

Aby przełączać się między zestawami danych a tabelami:

• Wybierz Zestawy danych, aby wyświetlić logiczną reprezentację danych.

• Wybierz Obiekty fizyczne, aby wyświetlić fizyczną reprezentację w bazie danych jako tabele i widoki.

  Uwaga dotycząca wiadomościTa opcja nie jest dostępna, jeśli fizyczna reprezentacja nie została jeszcze utworzona.

Filtrowanie

Możesz filtrować dane przykładowe na dwa sposoby:

• Użyj ikony , aby przefiltrować, które dane przykładowe mają zostać pobrane.

  Na przykład, jeśli użyjesz filtru ${OrderYear}>2023, a opcja Liczba wierszy jest ustawiona na 10, otrzymasz próbkę 10 zamówień z 2024 roku.

• Filtruj dane przykładowe według określonej kolumny.

  Wpłynie to tylko na istniejące dane przykładowe. Jeśli użyto ikony , aby uwzględnić tylko zamówienia z 2024 roku, a filtr kolumny zostanie ustawiony na wyświetlanie zamówień z 2022 roku, wynikiem będzie pusta próbka.

Sortowanie

Możesz również sortować dane przykładowe według określonej kolumny. Sortowanie wpłynie tylko na istniejące dane przykładowe. Jeśli użyto ikony , aby uwzględnić tylko zamówienia z 2024 roku i odwrócić kolejność sortowania, dane przykładowe nadal będą zawierać tylko zamówienia z 2024 roku.

Ukrywanie kolumn

Możesz ukrywać kolumny w widoku danych:

• Ukryj pojedynczą kolumnę, klikając na kolumnie, a następnie Ukryj kolumnę.

• Ukryj kilka kolumn, klikając na dowolnej kolumnie, a następnie Wyświetl kolumny. Pozwala to kontrolować widoczność wszystkich kolumn w widoku.

Pobieranie danych przykładowych

Możesz pobierać wyświetlane dane przykładowe:

• Kliknij , aby pobrać zawartość widoku danych przykładowych.

Dane przykładowe są pobierane jako plik CSV do folderu pobierania w przeglądarce.

Weryfikacja i dostosowywanie zestawów danych

Możesz zweryfikować wszystkie zestawy danych uwzględnione w zadaniu danych.

Rozwiń sekcję Weryfikuj i dostosuj, aby zobaczyć wszystkie błędy weryfikacji i zmiany w projekcie.

Weryfikacja zestawów danych

• Kliknij Weryfikuj zestawy danych, aby zweryfikować zestawy danych.

Weryfikacja obejmuje sprawdzenie, czy:

• Wszystkie tabele mają klucz podstawowy

• Nie brakuje żadnych atrybutów.

• Nie ma zduplikowanych nazw tabel ani kolumn.

Otrzymasz również listę zmian w projekcie w porównaniu ze źródłem:

• Dodane tabele i kolumny

• Usunięte tabele i kolumny

• Tabele i kolumny ze zmienioną nazwą

• Zmienione klucze podstawowe i typy danych

Rozwiń sekcję Weryfikuj i dostosuj, aby zobaczyć wszystkie błędy weryfikacji i zmiany w projekcie.

• Napraw błędy weryfikacji, a następnie ponownie zweryfikuj zestawy danych.

• Większość zmian w projekcie można dostosować automatycznie, z wyjątkiem zmienionych kluczy podstawowych lub typów danych. W takim przypadku musisz zsynchronizować zestawy danych.

Przygotowywanie zestawów danych

Możesz przygotować zestawy danych, aby w miarę możliwości dostosować zmiany w projekcie bez utraty danych. Jeśli istnieją zmiany w projekcie, których nie można dostosować bez utraty danych, otrzymasz opcję ponownego utworzenia tabel ze źródła z utratą danych.

Wymaga to zatrzymania zadania.

• Kliknij , a następnie Przygotuj.

Gdy zestawy danych zostaną przygotowane, zweryfikuj je przed ponownym uruchomieniem zadania przechowywania.

Ponowne tworzenie zestawów danych

Możesz ponownie utworzyć zestawy danych ze źródła. Ponowne utworzenie zestawu danych spowoduje utratę danych. Dopóki masz dane źródłowe, możesz je ponownie załadować ze źródła.

Wymaga to zatrzymania zadania.

• Kliknij , a następnie Utwórz ponownie tabele.

Pobieranie danych weryfikacji

Możesz pobierać dane z sekcji Błędy weryfikacji, Zmiany w projekcie i Postęp przygotowywania:

• Kliknij , aby pobrać.

Dane są pobierane jako plik CSV do folderu pobierania w przeglądarce.

Ograniczenia

• W Google BigQuery usunięcie lub zmiana nazwy kolumny spowoduje ponowne utworzenie tabeli i doprowadzi do utraty danych.