Dane CDC

Proces wdrażania przenosi dane ze źródła CDC lub SaaS i przechowuje je w tabelach Iceberg. Zmiany pochodzące ze źródeł danych są na bieżąco wprowadzane do tabel danych w wydajnych minipartiach.

Dołącz dane

Rozpoczynasz dołączanie danych do projektu. Zestawy danych są przechowywane w lokalizacji S3 zdefiniowanej w projekcie. Więcej informacji na temat projektów zawiera temat Tworzenie projektu potoku danych.

1. W projekcie kliknij Utwórz, a następnie Dołącz dane.

   WskazówkaMożesz także kliknąć na istniejącym źródle w projekcie, a następnie kliknąć Dołącz dane.

2. DodajNazwę i Opis w celu dołączenia danych.

   Kliknij przycisk Dalej.

3. Wybierz połączenie źródłowe.

   Możesz wybrać istniejące połączenie ze źródłem lub utworzyć nowe połączenie ze źródłem.

   Więcej informacji zawiera temat Konfiguracja połączeń ze źródłami danych.

   Kliknij przycisk Dalej.

4. Wybierz dane do załadowania.

   Więcej informacji zawiera temat Wybieranie danych.

   Kliknij przycisk Dalej.

   Zostanie wyświetlony ekran Ustawienia, na którym można wybrać metodę aktualizacji i ustawienia historii.

5. Wybierz metodę aktualizacji danych w polu Metoda aktualizacji:

   • Przechwytywanie zmian danych (CDC)

     Jeśli dane zawierają tabele nieobsługujące CDC, lub widoków, zostaną utworzone dwa potoki — jeden potok ze wszystkimi tabelami obsługującymi CDC i drugi potok ze wszystkimi innymi tabelami i widokami używającymi Przeładuj i porównaj.

   • Przeładuj i porównaj

6. Wybierz, czy chcesz replikować historię poprzednich danych oprócz danych bieżących w Historii.

7. Po zakończeniu kliknij Dalej.

8. Przejrzyj zadania danych, które zostały utworzone w celu dołączenia danych, i zmień ich nazwę, jeśli chcesz.

   WskazówkaNazwy te są używane podczas nazywania schematów baz danych w zadaniu danych pamięci masowej. Rozważ użycie unikatowych nazw, aby uniknąć konfliktów z zadaniami danych w innych projektach wykorzystujących tę samą platformę danych.

9. Wybierz, czy chcesz otworzyć dowolne z utworzonych zadań danych, czy wrócić do projektu.

   Kiedy wszystko będzie gotowe, kliknij Zakończ.

10. Zadania dołączania danych zostały teraz utworzone. Aby rozpocząć replikację danych:

11. Przygotuj i uruchom zadanie umieszczania danych.

    Więcej informacji zawiera temat Umieszczanie danych ze źródeł danych.

12. Przygotuj i uruchom zadanie przechowywania danych.

    Więcej informacji zawiera temat Przechowywanie zestawów danych.

Wybieranie danych

Możesz wybrać określone tabele lub widok, lub użyć reguł wyboru w celu uwzględnienia lub wykluczenia grup tabel.

Użyj % jako symbolu wieloznacznego, aby określić kryteria wyboru schematów i tabel.

• %.% określa wszystkie tabele we wszystkich schematach.

• Public.% definiuje wszystkie tabele w schemacie Publiczny.

Kryteria wyboru dają podgląd na podstawie Twoich wyborów.

Możesz teraz:

• Utwórz regułę, aby włączyć lub wykluczyć grupę tabel na podstawie kryteriów wyboru.

  Kliknij przycisk Dodaj regułę spośród kryteriów wyboru, aby utworzyć regułę, a następnie wybierz opcjęUwzględnij lub Wyklucz.

  Regułę można zobaczyć w sekcji Reguły selekcji.

• Zaznacz jeden lub więcej zestawów danych, a następnie kliknij Dodaj wybrane zestawy danych.

  Dodane zestawy danych możesz zobaczyć w sekcji Jawnie wybrane zestawy danych.

Reguły wyboru dotyczą tylko aktualnego zestawu tabel i widoków, a nie tabel i widoków dodanych w przyszłości.