Replikowanie danych w ramach subskrypcji Standard, Premium lub Enterprise

Aby skonfigurować zadanie replikacji:

1. W Integracja danych > Projekty kliknij Utwórz projekt.

2. W oknie dialogowym Nowy projekt wykonaj następujące czynności:

   1. Podaj Nazwę swojego projektu.
   2. Wybierz Przestrzeń, w której chcesz utworzyć projekt.
   3. Opcjonalnie podaj Opis.
   4. Wybierz opcję Replikacja jako Zastosowanie.
   5. Opcjonalnie usuń zaznaczenie pola Otwórz, jeśli chcesz utworzyć pusty projekt bez konfigurowania ustawień.

   6. Kliknij polecenie Utwórz.

      Nastąpi jedna z poniższych sytuacji:

      • Jeżeli w oknie dialogowym Nowy projekt zostało zaznaczone pole wyboru Otwórz (domyślnie), projekt zostanie otwarty.
      • Jeżeli w oknie dialogowym Nowy projekt zostało usunięte zaznaczenie pola Otwórz, projekt zostanie dodany do Twojej listy projektów. Możesz otworzyć projekt później, wybierając polecenie Otwórz z menu projektu.

3. Po otwarciu projektu kliknij pozycję Replikuj dane.

   Zostanie otwarty kreator Replikuj dane.

4. Na karcie Ogólne określ nazwę i opis zadania replikacji. Następnie kliknij Dalej.

5. Na karcie Wybierz połączenie źródłowe wybierz połączenie z danymi źródłowymi. Opcjonalnie możesz edytować ustawienia połączenia wybierając opcję Edytuj z menu w kolumnie Działania.

   Jeśli nie utworzono jeszcze połączenia ze źródłem danych, musisz je utworzyć, klikając Utwórz połączenie w prawym górnym rogu karty.

   Listę połączeń można filtrować, korzystając z filtrów po lewej stronie. Połączenia można filtrować według typu źródła, bramy, przestrzeni i właściciela. Przycisk Wszystkie filtry nad listą połączeń pokazuje liczbę bieżących filtrów. Za pomocą tego przycisku można zamknąć lub otworzyć panel Filtry po lewej stronie. Aktualnie aktywne filtry widoczne są także nad listą dostępnych połączeń.

   Możesz także posortować listę, wybierając opcję Ostatnia modyfikacja, Ostatnio utworzone lub Alfabetycznie z listy rozwijanej po prawej stronie. Aby zmienić kolejność sortowania, kliknij strzałkę po prawej stronie listy.

   Po wybraniu połączenia ze źródłem danych opcjonalnie kliknij Testuj połączenie w prawym górnym rogu karty (zalecane), a następnie kliknij Dalej.

6. Na karcie Wybierz zestawy danych wybierz tabele i/lub widoki do uwzględnienia w zadaniu replikacji. Można także używać symboli wieloznacznych i tworzyć reguły wyboru zgodnie z opisem w temacie Selekcja danych z bazy danych.

7. Na karcie Wybierz połączenie z celem wybierz miejsce docelowe z listy dostępnych połączeń, a następnie kliknij Dalej. Pod względem funkcjonalnym ta karta nie różni się od opisanej wcześniej karty Wybierz połączenie źródłowe.

8. Na karcie Ustawienia opcjonalnie zmień następujące ustawienia, a następnie kliknij Dalej.

   Tryb replikacji

   InformacjaPodczas replikacji ze źródeł aplikacji SaaS tryb replikacji Pełne ładowanie jest domyślnie włączony i nie można go wyłączyć.
   • Pełne ładowanie: Ładuje dane z wybranych tabel źródłowych na platformę docelową i w razie potrzeby tworzy tabele docelowe. Pełne ładowanie następuje automatycznie w momencie rozpoczęcia zadania, ale w razie potrzeby można je wykonać także ręcznie.

   • Zastosuj zmiany: Zapewnia aktualność tabel docelowych względem wszelkich zmian wprowadzonych w tabelach źródłowych.

   • Zapisz zmiany: Przechowuje zmiany w tabelach źródłowych w tabelach zmian (po jednej na tabelę źródłową).

     Więcej informacji zawiera temat Zapisz zmiany.

   Podczas pracy z bramą Brama danych ruchu danych zmiany są przechwytywane ze źródła w czasie niemal rzeczywistym. Podczas pracy bez bramy Brama danych ruchu danych (po ustawieniu Brama danych na Brak w ustawieniach łącznika) zmiany są przechwytywane zgodnie z ustawieniami harmonogramu. Domyślny interwał przechwytywania zmian wynosi sześć godzin. Więcej informacji zawiera temat Planowanie zadań podczas pracy bez Brama danych ruchu danych.

   Tryb stosowania zmian

   InformacjaPodczas replikacji do miejsc docelowych typu hurtownia danych nie można wybrać trybu stosowania zmian. Z myślą o maksymalnej efektywności zmiany będą zawsze stosowane w trybie Optymalizacja pod kątem partii.

   Zmiany są stosowane do tabel docelowych przy użyciu jednej z następujących metod:

   • Optymalizacja pod kątem partii: jest to ustawienie domyślne. Po wybraniu tej opcji zmiany są stosowane partiami. Następuje działanie przed przetwarzaniem mające na celu jak najefektywniejsze pogrupowanie transakcji w partie.
   • Stosowanie transakcyjne: Wybierz tę opcję, aby zastosować każdą transakcję indywidualnie, w kolejności zatwierdzania. W tym przypadku w odniesieniu do wszystkich tabel jest zapewniana pełna integralność referencyjna.

   Połączenie z obszarem tymczasowym

   W przypadku replikacji do hurtowni danych wymienionych poniżej należy ustawić obszar tymczasowy. Dane są przetwarzane i przygotowywane w obszarze tymczasowym przed przesłaniem do hurtowni danych.

   • Amazon Redshift
   • Microsoft Fabric
   • Databricks

   Wybierz istniejący obszar tymczasowy lub kliknij opcję Utwórz nowy, aby zdefiniować nowy obszar przejściowy, i postępuj zgodnie z instrukcjami w temacie Łączenie z pamięcią w chmurze.

   Aby edytować ustawienia połączenia, kliknij Edytuj. Aby przetestować połączenie (zalecane), kliknij Testuj połączenie.

   Aby uzyskać informacje o tym, które obszary tymczasowe są obsługiwane w których hurtowniach danych, zobacz kolumnę Obsługiwane jako obszar przejściowy w temacie Zastosowania platformy docelowej i obsługiwane wersje.

   Planista replikacji

   InformacjaTo ustawienie ma zastosowanie tylko w przypadku uzyskiwania dostępu do źródeł danych bez bramy Brama danych ruchu danych. Informacje o zaletach bramy Brama danych ruchu danych i o okolicznościach, w których jest wymagana, zawiera temat Brama danych Qlik — ruch danych.

   • Replikuj dane co: Można zaplanować częstotliwość przechwytywania zmian ze źródła danych oraz ustawić Godzinę rozpoczęcia i Datę rozpoczęcia. Jeśli źródłowe zestawy danych obsługują przechwytywanie zmian danych (CDC), tylko zmiany w danych źródłowych zostaną zreplikowane i zastosowane w odpowiednich tabelach docelowych. Jeśli źródłowe zestawy danych nie obsługują CDC (na przykład widoki), zmiany zostaną zastosowane przez ponowne załadowanie wszystkich danych źródłowych do odpowiednich tabel docelowych. Jeśli niektóre źródłowe zestawy danych obsługują CDC, a inne nie, zostaną utworzone dwa osobne zadania podrzędne (zakładając, że Zastosuj zmiany lub wybrano opcje replikacji Zapisz zmiany): jedno do przeładowania zestawów danych, które nie obsługują CDC, a drugie do przechwycenia zmian w zestawach danych, które obsługują CDC.

     Kreator konfiguracji zadania umożliwia zaplanowanie interwału godzinowego. Po zakończeniu konfiguracji zadania możesz zapoznać się z różnymi opcjami planowania, jak opisano to w temacie Planowanie zadań podczas pracy bez Brama danych ruchu danych.

   Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

9. Na karcie Podsumowanie wyświetlana jest wizualizacja potoku danych. Jeśli niektóre z wybranych zestawów danych nie obsługują CDC, zostaną wyświetlone dwa potoki: jeden dla zadania CDC, a drugi dla zadania przeładowania. Wybierz Otwórz zadanie danych <nazwa> lub Nic nie rób, a następnie kliknij Utwórz.

   W zależności od dokonanego wyboru albo zadanie zostanie otwarte, albo wyświetli się lista projektów.

10. Jeśli zdecydujesz się otworzyć zadanie, na karcie Zestawy danych zostanie wyświetlona struktura i metadane wybranych tabel źródłowych. Dotyczy to wszystkich jawnie wybranych tabel oraz tabel pasujących do reguł wyboru.

    Jeśli chcesz dodać więcej tabel ze źródła danych, kliknij Wybierz źródło danych.

11. Opcjonalnie zmień ustawienie zadania zgodnie z opisem w temacie Ustawienia zadania replikacji danych.

12. Możesz wykonywać transformacje na zestawach danych, filtrować dane lub dodawać kolumny.

    Więcej informacji zawiera temat Zarządzanie zestawami danych.

13. Po dodaniu odpowiednich transformacji możesz zatwierdzić zestawy danych, klikając Zatwierdź zestawy danych. Jeśli walidacja się nie powiedzie, napraw błędy przed kontynuacją.

    Więcej informacji zawiera temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

14. Kiedy wszystko będzie gotowe, kliknij Przygotuj, aby skatalogować zadanie danych i przygotować je do wykonania.

15. Po przygotowaniu zadania danych kliknij Uruchom.

    Informacje na temat odzyskiwania zadań i innych metod uruchamiania zadań zawiera temat Zaawansowane opcje uruchamiania.

16. Zadanie replikacji powinno się teraz rozpocząć, a jego przebieg możesz zobaczyć w menu Monitoruj. Więcej informacji zawiera temat Monitorowanie indywidualnego zadania danych

Ustawianie priorytetu ładowania dla zestawów danych

Kolejność ładowania zestawów danych w zadaniu danych można kontrolować, przypisując każdemu z nich priorytet ładowania. Może się to przydać na przykład do ładowania mniejszych zestawów danych przed dużymi.

1. Kliknij Priorytet ładowania.

2. Wybierz priorytet ładowania dla każdego zestawu danych.

   Domyślny priorytet ładowania to Normalny. Zestawy danych będą ładowane w następującej kolejności priorytetów:

   • Najwyższy

   • Wyższy

   • Wysoka

   • Normalny

   • Niska

   • Niższy

   • Najniższy

   Zestawy danych z tym samym priorytetem będą ładowane w kolejności dowolnej.

3. Kliknij przycisk OK.

Odświeżanie metadanych

Możesz odświeżyć metadane w zadaniu, aby dostosować je do zmian w metadanych źródła w widoku Projekt zadania. W przypadku aplikacji SaaS korzystających z narzędzia Metadata manager należy odświeżyć Metadata manager, zanim będzie można odświeżyć metadane w zadaniu danych.

1. Możesz wybrać jedną z opcji:

   • Kliknij ..., a następnie Odśwież metadane, aby odświeżyć metadane dla wszystkich zestawów danych w zadaniu.

   • Kliknij ... na zestawie danych w obszarze Zestawy danych, a następnie Odśwież metadane, aby odświeżyć metadane dla pojedynczego zestawu danych.

   Stan odświeżania metadanych można sprawdzić w obszarze Odśwież metadane w dolnej części ekranu. Datę ostatniego odświeżenia metadanych można zobaczyć, wskazując kursorem .

2. Przygotuj zadanie danych, aby zastosować zmiany

   Po przygotowaniu zadania danych i zastosowaniu zmian zmiany zostaną usunięte z Odśwież metadane.

Należy przygotować zadania pamięci masowej, które wykorzystują to zadanie, aby propagować zmiany.

Jeśli kolumna zostanie usunięta, dodana zostanie transformacja z wartościami Null, aby zapewnić, że pamięć nie utraci danych historycznych.

Ograniczenia dotyczące odświeżania metadanych

• Zmiana nazwy wcześniej usuniętej kolumny w tym samym przedziale czasowym zostanie zinterpretowana jako zmiana nazwy usuniętej kolumny, jeśli mają one ten sam typ i długość danych.

  Przykład:  

  Przed: a b c d

  Po: a c1 d

  W tym przykładzie usunięto b i zmieniono nazwę c na c1, a b i c mają ten sam typ i długość danych.

  Zostanie to zidentyfikowane jako zmiana nazwy b na c1 i usunięcie c.

• Zmiana nazwy ostatniej kolumny nie jest rozpoznawana, nawet jeśli ostatnia kolumna została usunięta, a nazwa poprzedniej kolumny została zmieniona.

  Przykład:  

  Przed: a b c d

  Po: a b c1

  W tym przykładzie usunięto d, a nazwę c zmieniono na c1.

  Zostanie to zidentyfikowane jako usunięcie c i d oraz dodanie c1.

• Zakłada się, że nowe kolumny będą dodawane na końcu. Jeśli w środku zostaną dodane kolumny z tym samym typem danych co w następnej kolumnie, może to zostać zinterpretowane jako usunięcie i zmiana nazwy.

Ewolucja schematu

Ewolucja schematów pozwala łatwo wykrywać zmiany strukturalne w wielu źródłach danych, a następnie kontrolować, jak zmiany te zostaną zastosowane do zadania. Ewolucja schematu może być używana do wykrywania zmian DDL, które zostały wprowadzone do schematu źródła danych. Niektóre zmiany możesz również stosować automatycznie.

Dla każdego typu zmian można wybrać sposób obsługi zmian w sekcji Ewolucja schematu w ustawieniach zadania. Możesz zastosować lub zignorować zmianę, zawiesić tabelę lub zatrzymać przetwarzanie zadania.

Możesz ustawić, które działanie ma być używane do obsługi zmiany DDL dla każdego typu zmiany. Niektóre działania nie są dostępne dla wszystkich typów zmian.

• Zastosuj do celu

  Zastosuj zmiany automatycznie.

• Ignoruj

  Zignoruj zmiany.

• Zawieś tabelę

  Zawieś tabelę. Tabela zostanie wyświetlona jako błąd w sekcji Monitorowanie.

• Zatrzymaj zadanie

  Zatrzymaj przetwarzanie zadania. Jest to przydatne, jeśli chcesz obsługiwać wszystkie zmiany schematu ręcznie. Spowoduje to również zatrzymanie planowania, tzn. zaplanowane uruchomienia nie zostaną wykonane.

Obsługiwane są następujące zmiany:

• Dodanie kolumny

• Zmiana nazwy kolumny

• Zmiana typu danych kolumny

• Usuń tabelę

• Usuń kolumnę

• Dodanie tabeli pasującej do wzorca wyboru
  

  Jeśli użyto reguły wyboru, aby dodać zestawy danych pasujące do wzorca, nowe tabele spełniające ten wzorzec zostaną wykryte i dodane.

Więcej informacji o ustawieniach zadania zawiera temat Ewolucja schematu.

Można również otrzymywać powiadomienia o zmianach, które są obsługiwane przy użyciu ewolucji schematu. Więcej informacji zawiera temat Ustawianie powiadomień o zmianach w działaniu.

Ograniczenia dla ewolucji schematu

W odniesieniu do ewolucji schematu obowiązują następujące ograniczenia:

• Ewolucja schematu jest obsługiwana tylko w przypadku korzystania z CDC jako metody aktualizacji.

• Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie.

• W przypadku zmiany nazw tabel ewolucja schematu nie jest obsługiwana. W takim przypadku należy odświeżyć metadane przed przygotowaniem zadania.

• Jeśli projektujesz zadanie, należy odświeżyć przeglądarkę, aby otrzymać zmiany ewolucji schematu. Można ustawić powiadomienia, aby otrzymywać alarmy o zmianach.

• W zadaniach umieszczania usuwanie kolumny nie jest obsługiwane. Usunięcie kolumny i jej dodanie spowoduje błąd tabeli.

• W zadaniach umieszczania operacja usunięcia tabeli nie spowoduje usunięcia tabeli. Usunięcie tabeli, a następnie jej dodanie spowoduje jedynie obcięcie starej tabeli, a nowa tabela nie zostanie dodana.

• Zmiana długości kolumny nie jest możliwa dla wszystkich obiektów docelowych w zależności od obsługi w docelowej bazie danych.

• Jeśli nazwa kolumny zostanie zmieniona, jawne transformacje zdefiniowane przy użyciu tej kolumny nie będą miały wpływu, ponieważ są one oparte na nazwie kolumny.

• Ograniczenia dotyczące odświeżania metadanych mają również zastosowanie do ewolucji schematu.

Podczas przechwytywania zmian DDL obowiązują następujące ograniczenia:

• Gdy w źródłowej bazie danych występuje szybka sekwencja operacji (na przykład DDL>DML>DDL), Qlik Talend Data Integration może przeanalizować dziennik w niewłaściwej kolejności, co może skutkować brakiem danych lub nieprzewidywalnym działaniem. Aby zminimalizować ryzyko wystąpienia takiej sytuacji, najlepszą praktyką jest poczekanie na zastosowanie zmian w obiekcie docelowym przed wykonaniem kolejnej operacji.

  Na przykład podczas przechwytywania zmian, jeśli nazwa tabeli źródłowej zostanie zmieniona wiele razy w krótkim odstępie czasu (a druga operacja zmieni jej nazwę z powrotem na oryginalną), może wystąpić komunikat o błędzie, że tabela już istnieje w docelowej bazie danych.

• Jeśli zmienisz nazwę tabeli używanej w zadaniu, a następnie zatrzymasz zadanie, Qlik Talend Data Integration nie przechwyci żadnych zmian dokonanych w tej tabeli po wznowieniu zadania.

• Zmiana nazwy tabeli źródłowej, gdy zadanie jest zatrzymane, nie jest obsługiwana.

• Realokacja kolumn klucza głównego tabeli nie jest obsługiwana (i dlatego nie zostanie zapisana w tabeli kontrolnej Historia DDL).
• Gdy typ danych kolumny zostanie zmieniony, a następnie nazwa (tej samej) kolumny zostanie zmieniona, kiedy zadanie zostanie zatrzymane, zmiana DDL pojawi się w tabeli kontrolnej Historia DDL jako działanie „Usuń kolumnę”, a następnie „Dodaj kolumnę” po wznowieniu zadania. Takie samo działanie może również wystąpić w wyniku przedłużającego się opóźnienia.
• Operacje CREATE TABLE wykonywane na źródle, gdy zadanie jest zatrzymane, zostaną zastosowane do celu, gdy zadanie zostanie wznowione, ale nie zostaną zapisane jako DDL w tabeli kontrolnej Historia DDL.

• Operacje związane ze zmianami metadanych (takie jak ALTER TABLE, reorganizacja, odbudowa indeksu klastrowego itp.) mogą powodować nieprzewidywalne działania, jeśli zostaną wykonane:

  • Podczas pełnego ładowania

    LUB

  • Pomiędzy znacznikiem czasu opcji Zacznij przetwarzanie zmian od a bieżącym czasem (tj. momentem, w którym użytkownik kliknie przycisk OK w oknie dialogowym Zaawansowane opcje uruchamiania).

    Przykład:

    IF:

    Określony czas opcji Zacznij przetwarzanie zmian od to 10:00.

    AND:

    Kolumna o nazwie Wiek została dodana do tabeli Pracownicy o godzinie 10:10.

    AND:

    Użytkownik klika OK w oknie dialogowym Zaawansowane opcje uruchamiania o godzinie 10:15.

    THEN:

    Zmiany, które nastąpiły między 10:00 a 10:10 mogą skutkować błędami CDC.

  Informacja

  W każdym z powyższych przypadków należy przeładować tabele danych, aby dane zostały poprawnie przeniesione do miejsca docelowego.

• Instrukcja DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> nie replikuje wartości domyślnej do wartości docelowej, a nowa/zmodyfikowana kolumna jest ustawiona na NULL. Może się tak zdarzyć, nawet jeśli instrukcja DDL, która dodała lub zmodyfikowała kolumnę została wykonana w przeszłości. Jeśli nowa lub zmodyfikowana kolumna jest pusta, źródłowy punkt końcowy aktualizuje wszystkie wiersze tabeli przed zarejestrowaniem samej instrukcji DDL. W rezultacie Qlik Talend Data Integration przechwytuje zmiany, ale nie aktualizuje celu. Ponieważ nowa lub modyfikowana kolumna jest ustawiona na NULL, jeśli tabela docelowa nie ma klucza głównego / unikatowego indeksu, kolejne aktualizacje wygenerują komunikat „zmieniono zero wierszy”.

• Modyfikacje kolumn o precyzji TIMESTAMP i DATE nie będą rejestrowane.

Obsługa zmian, które nie są stosowane automatycznie

Opisuje sposób obsługi zmian, których nie można zastosować do celu, tzn. działań Ignoruj, Zawieś lub Zatrzymaj zadanie.

Ograniczenia oraz kwestie do uwzględnienia podczas replikacji danych

Transformacje podlegają następującym ograniczeniom:

• Transformacje nie są obsługiwane w przypadku kolumn z tekstem w językach od prawej do lewej.

• Nie można wykonywać transformacji na kolumnach, które mają w nazwie znaki specjalne (np. #, \, /, -).

• Jedyną obsługiwaną transformacją dla typów danych LOB/CLOB jest usunięcie kolumny w miejscu docelowym.
• Nie jest obsługiwane używanie transformacji polegającej na zmianie nazwy kolumny i dodaniu nowej kolumny o tej samej nazwie.

Zmiana dopuszczalności wartości null nie jest obsługiwana w przypadku kolumn przenoszonych, niezależnie od tego, czy są zmieniane bezpośrednio, czy też za pomocą reguły transformacji. W przypadku nowych kolumn utworzonych w zadaniu wartości null są jednak dopuszczalne domyślnie.