Umieszczanie danych ze źródeł danych

Pierwszym krokiem w przesyłaniu danych podczas dodawania jest ich umieszczenie. Obejmuje to ciągłe przesyłanie danych z lokalnego źródła danych do obszaru umieszczania.

Dane można umieszczać z wielu źródeł danych za pomocą połączeń źródła.

Obszar umieszczania definiuje się podczas tworzenia projektu.

• Qlik Cloud (za pośrednictwem Amazon S3)

  Gdy umieszczasz dane w Qlik Cloud (za pośrednictwem Amazon S3), możesz ich użyć do wygenerowania tabel QVD gotowych do analizy w Qlik Cloud.

• Hurtownia danych w chmurze

  Gdy przenosisz dane do hurtowni danych w chmurze, takiej jak Snowflake lub Azure Synapse Analytics, możesz przechowywać tabele w tej samej hurtowni danych w chmurze.

Tworzenie i konfiguracja zadania umieszczania danych

W tym temacie opisano, jak utworzyć zadanie umieszczania danych. Najszybszym sposobem na stworzenie potoku danych jest dołączanie danych, które tworzą zadanie umieszczania danych i zadanie pamięci masowej danych, gotowe do przygotowania i uruchomienia. Więcej informacji zawiera temat Dołączanie danych.

1. Kliknij Utwórz w projekcie i wybierz Umieść dane.

2. W oknie dialogowym Dane umieszczania wprowadź nazwę i opis zadania danych.

   Wybierz Otwórz, aby otworzyć zadanie umieszczania danych po jego utworzeniu.

   Kliknij polecenie Utwórz.

3. Kliknij Wybierz dane źródłowe.

4. Wybierz połączenie z danymi źródłowymi i kliknij Dalej.

   Możesz użyć filtrów w lewym panelu, aby przefiltrować listę połączeń według typu źródła, przestrzeni i właściciela.

   Jeśli nie masz jeszcze połączenia z danymi źródłowymi, musisz je najpierw utworzyć, klikając Dodaj połączenie.

   Aby uzyskać więcej informacji na temat konfigurowania połączenia z obsługiwanymi źródłami, zobacz Konfiguracja połączeń ze źródłami danych.

   InformacjaPo wybraniu tabel w następnym kroku nie jest możliwa zmiana połączenia ze źródłem z lokalnego źródła danych na źródło danych w chmurze lub odwrotnie. Możesz zmienić połączenie tylko na inne źródło danych tego samego typu.

5. Wybierz zestawy danych, które chcesz uwzględnić w zadaniu danych. Okno dialogowe wyboru różni się w zależności od typu źródła, z którym nastąpiło połączenie.

   Po wybraniu tabel kliknij Zapisz.

   Zostanie wyświetlony ekran Zestawy danych.

6. Możesz zmienić ustawienia dotyczące umieszczania. Nie jest to wymagane.

   • Kliknij opcję Ustawienia.

   Więcej informacji na temat ustawień, patrz Ustawienia umieszczania.

7. Możesz teraz wyświetlać podgląd struktury i metadanych wybranych tabel zasobów danych. Dotyczy to wszystkich jawnie wybranych tabel oraz tabel pasujących do reguł wyboru.

   Jeśli chcesz dodać więcej tabel ze źródła danych, kliknij Wybierz źródło danych.

8. Możesz wykonywać transformacje na zestawach danych, filtrować dane lub dodawać kolumny. Nie jest to wymagane.

   Więcej informacji zawiera temat Zarządzanie zestawami danych.

9. Po dodaniu odpowiednich transformacji możesz zatwierdzić zestawy danych, klikając Zatwierdź zestawy danych. Jeśli walidacja wykaże błędy, należy je naprawić przed kontynuacją.

   Aby uzyskać więcej informacji, zobacz temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

10. Kiedy wszystko będzie gotowe, kliknij Przygotuj, aby skatalogować zadanie danych i przygotować je do wykonania.

    Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

11. Gdy zadanie danych zostanie przygotowane i zechcesz rozpocząć replikację danych, kliknij Uruchom.

Replikacja powinna się teraz rozpocząć, a jej przebieg możesz zobaczyć w menu Monitoruj. Więcej informacji zawiera temat Monitorowanie indywidualnego zadania danych.

Selekcja danych z bazy danych

Możesz wybrać określone tabele lub widok, lub użyć reguł wyboru w celu uwzględnienia lub wykluczenia grup tabel.

Użyj % jako symbolu wieloznacznego, aby określić kryteria wyboru schematów i tabel.

• %.% określa wszystkie tabele we wszystkich schematach.

• Public.% definiuje wszystkie tabele w schemacie Publiczny.

Kryteria wyboru dają podgląd na podstawie Twoich wyborów.

Możesz teraz:

• Utwórz regułę, aby włączyć lub wykluczyć grupę tabel na podstawie kryteriów wyboru.

  Kliknij przycisk Dodaj regułę spośród kryteriów wyboru, aby utworzyć regułę, a następnie wybierz opcjęUwzględnij lub Wyklucz.

  Regułę można zobaczyć w sekcji Reguły selekcji.

• Zaznacz jeden lub więcej zestawów danych, a następnie kliknij Dodaj wybrane zestawy danych.

  Dodane zestawy danych możesz zobaczyć w sekcji Jawnie wybrane zestawy danych.

Reguły wyboru dotyczą tylko aktualnego zestawu tabel i widoków, a nie tabel i widoków dodanych w przyszłości.

Uruchamianie zadania umieszczania z funkcją Przechwytywanie danych zmian (CDC)

Możesz uruchomić zadanie umieszczania danych, gdy zostanie przygotowane. Spowoduje to uruchomienie replikacji, która przesyła dane z lokalnego źródła danych do obszaru umieszczania.

• Kliknij Uruchom, aby rozpocząć umieszczanie danych.

Replikacja powinna się teraz rozpocząć, a zadanie danych będzie mieć status Uruchomione. Najpierw kopiowane jest pełne źródło danych, a następnie śledzone są zmiany. Oznacza to, że zmiany są stale śledzone i przesyłane po wykryciu. Dzięki temu dane do umieszczania w obszarze umieszczania są aktualne.

Na stronie głównej Qlik Talend Data Integration możesz zobaczyć status, datę i godzinę aktualizacji danych do umieszczania oraz liczbę tabel z błędami. Możesz również otworzyć zadanie danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Możesz szczegółowo monitorować postęp, otwierając kartę Monitoruj. Więcej informacji zawiera temat Monitorowanie indywidualnego zadania danych.

Kiedy wszystkie tabele są załadowane, a pierwszy zestaw zmian przetworzony, pozycja Dane są zaktualizowane do na karcie zadania danych pokazuje, że w zadaniu danych są dostępne zmiany źródła do tego czasu.

Ładowanie tabel

Dane ze źródła można przeładować.

Przeładowywanie tabel

Można przeładować określone tabele ręcznie, bez zakłócania przechwytywania danych zmian. Jest to przydatne, gdy występują problemy CDC z jedną lub większą liczbą tabel.

1. Otwórz zadanie umieszczania danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

3. Kliknij przycisk Przeładuj tabele.

Jeśli nie możesz rozwiązać problemów przez przeładowanie tabel lub jeśli mają one wpływ na całe zadanie, możesz zamiast tego przeładować wszystkie tabele do miejsca docelowego. Spowoduje to ponowne uruchomienie przechwytywania danych zmian.

Przeładowywanie wszystkich tabel do miejsca docelowego

Możesz przeładować wszystkie tabele do miejsca docelowego, jeśli wystąpią problemy z CDC, których nie można rozwiązać przez przeładowanie określonych tabel. Przykładami problemów są brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub awaria podczas odczytu zdarzeń źródłowej bazy danych.

1. Zatrzymaj zadanie danych i wszystkie zadania, które go używają.

2. Otwórz zadanie danych i wybierz kartę Monitoruj.

3. Kliknij ..., a następnie Przeładuj miejsce docelowe.

Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.

• Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.

  Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.

• Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:

  • Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,

  • Dla każdej tabeli zostanie wykonany jeden cykl zmian.

Uruchamianie zadania umieszczania danych z Przeładowaniem i porównaniem

Możesz kopiować dane, używając zadania umieszczania danych, kiedy zostanie przygotowane.

• Kliknij polecenie Uruchom, aby rozpocząć pełne ładowanie.

Rozpocznie się teraz kopiowanie danych, a zadanie danych będzie miało status Uruchomiono. Kiedy skopiowane zostanie pełne źródło danych, status zmieni się na Zakończone.

Na stronie głównej Qlik Talend Data Integration możesz zobaczyć status, datę i godzinę aktualizacji danych do umieszczania oraz liczbę tabel z błędami. Możesz również otworzyć zadanie danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Możesz szczegółowo monitorować postęp, otwierając kartę Monitoruj. Więcej informacji zawiera temat Monitorowanie indywidualnego zadania danych.

Kiedy wszystkie tabele są załadowane, pozycja Dane są zaktualizowane do na karcie zadania danych pokazuje, że w zasobie danych są dostępne zmiany źródła do tego czasu. Niektóre tabele zadania danych mogą jednak zostać zaktualizowane do późniejszego czasu, w zależności od tego, kiedy rozpoczęło się ładowanie. Oznacza to, że nie można zagwarantować spójności danych. Jeżeli na przykład ładowanie rozpoczęło się o godzinie 8:00 i trwało 4 godziny, pozycja Dane są aktualizowane do będzie po zakończeniu ładowania wskazywać godzinę 8:00. Tabela, której ładowanie rozpoczęło się o 11:30, będzie jednak zawierać zmiany ze źródła, które nastąpiły między 8:00 a 11:30.

Wartość Dane są zaktualizowane do odzwierciedla tylko tabele, które zostały pomyślnie załadowane. Nie wskazuje ona nic, co oznaczałoby niepowodzenie ładowania tabeli. W miejscach docelowych w chmurze pole będzie puste, jeśli ładowanie zakończy się błędem w przypadku wszystkich tabel.

Przeładowanie danych podczas korzystania z funkcji Przeładuj i porównaj

Gdy używasz metody aktualizacji Przeładuj i porównaj, musisz przeładować dane, aby były aktualne względem źródła danych.

• Kliknij Przeładuj, aby wykonać ręczne przeładowanie wszystkich tabel.

• Skonfiguruj zaplanowane ładowanie.

Przeładowywanie tabel

Możesz przeładować określone tabele ręcznie. Jest to przydatne, gdy występują problemy z jedną lub większą liczbą tabel.

1. Otwórz zadanie umieszczania danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

3. Kliknij przycisk Przeładuj tabele.

Planowanie zadania umieszczania danych z Przeładowaniem i porównaniem

Możesz zaplanować okresowe przeładowanie zadania umieszczania danych, jeśli masz rolę Może operować w przestrzeni tego zadania danych. Aby harmonogram był aktywny, zadanie danych musi mieć status co najmniej Przygotowane.

• Kliknij ... na zadaniu danych i wybierz Planowanie.

  Możesz ustawić harmonogram oparty na czasie.

  Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

Ustawianie priorytetu ładowania dla zestawów danych

Kolejność ładowania zestawów danych w zadaniu danych można kontrolować, przypisując każdemu z nich priorytet ładowania. Może się to przydać na przykład do ładowania mniejszych zestawów danych przed dużymi.

1. Kliknij Priorytet ładowania.

2. Wybierz priorytet ładowania dla każdego zestawu danych.

   Domyślny priorytet ładowania to Normalny. Zestawy danych będą ładowane w następującej kolejności priorytetów:

   • Najwyższy

   • Wyższy

   • Wysoka

   • Normalny

   • Niska

   • Niższy

   • Najniższy

   Zestawy danych z tym samym priorytetem będą ładowane w kolejności dowolnej.

3. Kliknij przycisk OK.

Operacje na zadaniu danych do umieszczania

Z menu zasobów można wykonać następujące operacje na zasobie danych do umieszczania.

• Otwórz

  Powoduje otwarcie zadania umieszczania danych. Możesz wyświetlić strukturę tabeli i szczegóły dotyczące zadania danych.

• Edytuj

  Umożliwia edycję nazwy i opisu zadania.

• Usuń

  Możesz usunąć zadanie danych.

  Następujące obiekty nie są usuwane i należy je usunąć ręcznie:

  • Dane w obszarze umieszczania.

• Uruchom

  Możesz uruchomić zadanie danych, aby rozpocząć kopiowanie danych.

  Uruchamianie zadania umieszczania z funkcją Przechwytywanie danych zmian (CDC)

  Uruchamianie zadania umieszczania danych z Przeładowaniem i porównaniem

• Zatrzymaj

  Możesz zatrzymać działanie zadania danych. Obszar umieszczania nie zostanie zaktualizowany o zmienione dane.

  Kiedy zatrzymasz zadanie danych wykonujące pełne ładowanie i mające harmonogram przeładowania, zatrzymane zostanie tylko bieżące przeładowanie. Jeśli zadanie danych będzie mieć status Zatrzymano, a istnieje aktywny harmonogram przeładowania, zostanie ono ponownie załadowane następnym razem według harmonogramu. Musisz wyłączyć harmonogram ładowania w Zaplanuj przeładowanie.

• Przeładuj

  Ręczne przeładowanie zadania danych można wykonać w trybie aktualizacji Przeładuj i porównaj.

• Przygotuj

  Przygotowuje to zadanie do wykonania. Obejmuje to następujące czynności:

  • Weryfikację poprawności projektu.

  • Tworzenie lub modyfikowanie fizycznych tabel i widoków w celu dopasowania do projektu.

  • Generowanie kodu SQL dla zadania danych.

  • Tworzenie lub modyfikowanie pozycji katalogu dla wyjściowych zestawów danych zadania.

  Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

• Odtwarzanie tabel

  Odtwarza zbiory danych ze źródła.

• Planowanie

  Zaplanowane ładowanie zadań umieszczania danych można skonfigurować w trybie Pełne ładowanie. Możesz ustawić harmonogram oparty na czasie, który można dostosować.

  Możesz także włączyć lub wyłączyć zaplanowane ładowania.

  Do planowania przeładowania wymagana jest rola Może operować w odniesieniu do przestrzeni tego zadania danych.

• Przechowaj dane

  Możesz utworzyć zadanie przechowywania danych, które wykorzystuje dane z tego zadania umieszczania danych.

Odświeżanie metadanych

Możesz odświeżyć metadane w zadaniu, aby dostosować je do zmian w metadanych źródła w widoku Projekt zadania. W przypadku aplikacji SaaS korzystających z narzędzia Metadata manager należy odświeżyć Metadata manager, zanim będzie można odświeżyć metadane w zadaniu danych.

1. Możesz wybrać jedną z opcji:

   • Kliknij ..., a następnie Odśwież metadane, aby odświeżyć metadane dla wszystkich zestawów danych w zadaniu.

   • Kliknij ... na zestawie danych w obszarze Zestawy danych, a następnie Odśwież metadane, aby odświeżyć metadane dla pojedynczego zestawu danych.

   Stan odświeżania metadanych można sprawdzić w obszarze Odśwież metadane w dolnej części ekranu. Datę ostatniego odświeżenia metadanych można zobaczyć, wskazując kursorem .

2. Przygotuj zadanie danych, aby zastosować zmiany

   Po przygotowaniu zadania danych i zastosowaniu zmian zmiany zostaną usunięte z Odśwież metadane.

Należy przygotować zadania pamięci masowej, które wykorzystują to zadanie, aby propagować zmiany.

Jeśli kolumna zostanie usunięta, dodana zostanie transformacja z wartościami Null, aby zapewnić, że pamięć nie utraci danych historycznych.

Ograniczenia dotyczące odświeżania metadanych

• Zmiana nazwy wcześniej usuniętej kolumny w tym samym przedziale czasowym zostanie zinterpretowana jako zmiana nazwy usuniętej kolumny, jeśli mają one ten sam typ i długość danych.

  Przykład:  

  Przed: a b c d

  Po: a c1 d

  W tym przykładzie usunięto b i zmieniono nazwę c na c1, a b i c mają ten sam typ i długość danych.

  Zostanie to zidentyfikowane jako zmiana nazwy b na c1 i usunięcie c.

• Zmiana nazwy ostatniej kolumny nie jest rozpoznawana, nawet jeśli ostatnia kolumna została usunięta, a nazwa poprzedniej kolumny została zmieniona.

  Przykład:  

  Przed: a b c d

  Po: a b c1

  W tym przykładzie usunięto d, a nazwę c zmieniono na c1.

  Zostanie to zidentyfikowane jako usunięcie c i d oraz dodanie c1.

• Zakłada się, że nowe kolumny będą dodawane na końcu. Jeśli w środku zostaną dodane kolumny z tym samym typem danych co w następnej kolumnie, może to zostać zinterpretowane jako usunięcie i zmiana nazwy.

Ewolucja schematu

Ewolucja schematów pozwala łatwo wykrywać zmiany strukturalne w wielu źródłach danych, a następnie kontrolować, jak zmiany te zostaną zastosowane do zadania. Ewolucja schematu może być używana do wykrywania zmian DDL, które zostały wprowadzone do schematu źródła danych. Niektóre zmiany możesz również stosować automatycznie.

Dla każdego typu zmian można wybrać sposób obsługi zmian w sekcji Ewolucja schematu w ustawieniach zadania. Możesz zastosować lub zignorować zmianę, zawiesić tabelę lub zatrzymać przetwarzanie zadania.

Możesz ustawić, które działanie ma być używane do obsługi zmiany DDL dla każdego typu zmiany. Niektóre działania nie są dostępne dla wszystkich typów zmian.

• Zastosuj do celu

  Zastosuj zmiany automatycznie.

• Ignoruj

  Zignoruj zmiany.

• Zawieś tabelę

  Zawieś tabelę. Tabela zostanie wyświetlona jako błąd w sekcji Monitorowanie.

• Zatrzymaj zadanie

  Zatrzymaj przetwarzanie zadania. Jest to przydatne, jeśli chcesz obsługiwać wszystkie zmiany schematu ręcznie. Spowoduje to również zatrzymanie planowania, tzn. zaplanowane uruchomienia nie zostaną wykonane.

Obsługiwane są następujące zmiany:

• Dodanie kolumny

• Zmiana nazwy kolumny

• Zmiana typu danych kolumny

• Utworzenie tabeli pasującej do wzorca wyboru
  

  Jeśli użyto reguły wyboru, aby dodać zestawy danych pasujące do wzorca, nowe tabele spełniające ten wzorzec zostaną wykryte i dodane.

Więcej informacji o ustawieniach zadania zawiera temat Ewolucja schematu.

Można również otrzymywać powiadomienia o zmianach, które są obsługiwane przy użyciu ewolucji schematu. Więcej informacji zawiera temat Ustawianie powiadomień o zmianach w działaniu.

Ograniczenia dla ewolucji schematu

W odniesieniu do ewolucji schematu obowiązują następujące ograniczenia:

• Ewolucja schematu jest obsługiwana tylko w przypadku korzystania z CDC jako metody aktualizacji.

• Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie.

• W przypadku zmiany nazw tabel ewolucja schematu nie jest obsługiwana. W takim przypadku należy odświeżyć metadane przed przygotowaniem zadania.

• Jeśli projektujesz zadanie, należy odświeżyć przeglądarkę, aby otrzymać zmiany ewolucji schematu. Można ustawić powiadomienia, aby otrzymywać alarmy o zmianach.

• W zadaniach umieszczania usuwanie kolumny nie jest obsługiwane. Usunięcie kolumny i jej dodanie spowoduje błąd tabeli.

• W zadaniach umieszczania operacja usunięcia tabeli nie spowoduje usunięcia tabeli. Usunięcie tabeli, a następnie jej dodanie spowoduje jedynie obcięcie starej tabeli, a nowa tabela nie zostanie dodana.

• Zmiana długości kolumny nie jest możliwa dla wszystkich obiektów docelowych w zależności od obsługi w docelowej bazie danych.

• Jeśli nazwa kolumny zostanie zmieniona, jawne transformacje zdefiniowane przy użyciu tej kolumny nie będą miały wpływu, ponieważ są one oparte na nazwie kolumny.

• Ograniczenia dotyczące odświeżania metadanych mają również zastosowanie do ewolucji schematu.

Podczas przechwytywania zmian DDL obowiązują następujące ograniczenia:

• Gdy w źródłowej bazie danych występuje szybka sekwencja operacji (na przykład DDL>DML>DDL), Qlik Talend Data Integration może przeanalizować dziennik w niewłaściwej kolejności, co może skutkować brakiem danych lub nieprzewidywalnym działaniem. Aby zminimalizować ryzyko wystąpienia takiej sytuacji, najlepszą praktyką jest poczekanie na zastosowanie zmian w obiekcie docelowym przed wykonaniem kolejnej operacji.

  Na przykład podczas przechwytywania zmian, jeśli nazwa tabeli źródłowej zostanie zmieniona wiele razy w krótkim odstępie czasu (a druga operacja zmieni jej nazwę z powrotem na oryginalną), może wystąpić komunikat o błędzie, że tabela już istnieje w docelowej bazie danych.

• Jeśli zmienisz nazwę tabeli używanej w zadaniu, a następnie zatrzymasz zadanie, Qlik Talend Data Integration nie przechwyci żadnych zmian dokonanych w tej tabeli po wznowieniu zadania.

• Zmiana nazwy tabeli źródłowej, gdy zadanie jest zatrzymane, nie jest obsługiwana.

• Realokacja kolumn klucza głównego tabeli nie jest obsługiwana (i dlatego nie zostanie zapisana w tabeli kontrolnej Historia DDL).
• Gdy typ danych kolumny zostanie zmieniony, a następnie nazwa (tej samej) kolumny zostanie zmieniona, kiedy zadanie zostanie zatrzymane, zmiana DDL pojawi się w tabeli kontrolnej Historia DDL jako działanie „Usuń kolumnę”, a następnie „Dodaj kolumnę” po wznowieniu zadania. Takie samo działanie może również wystąpić w wyniku przedłużającego się opóźnienia.
• Operacje CREATE TABLE wykonywane na źródle, gdy zadanie jest zatrzymane, zostaną zastosowane do celu, gdy zadanie zostanie wznowione, ale nie zostaną zapisane jako DDL w tabeli kontrolnej Historia DDL.

• Operacje związane ze zmianami metadanych (takie jak ALTER TABLE, reorganizacja, odbudowa indeksu klastrowego itp.) mogą powodować nieprzewidywalne działania, jeśli zostaną wykonane:

  • Podczas pełnego ładowania

    LUB

  • Pomiędzy znacznikiem czasu opcji Zacznij przetwarzanie zmian od a bieżącym czasem (tj. momentem, w którym użytkownik kliknie przycisk OK w oknie dialogowym Zaawansowane opcje uruchamiania).

    Przykład:

    IF:

    Określony czas opcji Zacznij przetwarzanie zmian od to 10:00.

    AND:

    Kolumna o nazwie Wiek została dodana do tabeli Pracownicy o godzinie 10:10.

    AND:

    Użytkownik klika OK w oknie dialogowym Zaawansowane opcje uruchamiania o godzinie 10:15.

    THEN:

    Zmiany, które nastąpiły między 10:00 a 10:10 mogą skutkować błędami CDC.

  Informacja

  W każdym z powyższych przypadków należy przeładować tabele danych, aby dane zostały poprawnie przeniesione do miejsca docelowego.

• Instrukcja DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> nie replikuje wartości domyślnej do wartości docelowej, a nowa/zmodyfikowana kolumna jest ustawiona na NULL. Może się tak zdarzyć, nawet jeśli instrukcja DDL, która dodała lub zmodyfikowała kolumnę została wykonana w przeszłości. Jeśli nowa lub zmodyfikowana kolumna jest pusta, źródłowy punkt końcowy aktualizuje wszystkie wiersze tabeli przed zarejestrowaniem samej instrukcji DDL. W rezultacie Qlik Talend Data Integration przechwytuje zmiany, ale nie aktualizuje celu. Ponieważ nowa lub modyfikowana kolumna jest ustawiona na NULL, jeśli tabela docelowa nie ma klucza głównego / unikatowego indeksu, kolejne aktualizacje wygenerują komunikat „zmieniono zero wierszy”.

• Modyfikacje kolumn o precyzji TIMESTAMP i DATE nie będą rejestrowane.

Obsługa zmian, które nie są stosowane automatycznie

Opisuje sposób obsługi zmian, których nie można zastosować do celu, tzn. działań Ignoruj, Zawieś lub Zatrzymaj zadanie.

Usuwanie kolumn

Jeśli usuniesz kolumnę, która jest używana przez zadanie przechowywania danych z włączoną historią, musisz wykonać te kroki, aby zachować historię i uniknąć potencjalnej straty danych.

1. Zatrzymaj zadanie umieszczania danych.

2. Uruchom zadanie przechowywania danych, aby wszystkie dane do umieszczenia zostały wczytane.

3. Usuń kolumnę w umieszczaniu.

4. Uruchom zadanie umieszczania danych.

5. W magazynie danych dodaj kolumnę z domyślnym wyrażeniem (Null lub wartość domyślna) lub usuń kolumnę.

Utrzymanie obszaru umieszczania

Automatyczne czyszczenie obszaru umieszczania nie jest obsługiwane. Może to wpłynąć negatywnie na wydajność.
Zalecamy ręczne czyszczenie starych danych pełnego załadowania w obszarze umieszczania.

• Qlik Cloud (za pośrednictwem Amazon S3)

  Jeśli istnieje kilka folderów z danymi pełnego załadowania, możesz usunąć wszystkie oprócz najnowszego folderu. Możesz także usunąć partycje danych zmiany, które zostały przetworzone.

• Hurtownia danych w chmurze

  Możesz usunąć rekordy pełnego ładowania i tabel zmian, które zostały przetworzone.

Rekomendacje

• Jeśli można zaktualizować klucz podstawowy w tabeli źródłowej, włącz opcję Używaj instrukcji DELETE i INSERT podczas aktualizacji kolumny klucza głównego w obszarze Dostrajanie przetwarzania zmian.

Ograniczenia

• Replikacja danych varchar dłuższych niż 8000 bajtów lub Nvarchar dłuższych niż 4000 bajtów nie jest obsługiwana.

• Zmiana dopuszczalności wartości null nie jest obsługiwana w przypadku kolumn przenoszonych, niezależnie od tego, czy są zmieniane bezpośrednio, czy też za pomocą reguły transformacji. W przypadku nowych kolumn utworzonych w zadaniu wartości null są jednak dopuszczalne domyślnie.

Transformacje podlegają następującym ograniczeniom:

• Transformacje nie są obsługiwane w przypadku kolumn z tekstem w językach od prawej do lewej.

• Nie można wykonywać transformacji na kolumnach, które mają w nazwie znaki specjalne (np. #, \, /, -).

• Jedyną obsługiwaną transformacją dla typów danych LOB/CLOB jest usunięcie kolumny w miejscu docelowym.
• Nie jest obsługiwane używanie transformacji polegającej na zmianie nazwy kolumny i dodaniu nowej kolumny o tej samej nazwie.