Umieszczanie danych ze źródeł danych

Pierwszym krokiem przesyłania danych podczas wdrażania jest umieszczanie danych. Polega to na przesłaniu danych ze źródła danych do obszaru umieszczania.

Możesz umieszczać dane z wielu źródeł danych za pomocą połączeń źródłowych.

Obszar umieszczania jest definiowany podczas tworzenia projektu.

• Qlik Cloud (za pośrednictwem Amazon S3)

  Gdy umieszczasz dane w Qlik Cloud (za pośrednictwem Amazon S3), możesz użyć ich do wygenerowania tabel QVD gotowych do analizy w Qlik Cloud.

• Hurtownia danych w chmurze

  Gdy umieszczasz dane w hurtowni danych w chmurze, takiej jak Snowflake lub Azure Synapse Analytics, możesz przechowywać tabele w tej samej hurtowni danych w chmurze.

• Qlik Open Lakehouse

  Gdy umieszczasz dane w Qlik Open Lakehouse, Twoje dane są przechowywane w otwartym formacie tabeli Iceberg i mogą być dublowane w hurtowni danych w chmurze.

Możesz również umieszczać dane w lakehouse, gdzie dane są umieszczane w chmurowej pamięci masowej plików zarządzanej przez Snowflake. Aby uzyskać więcej informacji, zobacz Umieszczanie danych w lakehouse.

Tworzenie i konfigurowanie zadania umieszczania danych

W tej sekcji opisano, jak utworzyć zadanie umieszczania danych. Najszybszym sposobem na utworzenie potoku danych jest wdrożenie danych, co powoduje utworzenie zadania umieszczania danych oraz zadania przechowywania danych, gotowych do przygotowania i uruchomienia. Aby uzyskać więcej informacji, zobacz Dołączanie danych do hurtowni danych.

1. W swoim projekcie kliknij przycisk Utwórz i wybierz opcję Umieść dane.

2. W oknie dialogowym Umieść dane wprowadź nazwę i opis zadania danych.

   Zaznacz opcję Otwórz, aby otworzyć zadanie umieszczania danych po jego utworzeniu.

   Kliknij przycisk Utwórz.

3. Kliknij przycisk Wybierz dane źródłowe.

4. Wybierz połączenie z danymi źródłowymi i kliknij przycisk Dalej.

   Możesz użyć filtrów w lewym panelu, aby przefiltrować listę połączeń według typu źródła, przestrzeni i właściciela.

   Jeśli nie masz jeszcze połączenia z danymi źródłowymi, musisz je najpierw utworzyć, klikając przycisk Dodaj połączenie.

   Więcej informacji na temat konfigurowania połączenia z obsługiwanymi źródłami zawiera sekcja Konfiguracja połączeń ze źródłami danych.

   InformacjaPo wybraniu tabel w następnym kroku nie będzie można zmienić połączenia źródłowego z lokalnego źródła danych na chmurowe źródło danych ani odwrotnie. Można jedynie zmienić połączenie na inne źródło danych tego samego typu.

5. Wybierz zestawy danych, które mają zostać uwzględnione w zadaniu danych. Okno dialogowe wyboru różni się w zależności od typu źródła, z którym nawiązano połączenie.

   Po zakończeniu wybierania tabel kliknij przycisk Zapisz.

   Zostanie wyświetlona sekcja Zestawy danych.

6. Możesz zmienić ustawienia umieszczania. Nie jest to wymagane.

   • Kliknij przycisk Ustawienia.

   Więcej informacji na temat ustawień zawiera sekcja Ustawienia umieszczania.

7. Możesz teraz wyświetlić podgląd struktury i metadanych wybranych tabel zasobów danych. Obejmuje to wszystkie jawnie wymienione tabele oraz tabele pasujące do reguł wyboru.

   Jeśli chcesz dodać więcej tabel ze źródła danych, kliknij przycisk Wybierz dane źródłowe.

8. Możesz wykonywać podstawowe przekształcenia na zestawach danych, takie jak filtrowanie danych lub dodawanie kolumn. Nie jest to wymagane.

   Więcej informacji zawiera sekcja Zarządzanie zestawami danych.

9. Po dodaniu żądanych przekształceń możesz zweryfikować zestawy danych, klikając przycisk Waliduj zestawy danych. Jeśli walidacja wykaże błędy, napraw je przed kontynuowaniem.

   Więcej informacji zawiera sekcja Weryfikacja i dostosowywanie zestawów danych.

10. Gdy wszystko będzie gotowe, kliknij przycisk Przygotuj, aby skatalogować zadanie danych i przygotować je do wykonania.

    Możesz obserwować postęp w sekcji Postęp przygotowania w dolnej części ekranu.

11. Gdy zadanie danych zostanie przygotowane i wszystko będzie gotowe do rozpoczęcia replikacji danych, kliknij przycisk Uruchom.

Replikacja powinna się teraz rozpocząć, a jej postęp można obserwować na karcie Monitoruj. Więcej informacji zawiera sekcja Monitorowanie indywidualnego zadania danych.

Wybieranie danych z bazy danych

Możesz wybrać określone tabele lub widok, lub użyć reguł wyboru w celu uwzględnienia lub wykluczenia grup tabel.

Użyj % jako symbolu wieloznacznego, aby określić kryteria wyboru schematów i tabel.

• %.% określa wszystkie tabele we wszystkich schematach.

• Public.% definiuje wszystkie tabele w schemacie Publiczny.

Kryteria wyboru dają podgląd na podstawie Twoich wyborów.

Możesz teraz:

• Utwórz regułę, aby włączyć lub wykluczyć grupę tabel na podstawie kryteriów wyboru.

  Kliknij przycisk Dodaj regułę spośród kryteriów wyboru, aby utworzyć regułę, a następnie wybierz opcjęUwzględnij lub Wyklucz.

  Regułę można zobaczyć w sekcji Reguły selekcji.

• Zaznacz jeden lub więcej zestawów danych, a następnie kliknij Dodaj wybrane zestawy danych.

  Dodane zestawy danych możesz zobaczyć w sekcji Jawnie wybrane zestawy danych.

Reguły wyboru dotyczą tylko aktualnego zestawu tabel i widoków, a nie tabel i widoków dodanych w przyszłości.

Uruchamianie zadania umieszczania z opcją Rejestrowanie zmian w danych (CDC)

Możesz uruchomić zadanie umieszczania, gdy jest ono przygotowane. Spowoduje to rozpoczęcie replikacji, która przesyła dane z lokalnego źródła danych do obszaru umieszczania.

• Kliknij przycisk Uruchom, aby rozpocząć umieszczanie danych.

Replikacja powinna się teraz rozpocząć, a zadanie danych będzie miało status Uruchomione. Najpierw kopiowane jest pełne źródło danych, a następnie śledzone są zmiany. Oznacza to, że zmiany są stale śledzone i przesyłane po ich wykryciu. Dzięki temu dane w obszarze umieszczania są aktualne.

Na stronie głównej Qlik Talend Data Integration możesz wyświetlić status, datę i godzinę aktualizacji danych umieszczania oraz liczbę tabel z błędami. Możesz także otworzyć zadanie danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Możesz szczegółowo monitorować postęp, otwierając kartę Monitoruj. Więcej informacji zawiera sekcja Monitorowanie indywidualnego zadania danych.

Po załadowaniu wszystkich tabel i przetworzeniu pierwszego zestawu zmian pole Dane zaktualizowane do na karcie zadania danych wskazuje, że zmiany w źródle do tego momentu są dostępne w zadaniu danych.

Ponowne ładowanie tabel

Możesz ponownie załadować dane ze źródła.

Ponowne ładowanie pojedynczych tabel

Możesz ręcznie ponownie załadować określone tabele bez zakłócania procesu rejestrowania zmian w danych (CDC). Jest to przydatne, gdy występują problemy z CDC w jednej lub kilku tabelach.

1. Otwórz zadanie umieszczania danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz ponownie załadować.

3. Kliknij przycisk Przeładuj tabele.

Jeśli nie możesz rozwiązać problemów poprzez ponowne załadowanie tabel lub jeśli dotyczą one całego zadania, możesz zamiast tego ponownie załadować wszystkie tabele do celu. Spowoduje to ponowne uruchomienie procesu rejestrowania zmian w danych (CDC).

Ponowne ładowanie wszystkich tabel do celu

Możesz ponownie załadować wszystkie tabele do celu, jeśli napotkasz problemy z CDC, których nie można rozwiązać poprzez ponowne załadowanie określonych tabel. Przykłady problemów to brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub niepowodzenie podczas odczytu zdarzeń źródłowej bazy danych.

1. Zatrzymaj zadanie danych i wszystkie zadania, które go używają.

2. Otwórz zadanie danych i wybierz kartę Monitoruj.

3. Kliknij ..., a następnie Przeładuj miejsce docelowe.

Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.

• Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.

  Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.

• Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:

  • Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,

  • Dla każdej tabeli zostanie wykonany jeden cykl zmian.

Uruchamianie zadania umieszczania danych z opcją Przeładuj i porównaj

Możesz kopiować dane za pomocą zadania umieszczania danych, gdy jest ono przygotowane.

• Kliknij przycisk Uruchom, aby rozpocząć pełne ładowanie.

Rozpocznie się kopiowanie danych, a zadanie danych będzie miało status Uruchomione. Po skopiowaniu całego źródła danych status zmieni się na Zakończone.

Na stronie głównej Qlik Talend Data Integration możesz wyświetlić status, datę i godzinę aktualizacji danych umieszczania oraz liczbę tabel z błędami. Możesz także otworzyć zadanie danych i wybrać kartę Tabele, aby wyświetlić podstawowe informacje o metadanych tabel.

Możesz szczegółowo monitorować postęp, otwierając kartę Monitoruj. Więcej informacji zawiera sekcja Monitorowanie indywidualnego zadania danych.

Po załadowaniu wszystkich tabel pole Dane zaktualizowane do na karcie zadania danych wskazuje, że zmiany w źródle do tego momentu są dostępne w zasobie danych. Jednak niektóre tabele zadania danych mogą być zaktualizowane do późniejszego czasu, w zależności od tego, kiedy rozpoczęło się ich ładowanie. Oznacza to, że spójność danych nie jest gwarantowana. Na przykład, jeśli ładowanie rozpoczęło się o godzinie 08:00 i trwało 4 godziny, po zakończeniu ładowania pole Dane zaktualizowane do wskaże godzinę 08:00. Jednak tabela, której ponowne ładowanie rozpoczęło się o 11:30, będzie zawierać zmiany w źródle, które wystąpiły między 08:00 a 11:30.

Pole Dane zaktualizowane do odzwierciedla tylko te tabele, które zostały pomyślnie załadowane. Nie wskazuje niczego w odniesieniu do tabel, których ponowne ładowanie zakończyło się niepowodzeniem. W przypadku celów chmurowych pole to będzie puste, jeśli ponowne ładowanie zakończyło się błędem wszystkich tabel.

Ponowne ładowanie danych przy użyciu opcji Przeładuj i porównaj

Gdy używasz opcji Przeładuj i porównaj jako metody aktualizacji, musisz ponownie załadować dane, aby były aktualne w stosunku do źródła danych.

• Kliknij przycisk Przeładuj, aby wykonać ręczne ponowne ładowanie wszystkich tabel.

• Skonfiguruj zaplanowane ponowne ładowanie.

Ponowne ładowanie pojedynczych tabel

Możesz ręcznie ponownie załadować określone tabele. Jest to przydatne, gdy występują problemy z jedną lub kilkoma tabelami.

1. Otwórz zadanie umieszczania danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz ponownie załadować.

3. Kliknij przycisk Przeładuj tabele.

Planowanie zadania umieszczania danych z opcją Przeładuj i porównaj

Możesz zaplanować okresowe ponowne ładowania dla zadania umieszczania danych, jeśli masz rolę Może obsługiwać lub Może edytować w przestrzeni zadania danych. Status zadania danych musi wynosić co najmniej Przygotowane, aby harmonogram był aktywny.

• Kliknij przycisk ... przy zadaniu danych i wybierz opcję Planowanie.

  Możesz ustawić harmonogram oparty na czasie.

  Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

Ustawianie priorytetu ładowania dla zestawów danych

Kolejność ładowania zestawów danych w zadaniu danych można kontrolować, przypisując każdemu z nich priorytet ładowania. Może się to przydać na przykład do ładowania mniejszych zestawów danych przed dużymi.

1. Kliknij Priorytet ładowania.

2. Wybierz priorytet ładowania dla każdego zestawu danych.

   Domyślny priorytet ładowania to Normalny. Zestawy danych będą ładowane w następującej kolejności priorytetów:

   • Najwyższy

   • Wyższy

   • Wysoka

   • Normalny

   • Niska

   • Niższy

   • Najniższy

   Zestawy danych z tym samym priorytetem będą ładowane w kolejności dowolnej.

3. Kliknij przycisk OK.

Operacje na zadaniu umieszczania danych

Z poziomu menu zadania można wykonywać następujące operacje na zadaniu umieszczania danych.

• Otwórz

  Otwiera zadanie umieszczania danych. Możesz wyświetlić strukturę tabeli i szczegóły dotyczące zadania danych.

• Edytuj

  Możesz edytować nazwę i opis zadania.

• Usuń

  Możesz usunąć zadanie danych.

  Następujące obiekty nie zostaną usunięte:

  • Dane w obszarze umieszczania

  • Schematy na platformie docelowej

• Uruchom

  Możesz uruchomić zadanie danych, aby rozpocząć kopiowanie danych.

  Uruchamianie zadania umieszczania z opcją Rejestrowanie zmian w danych (CDC)

  Uruchamianie zadania umieszczania danych z opcją Przeładuj i porównaj

• Zatrzymaj

  Możesz zatrzymać działanie uruchomionego zadania danych. Obszar umieszczania nie będzie aktualizowany o zmienione dane.

  Po zatrzymaniu zadania danych pełnego ładowania z harmonogramem ponownego ładowania zatrzymywane jest tylko bieżące ponowne ładowanie. Jeśli status zadania danych to Zatrzymane i istnieje aktywny harmonogram ponownego ładowania, zostanie ono ponownie załadowane o następnej zaplanowanej godzinie. Musisz wyłączyć harmonogram ponownego ładowania w sekcji Zaplanuj ponowne ładowanie.

• Przeładuj

  Możesz wykonać ręczne ponowne ładowanie zadania danych w trybie aktualizacji Przeładuj i porównaj.

• Przygotuj

  Przygotowuje zadanie do wykonania. Obejmuje to:

  • Weryfikację, czy projekt jest prawidłowy.

  • Tworzenie lub modyfikowanie fizycznych tabel i widoków w celu dopasowania ich do projektu.

  • Generowanie kodu SQL dla zadania danych.

  • Tworzenie lub modyfikowanie wpisów katalogu dla wyjściowych zestawów danych zadania.

  Możesz obserwować postęp w sekcji Postęp przygotowania w dolnej części ekranu.

  InformacjaZanim przygotujesz zadanie, zatrzymaj wszystkie zadania, które znajdują się bezpośrednio po nim.

• Utwórz ponownie tabele

  Powoduje to ponowne utworzenie zestawów danych ze źródła.

  InformacjaJeżeli występują problemy z poszczególnymi tabelami, zaleca się najpierw przeładowanie tabel zamiast ich odtwarzania. Odtworzenie tabel może spowodować utratę danych historycznych. Jeśli występują zmiany zakłócające działanie, należy również przygotować podrzędne zadania danych, które wykorzystają odtworzone zadania danych do przeładowania danych.

• Planowanie

  Możesz skonfigurować zaplanowane ponowne ładowanie dla zadań umieszczania danych w trybie Pełne ładowanie. Możesz ustawić harmonogram oparty na czasie, który można dostosować.

  Możesz także włączyć lub wyłączyć zaplanowane ponowne ładowania.

  Aby planować ponowne ładowania, musisz mieć rolę Może obsługiwać w przestrzeni zadania danych.

• Przechowuj dane

  Możesz utworzyć zadanie przechowywania danych, które korzysta z danych z tego zadania umieszczania danych.

Odświeżanie metadanych

Możesz odświeżyć metadane w zadaniu, aby dostosować je do zmian w metadanych źródła w widoku Projekt zadania. W przypadku aplikacji SaaS korzystających z narzędzia Metadata manager należy odświeżyć Metadata manager, zanim będzie można odświeżyć metadane w zadaniu danych.

1. Możesz wybrać jedną z opcji:

   • Kliknij ..., a następnie Odśwież metadane, aby odświeżyć metadane dla wszystkich zestawów danych w zadaniu.

   • Kliknij ... na zestawie danych w obszarze Zestawy danych, a następnie Odśwież metadane, aby odświeżyć metadane dla pojedynczego zestawu danych.

   Stan odświeżania metadanych można sprawdzić w obszarze Odśwież metadane w dolnej części ekranu. Datę ostatniego odświeżenia metadanych można zobaczyć, wskazując kursorem .

2. Przygotuj zadanie danych, aby zastosować zmiany

   Po przygotowaniu zadania danych i zastosowaniu zmian zmiany zostaną usunięte z Odśwież metadane.

Należy przygotować zadania pamięci masowej, które wykorzystują to zadanie, aby propagować zmiany.

Jeśli kolumna zostanie usunięta, dodana zostanie transformacja z wartościami Null, aby zapewnić, że pamięć nie utraci danych historycznych.

Ograniczenia dotyczące odświeżania metadanych

• Zmiana nazwy wcześniej usuniętej kolumny w tym samym przedziale czasowym zostanie zinterpretowana jako zmiana nazwy usuniętej kolumny, jeśli mają one ten sam typ i długość danych.

  Przykład:  

  Przed: a b c d

  Po: a c1 d

  W tym przykładzie usunięto b i zmieniono nazwę c na c1, a b i c mają ten sam typ i długość danych.

  Zostanie to zidentyfikowane jako zmiana nazwy b na c1 i usunięcie c.

• Zmiana nazwy ostatniej kolumny nie jest rozpoznawana, nawet jeśli ostatnia kolumna została usunięta, a nazwa poprzedniej kolumny została zmieniona.

  Przykład:  

  Przed: a b c d

  Po: a b c1

  W tym przykładzie usunięto d, a nazwę c zmieniono na c1.

  Zostanie to zidentyfikowane jako usunięcie c i d oraz dodanie c1.

• Zakłada się, że nowe kolumny będą dodawane na końcu. Jeśli w środku zostaną dodane kolumny z tym samym typem danych co w następnej kolumnie, może to zostać zinterpretowane jako usunięcie i zmiana nazwy.

Ewolucja schematu

Ewolucja schematów pozwala łatwo wykrywać zmiany strukturalne w wielu źródłach danych, a następnie kontrolować, jak zmiany te zostaną zastosowane do zadania. Ewolucja schematu może być używana do wykrywania zmian DDL, które zostały wprowadzone do schematu źródła danych. Niektóre zmiany możesz również stosować automatycznie.

Dla każdego typu zmian można wybrać sposób obsługi zmian w sekcji Ewolucja schematu w ustawieniach zadania. Możesz zastosować lub zignorować zmianę, zawiesić tabelę lub zatrzymać przetwarzanie zadania.

Możesz ustawić, które działanie ma być używane do obsługi zmiany DDL dla każdego typu zmiany. Niektóre działania nie są dostępne dla wszystkich typów zmian.

• Zastosuj do celu

  Zastosuj zmiany automatycznie.

• Ignoruj

  Zignoruj zmiany.

• Zawieś tabelę

  Zawieś tabelę. Tabela zostanie wyświetlona jako błąd w sekcji Monitorowanie.

• Zatrzymaj zadanie

  Zatrzymaj przetwarzanie zadania. Jest to przydatne, jeśli chcesz obsługiwać wszystkie zmiany schematu ręcznie. Spowoduje to również zatrzymanie planowania, tzn. zaplanowane uruchomienia nie zostaną wykonane.

Obsługiwane są następujące zmiany:

• Dodaj kolumnę

• Zmień nazwę kolumny

• Zmień typ danych kolumny

• Utwórz tabelę pasującą do wzorca wyboru
  

  Jeśli użyto opcji Reguła wyboru do dodania zestawów danych pasujących do wzorca, nowe tabele spełniające ten wzorzec zostaną wykryte i dodane.

Więcej informacji na temat ustawień zadania zawiera sekcja Ewolucja schematu

Możesz również otrzymywać powiadomienia o zmianach obsługiwanych w ramach ewolucja schematu. Więcej informacji zawiera sekcja Ustawianie powiadomień o zmianach w działaniu.

Ograniczenia dla ewolucji schematu

W odniesieniu do ewolucji schematu obowiązują następujące ograniczenia:

• Ewolucja schematu jest obsługiwana tylko w przypadku korzystania z CDC jako metody aktualizacji.

• Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie.

• W przypadku zmiany nazw tabel ewolucja schematu nie jest obsługiwana. W takim przypadku należy odświeżyć metadane przed przygotowaniem zadania.

• Jeśli projektujesz zadanie, należy odświeżyć przeglądarkę, aby otrzymać zmiany ewolucji schematu. Można ustawić powiadomienia, aby otrzymywać alarmy o zmianach.

• W zadaniach umieszczania usuwanie kolumny nie jest obsługiwane. Usunięcie kolumny i jej dodanie spowoduje błąd tabeli.

• W zadaniach umieszczania operacja usunięcia tabeli nie spowoduje usunięcia tabeli. Usunięcie tabeli, a następnie jej dodanie spowoduje jedynie obcięcie starej tabeli, a nowa tabela nie zostanie dodana.

• Zmiana długości kolumny nie jest możliwa dla wszystkich obiektów docelowych w zależności od obsługi w docelowej bazie danych.

• Jeśli nazwa kolumny zostanie zmieniona, jawne transformacje zdefiniowane przy użyciu tej kolumny nie będą miały wpływu, ponieważ są one oparte na nazwie kolumny.

• Ograniczenia dotyczące odświeżania metadanych mają również zastosowanie do ewolucji schematu.

• Jeśli zadanie zawiera zmiany projektowe, które nie zostały jeszcze przygotowane, a podczas uruchamiania zadania zostaną wykryte zmiany ewolucji schematu źródłowego, zadanie zostanie zatrzymane, aby uniknąć konfliktów. Przygotuj oczekujące zmiany projektowe i uruchom zadanie ponownie.

Podczas przechwytywania zmian DDL obowiązują następujące ograniczenia:

• Gdy w źródłowej bazie danych występuje szybka sekwencja operacji (na przykład DDL>DML>DDL), Qlik Talend Data Integration może przeanalizować dziennik w niewłaściwej kolejności, co może skutkować brakiem danych lub nieprzewidywalnym działaniem. Aby zminimalizować ryzyko wystąpienia takiej sytuacji, najlepszą praktyką jest poczekanie na zastosowanie zmian w obiekcie docelowym przed wykonaniem kolejnej operacji.

  Na przykład podczas przechwytywania zmian, jeśli nazwa tabeli źródłowej zostanie zmieniona wiele razy w krótkim odstępie czasu (a druga operacja zmieni jej nazwę z powrotem na oryginalną), może wystąpić komunikat o błędzie, że tabela już istnieje w docelowej bazie danych.

• Jeśli zmienisz nazwę tabeli używanej w zadaniu, a następnie zatrzymasz zadanie, Qlik Talend Data Integration nie przechwyci żadnych zmian dokonanych w tej tabeli po wznowieniu zadania.

• Zmiana nazwy tabeli źródłowej, gdy zadanie jest zatrzymane, nie jest obsługiwana.

• Realokacja kolumn klucza głównego tabeli nie jest obsługiwana (i dlatego nie zostanie zapisana w tabeli kontrolnej Historia DDL).
• Gdy typ danych kolumny zostanie zmieniony, a następnie nazwa (tej samej) kolumny zostanie zmieniona, kiedy zadanie zostanie zatrzymane, zmiana DDL pojawi się w tabeli kontrolnej Historia DDL jako działanie „Usuń kolumnę”, a następnie „Dodaj kolumnę” po wznowieniu zadania. Takie samo działanie może również wystąpić w wyniku przedłużającego się opóźnienia.
• Operacje CREATE TABLE wykonywane na źródle, gdy zadanie jest zatrzymane, zostaną zastosowane do celu, gdy zadanie zostanie wznowione, ale nie zostaną zapisane jako DDL w tabeli kontrolnej Historia DDL.

• Operacje związane ze zmianami metadanych (takie jak ALTER TABLE, reorganizacja, odbudowa indeksu klastrowego itp.) mogą powodować nieprzewidywalne działania, jeśli zostaną wykonane:

  • Podczas pełnego ładowania

    LUB

  • Pomiędzy znacznikiem czasu opcji Zacznij przetwarzanie zmian od a bieżącym czasem (tj. momentem, w którym użytkownik kliknie przycisk OK w oknie dialogowym Zaawansowane opcje uruchamiania).

    Przykład:

    IF:

    Określony czas opcji Zacznij przetwarzanie zmian od to 10:00.

    AND:

    Kolumna o nazwie Wiek została dodana do tabeli Pracownicy o godzinie 10:10.

    AND:

    Użytkownik klika OK w oknie dialogowym Zaawansowane opcje uruchamiania o godzinie 10:15.

    THEN:

    Zmiany, które nastąpiły między 10:00 a 10:10 mogą skutkować błędami CDC.

  Informacja

  W każdym z powyższych przypadków należy przeładować tabele danych, aby dane zostały poprawnie przeniesione do miejsca docelowego.

• Instrukcja DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> nie replikuje wartości domyślnej do wartości docelowej, a nowa/zmodyfikowana kolumna jest ustawiona na NULL. Może się tak zdarzyć, nawet jeśli instrukcja DDL, która dodała lub zmodyfikowała kolumnę została wykonana w przeszłości. Jeśli nowa lub zmodyfikowana kolumna jest pusta, źródłowy punkt końcowy aktualizuje wszystkie wiersze tabeli przed zarejestrowaniem samej instrukcji DDL. W rezultacie Qlik Talend Data Integration przechwytuje zmiany, ale nie aktualizuje celu. Ponieważ nowa lub modyfikowana kolumna jest ustawiona na NULL, jeśli tabela docelowa nie ma klucza głównego / unikatowego indeksu, kolejne aktualizacje wygenerują komunikat „zmieniono zero wierszy”.

• Modyfikacje kolumn o precyzji TIMESTAMP i DATE nie będą rejestrowane.

Obsługa zmian, które nie są stosowane automatycznie

W tej sekcji opisano, jak obsługiwać zmiany, których nie można zastosować do celu, tzn. gdy akcją jest Ignoruj, Zawieś lub Zatrzymaj zadanie.

Usuwanie kolumn

Jeśli usuniesz kolumnę, która jest konsumowana przez zadanie przechowywania danych z włączoną historią, musisz wykonać poniższe kroki, aby zachować historię i uniknąć ewentualnej utraty danych.

1. Zatrzymaj zadanie umieszczania danych.

2. Uruchom zadanie przechowywania danych, aby upewnić się, że wszystkie umieszczone dane zostały odczytane.

3. Usuń kolumnę w obszarze umieszczania.

4. Uruchom zadanie umieszczania danych.

5. W magazynie dodaj kolumnę z wyrażeniem domyślnym (Null lub wartość domyślna) lub usuń kolumnę.

Wyświetlanie informacji o zadaniu

Kliknij na pasku menu, aby wyświetlić informacje o zadaniu, takie jak:

• Właściciel

• Przestrzeń

• Platforma danych

• Identyfikator projektu

• Identyfikator czasu wykonania zadania danych

Zmiana połączeń źródłowych lub bramy danych

W przypadku zmiany połączenia źródłowego lub źródłowej bramy danych należy ponownie utworzyć wszystkie tabele.

Konserwacja obszaru umieszczania

Automatyczne czyszczenie obszaru umieszczania nie jest obsługiwane. Może to wpłynąć na wydajność.
Zalecamy ręczne czyszczenie starych danych pełnego ładowania w obszaru umieszczania.

• Qlik Cloud (za pośrednictwem Amazon S3)

  Jeśli istnieje kilka folderów z danymi pełnego ładowania, można usunąć wszystkie oprócz najnowszego folderu. Można również usunąć przetworzone partycje danych zmian.

• Hurtownia danych w chmurze

  Możesz usunąć przetworzone rekordy pełnego ładowania i tabeli zmian.

Zalecenia

• Jeśli klucz główny w tabeli źródłowej może być aktualizowany, włącz opcję DELETE i INSERT podczas aktualizacji kolumny klucza głównego w sekcji Dostrajanie przetwarzania zmian.

Ograniczenia

• Replikowanie danych typu varchar o długości większej niż 8000 bajtów lub Nvarchar o długości większej niż 4000 bajtów nie jest obsługiwane.

• Zmiana dopuszczalności wartości null nie jest obsługiwana w przypadku przenoszonych kolumn, zarówno bezpośrednio, jak i przy użyciu reguły przekształcania. Jednak nowe kolumny utworzone w zadaniu domyślnie dopuszczają wartości null.

• Źródłowe kolumny typu CLOB i BLOB będą domyślnie ustawiane jako dopuszczające wartości null, nawet jeśli w źródle zostały oznaczone jako niedopuszczające wartości null. Możesz zmienić je na niedopuszczające wartości null, ale wtedy musisz dodać wyrażenie dodające wartość inną niż null na wypadek, gdyby ze źródła nadeszła wartość null. Może się to zdarzyć w przypadku usuniętych rekordów.

Transformacje podlegają następującym ograniczeniom:

• Transformacje nie są obsługiwane w przypadku kolumn z tekstem w językach od prawej do lewej.

• Nie można wykonywać transformacji na kolumnach, które mają w nazwie znaki specjalne (np. #, \, /, -).

• Jedyną obsługiwaną transformacją dla typów danych LOB/CLOB jest usunięcie kolumny w miejscu docelowym.
• Nie jest obsługiwane używanie transformacji polegającej na zmianie nazwy kolumny i dodaniu nowej kolumny o tej samej nazwie.