Ustawienia celów przechowywania w chmurze

Domyślne ustawienia umieszczania w jeziorze danych możesz zmienić odpowiednio do potrzeb.

Ogólne

Metoda aktualizacji

Dane można umieszczać w dwóch różnych trybach. Po przygotowaniu zadania umieszczania w jeziorze danych nie ma możliwości zmiany trybu.

• Przechwytywanie zmian danych (CDC) za pomocą tabel zmian: Zadania umieszczania w jeziorze danych rozpoczynają się od pełnego ładowania (podczas którego wszystkie wybrane tabele są ładowane do miejsca docelowego). Dane w miejscu docelowym są następnie aktualizowane przy użyciu technologii przechwytywania danych zmian (CDC).

  InformacjaPrzechwytywanie zmian danych operacji DDL nie jest obsługiwane.

  Podczas pracy z Brama danych ruchu danych, z wyjątkiem używania źródła aplikacji SaaS, zmiany są przechwytywane ze źródła w czasie niemal rzeczywistym. Podczas pracy bez Brama danych ruchu danych lub ze źródłami aplikacji SaaS, zmiany są przechwytywane zgodnie z ustawieniami harmonogramu. Więcej informacji zawiera temat Scheduling tasks.

• Ponowne ładowanie: Wykonuje pełne ładowanie danych z wybranych tabel źródłowych na platformę docelową i w razie potrzeby tworzy tabele docelowe. Pełne ładowanie następuje automatycznie w momencie rozpoczęcia zadania, ale w razie potrzeby można je wykonać także ręcznie lub zaplanować tak, aby występowało okresowo, w miarę potrzeb.

  InformacjaTo ustawienie nie jest dostępne podczas używania łącznika aplikacji SaaS.

Folder do użycia

Wybierz jedną z poniższych opcji, w zależności od tego, do którego folderu zasobnika mają zostać zapisane pliki:

• Folder domyślny

  Domyślny format folderu to <nazwa-twojego-projektu>/<nazwa-twojego-zadania>

• Folder główny

  Pliki zostaną zapisane w głównym folderze zasobnika.

• Folder

  Określ nazwę folderu. Folder zostanie utworzony podczas zadania danych, jeśli jeszcze nie istnieje.

  Informacja Nazwa folderu nie może zawierać znaków specjalnych (na przykład @, #, ! itp.).

Przesyłania danych

Atrybuty pliku

Separator pola

Separator, który będzie używany do oddzielania pól (kolumn) w plikach docelowych. Wartość domyślna to przecinek.

Przykład użycia przecinka jako separatora:

"Mike","mężczyzna"

Separatorami mogą być znaki standardowe lub wartości szesnastkowe. Należy pamiętać, że do oznaczenia separatora szesnastkowego trzeba użyć przedrostka „0x” (np. 0x01 = SOH0x01 = SOH). W polach Separator pola, Separator rekordu i Wartość null separator może składać się z połączonych wartości szesnastkowych (np. 0x0102 = SOHSTX), natomiast w polach Znak cudzysłowu i Znak zmiany znaczenia cudzysłowu może to być tylko pojedyncza wartość szesnastkowa.

Liczba szesnastkowa 0x00 nie jest obsługiwana (tzn. obsługiwane są tylko 0x01–0xFF).

Wartość Null

Ciąg, który będzie używany do wskazania wartości null w plikach docelowych.

Przykład (gdzie \n jest separatorem rekordu, a @ jest wartością null):

Separator rekordu

Separator, który będzie używany do oddzielania rekordów (wierszy) w plikach docelowych. Wartość domyślna to znak nowego wiersza (\n).

Przykład:

Znak cudzysłowu

Znak, który będzie używany na początku i na końcu kolumny tekstu. Wartość domyślna to znak podwójnego cudzysłowu ("). Jeśli kolumna zawierająca separatory kolumn jest ujęta w cudzysłów, znaki separatora kolumny są interpretowane jako rzeczywiste dane, a nie jako separatory kolumn.

Przykład (gdzie @ jest znakiem cudzysłowu):

Znak zmiany znaczenia cudzysłowu

Znak używany do zmiany znaczenia cudzysłowu w rzeczywistych danych. Wartość domyślna to znak podwójnego cudzysłowu (").

Przykład (gdzie " jest znakiem cudzysłowu, a \ jest znakiem zmiany znaczenia):

Wersja Parquet

Wybierz wersję, której chcesz użyć, w zależności od obsługi wersji przez platformę docelową. Należy pamiętać, że wersja Parquet 1.0 obsługuje tylko jednostki znacznika czasu MICRO, podczas gdy wersja Parquet 2.6 obsługuje jednostki znacznika czasu MICRO i NANO.

Jednostka znacznika czasu Parquet

Gdy wersja Parquet jest ustawiona na 2.6, wybierz MICRO lub NANO. Gdy wersja Parquet jest ustawiona na 1.0, obsługiwane są tylko jednostki MICRO.

Maksymalny rozmiar obiektu LOB w formacie Parquet (KB)

Domyślny maksymalny rozmiar LOB to 64 KB, a maksymalna wartość, jaką można wprowadzić w tym polu, to 10 000 KB. Obsługa kolumn LOB wymaga większych zasobów, co z kolei wpływa na wydajność. Zwiększ tę wartość tylko w przypadku replikacji danych LOB większych niż 64 KB, kiedy wymagana jest replikacja wszystkich danych LOB do miejsca docelowego.

Maksymalny rozmiar pliku

Maksymalny rozmiar, jaki może osiągnąć plik przed zamknięciem (i opcjonalnie skompresowaniem).

Maksymalny rozmiar, jaki może osiągnąć plik przed zamknięciem. Mniejsze pliki mogą być przesyłane szybciej (w zależności od sieci), a jeśli są używane w połączeniu z opcją wykonywania równoległego, może to poprawić wydajność. Ogólnie jednak zaśmiecanie bazy danych małymi plikami uważa się za złą praktykę.

Kompresuj pliki przy użyciu

Wybierz jedną z opcji kompresji, aby skompresować pliki docelowe, lub BRAK (opcję domyślną), aby pozostawić je nieskompresowane. Należy pamiętać, że dostępne opcje kompresji zależą od wybranego formatu pliku.

Dodaj nagłówek metadanych

Opcjonalnie możesz dodać wiersz nagłówka do plików danych. Wiersz nagłówka może zawierać nazwy kolumn źródłowych i/lub pośrednie typy danych (tj. bramy Qlik Talend Data Integration).

Przykład pliku docelowego z wierszem nagłówka, gdy wybrane są opcje Z nazwami kolumn i Z typami danych:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

Przetwarzanie zmian

W tej sekcji opisano ustawienia warunkowe w Przetwarzaniu zmian.

Zastosuj/zapisz zmiany, kiedy

• Rozmiar pliku osiąga: określ maksymalny rozmiar danych zmian, które mają zostać zgromadzone przed przesłaniem pliku do miejsca docelowego.
• Czas, jaki upłynął, sięga: upływający czas osiąga x.

Pliki metadanych

Po wybraniu opcji Utwórz pliki metadanych w folderze docelowym dla każdego pliku danych w określonym folderze docelowym zostanie utworzony pasujący plik metadanych z rozszerzeniem .dfm. Pliki metadanych zawierają dodatkowe informacje o zadaniu/danych, takie jak typ łącznika źródłowego, nazwa tabeli źródłowej, liczba rekordów w pliku danych itd.

Pełny opis pliku metadanych oraz możliwych zastosowań można znaleźć w artykule Opis pliku metadanych .

Metadane

Kolumny LOB

Uwzględnij kolumny LOB i ogranicz rozmiar kolumn do (KB)

Możesz zdecydować o uwzględnieniu kolumn LOB w zadaniu i określić maksymalny rozmiar LOB. Obiekty LOB, które mają rozmiar większy od maksymalnego, zostaną przycięte.

Mapowanie kolumn JSON

Mapowanie zgodnych źródłowych kolumn JSON na kolumny JSON w miejscu docelowym

Po wybraniu tej opcji kolumny JSON w źródle zostaną automatycznie zamapowane na kolumny JSON w miejscu docelowym.

Stan i widoczność tej opcji są określone przez następujące czynniki:

• Nowe zadania: Ta opcja zostanie domyślnie włączona, jeśli zarówno źródło, jak i cel obsługują typ danych JSON.

• Istniejące zadania: Ta opcja będzie domyślnie wyłączona, nawet jeśli zarówno źródło, jak i cel obsługują typ danych JSON. Ma to na celu zachowanie kompatybilności wstecznej z późniejszymi procesami – takimi jak transformacje – które oczekują, że dane docelowe będą w formacie STRING (co jest dotychczasowym zachowaniem). Możesz pozostawić tę opcję wyłączoną lub edytować procesy podrzędne, aby były zgodne z formatem JSON, a następnie włączyć tę opcję.

• Nowe i istniejące zadania: Jeśli tylko źródło obsługuje typ danych JSON, ta opcja nie będzie widoczna. Jeśli obsługa JSON zostanie dodana do elementu docelowego na późniejszym etapie, opcja stanie się widoczna, ale pozostanie wyłączona. Ma to na celu zachowanie kompatybilności wstecznej z późniejszymi procesami – takimi jak transformacje – które oczekują, że dane docelowe będą w formacie STRING (co jest dotychczasowym zachowaniem).

Tabele kontrolne

Wybierz spośród tabel kontrolnych te, które chcesz utworzyć na platformie docelowej:

• Status replikacji: Przedstawia szczegółowe informacje na temat bieżącego zadania umieszczania danych, w tym status zadania, ilość pamięci zużywanej przez zadanie, liczbę zmian, które nie zostały jeszcze zastosowane na platformie danych, oraz pozycję w źródle danych, z którego aktualnie odczytuje dane.
• Zawieszone tabele: Przedstawia listę zawieszonych tabel oraz powody ich zawieszenia.
• Historia umieszczania: Przedstawia informacje o historii zadania, w tym liczbę i wolumen rekordów przetworzonych podczas zadania umieszczania, opóźnienie na końcu zadania CDC itp.
• Zmień partycje danych: Przedstawia rekordy partycji utworzonych w docelowej bazie danych w wyniku Zmień partycjonowanie danych. Możesz użyć tych informacji do zidentyfikowania partycjonowanych danych, które wymagają dalszego przetwarzania.

Szczegółowy opis poszczególnych tabel kontrolnych zawiera temat Tabele kontrolne

Pełne ładowanie

Strojenie wydajności

• Maksymalna liczba tabel do załadowania równoległego: wprowadź maksymalną liczbę tabel, które można załadować jednocześnie do miejsca docelowego. Wartością domyślną jest 5.

• Limit czasu spójności transakcji (sekundy): wprowadź liczbę sekund oczekiwania na zamknięcie otwartych transakcji przed rozpoczęciem operacji Pełne ładowanie. Wartością domyślną jest 600 (10 minut). Pełne ładowanie rozpocznie się po osiągnięciu limitu czasu, nawet jeśli będą nadal istnieć otwarte transakcje.

  InformacjaAby zreplikować transakcje, które były otwarte w momencie rozpoczęcia pełnego ładowania, ale zostały zatwierdzone dopiero po osiągnięciu limitu czasu, należy przeładować tabele docelowe.
• Współczynnik zatwierdzania podczas pełnego ładowania: maksymalna liczba zdarzeń, które można przenieść razem. Wartością domyślną jest 10000.

Po zakończeniu pełnego ładowania

Utwórz klucz główny lub unikatowy indeks: wybierz tę opcję, jeśli chcesz opóźnić utworzenie klucza głównego lub unikatowego indeksu na platformie danych do czasu zakończenia pełnego ładowania.

Do początkowego ładowania

Przechowaj zmiany

Po wybraniu metody aktualizacji Przechwytywanie zmian danych (CDC), aktualizacje danych źródłowych będą przechowywane w tabelach zmian na platformie docelowej. Tabele zmian przechwytują wszystkie operacje wstawiania, aktualizacji i usuwania ze źródła, umożliwiając aplikacjom podrzędnym przetwarzanie zmian przyrostowo.

W tej sekcji opisano, jak skonfigurować opcje tabel zmian: obsługę DDL, przechowywanie obrazów aktualizacji oraz zachowanie podczas tworzenia tabel.

Więcej szczegółowych informacji na temat tabel zmian zawiera temat Używanie tabel zmian.

Ustawienia podstawowe

Opcje DDL

Opcje DDL (Data Definition Language) określają, w jaki sposób zmiany schematu ze źródła są obsługiwane w tabelach zmian.

• Zastosuj do tabeli zmian: Po wybraniu tej opcji system automatycznie stosuje zmiany DDL z tabel źródłowych (takie jak dodawanie lub usuwanie kolumn) do odpowiednich tabel zmian. Użyj tej opcji, gdy Twoje aplikacje podrzędne potrzebują, aby tabele zmian odzwierciedlały wszystkie zmiany schematu ze źródła.

• Ignoruj: System ignoruje wszystkie zmiany DDL w źródle. Struktura tabeli zmian pozostaje niezmieniona. Użyj tej opcji, gdy zmiany DDL w źródle nie powinny wpływać na przechowywane zmiany, lub gdy system docelowy wymaga stałych schematów tabel.

Ustawienia zaawansowane

Po aktualizacji

Ustawienia dla operacji UPDATE kontrolują, jakie dane są przechwytywane, gdy rekord źródłowy jest aktualizowany.

Zapisz obraz przed i po: System przechwytuje zarówno oryginalne dane (przed aktualizacją), jak i zmodyfikowane dane (po aktualizacji). Ta opcja wymaga więcej miejsca na dysku, ale zapewnia pełne informacje audytowe, umożliwiając systemom niższego szczebla porównywanie starych i nowych wartości lub wykonywanie złożonej analizy zmian. Użyj tego, gdy Twoje aplikacje potrzebują pełnego kontekstu zmian.

Gdy ta opcja jest wyłączona, system przechwytuje tylko zmodyfikowane dane (po aktualizacji), a nie wartości oryginalne. Ta opcja zmniejsza wymagania dotyczące pamięci masowej na celu. Użyj tego, gdy potrzebujesz tylko bieżącego stanu zmienionych rekordów i nie wymagasz historycznych wartości sprzed zmian.

Zmień tworzenie tabeli

Nadpisywanie domyślnego sufiksu tabeli zmian i prefiksu kolumny nagłówka

• Sufiks: Określ ciąg, który będzie używany jako sufiks dla wszystkich tabel zmian. Wartość domyślna to __ct. Nazwy tabeli zmian są nazwą tabeli docelowej z dołączonym sufiksem. Na przykład, jeżeli używa się wartości domyślnej, nazwą tabeli zmian będzie HR__ct.
• Prefiks kolumny nagłówka: Określ ciąg, który będzie używany jako prefiks dla wszystkich kolumn nagłówka tabeli zmian. Wartość domyślna to header__. Na przykład, jeżeli używa się wartości domyślnej, kolumna nagłówka stream_position będzie nosić nazwę header__stream_position.

Określanie sposobu obsługi istniejących tabel zmian, gdy rozpoczyna się pełne ładowanie

Gdy rozpocznie się pełne ładowanie, te ustawienia określają sposób obsługi istniejących tabel zmian na obiekcie docelowym. Wybierz opcję, która najlepiej pasuje do Twoich wymagań w zakresie odzyskiwania i przechowywania danych:

• USUŃ i UTWÓRZ: System całkowicie usuwa istniejącą tabelę zmian i tworzy nową, pustą. Wszystkie wcześniej zapisane zmiany są usuwane. Użyj tego, gdy chcesz zacząć od nowa z każdym cyklem pełnego ładowania.

• Usuń stare zmiany i zapisz nowe zmiany w istniejącej tabeli zmian: System usuwa wszystkie dane z istniejącej tabeli zmian bez wpływu na jej strukturę lub metadane. Nowe zmiany są przechowywane w tej samej tabeli. Użyj tej opcji, gdy chcesz zachować strukturę tabeli, ale czyścić poprzednie zmiany.

• Zachowaj stare zmiany i zapisz nowe zmiany w istniejącej tabeli zmian: System zachowuje wszystkie istniejące dane i metadane w tabeli zmian. Nowe zmiany są dodawane do istniejących danych. Użyj tego, gdy musisz zgromadzić wszystkie zmiany z wielu cykli pełnego ładowania.

Zmień partycjonowanie danych

W standardowym zadaniu umieszczania (bez partycjonowania danych zmian), zmiany są umieszczane w miejscu docelowym w dowolnej kolejności. Partycjonowanie danych zmian umożliwia spójne przetwarzanie danych zmian z wielu tabel. Można zdefiniować czas trwania partycji, a także czas bazowy partycjonowania, zapewniając w ten sposób ogólną spójność partycjonowanych danych (tj. brak transakcji częściowych, brak nagłówków zamówień bez wierszy zamówień itp.).

Informacje o partycjach są zapisywane w tabeli kontrolnej attrep_cdc_partitions w docelowej bazie danych. Informacje te można wykorzystać do zidentyfikowania partycjonowanych danych, które wymagają dalszego przetwarzania.

Zrozumienie, jak działa partycjonowanie zgodnie z typem źródła

• Ze źródeł baz danych:

  W standardowym zadaniu umieszczania (bez partycjonowania danych zmian), zmiany są umieszczane w miejscu docelowym w dowolnej kolejności. Partycjonowanie danych zmian umożliwia spójne przetwarzanie danych zmian z wielu tabel. Można zdefiniować czas trwania partycji, a także czas bazowy partycjonowania, zapewniając w ten sposób ogólną spójność partycjonowanych danych (tj. brak transakcji częściowych, brak nagłówków zamówień bez wierszy zamówień itp.).

  • Zaplanowane CDC: Partycje są tworzone, gdy uruchamiane jest zaplanowane wystąpienie zadania. Zatem, na przykład, jeśli zadanie jest zaplanowane do uruchamiania o północy każdego dnia, a Partycjonuj co jest ustawione na 4 godziny, to liczba utworzonych partycji będzie reprezentować czas, w którym zatwierdzenia miały miejsce w ciągu ostatnich 24 godzin. Jeśli zatwierdzenia wystąpiły w godzinach 01:00-03:00 i 16:15-18:00, a Bazowy czas partycjonowania jest ustawiony na 0:00, wówczas zostaną utworzone dwie partycje: 0:00-04:00 i 16:00-20:00.

  • Ciągłe CDC: Jeśli Partycjonuj co jest ustawione na 4 godziny, Replicate tworzy partycję co 4 godziny, zawierającą wszystkie zatwierdzenia, które wystąpiły w tym okresie. Jeśli nie było żadnych zatwierdzeń przez 4 godziny, wówczas żadna partycja nie zostanie utworzona dla tego okresu.

• Z źródeł aplikacji SaaS:

  Zadania, które wyodrębniają dane ze źródeł aplikacji SaaS, są zawsze zaplanowane. Partycje są oparte na czasie ekstrakcji danych, ponieważ pojęcie zatwierdzeń nie istnieje w źródłach aplikacji SaaS. Ekstrakcja danych rozpoczyna się po uruchomieniu zaplanowanego wystąpienia zadania. Zatem, na przykład, jeśli zadanie jest zaplanowane do uruchamiania o północy każdego dnia, a Partycjonuj co jest ustawione na 4 godziny, to liczba utworzonych partycji będzie reprezentować czas trwania ekstrakcji danych. Jeśli ekstrakcja danych trwa krócej niż dwie godziny, zostanie utworzona pojedyncza partycja. Jeśli jednak ekstrakcja trwa sześć godzin (na przykład), zostaną utworzone dwie partycje.

Opcje partycjonowania

• Partycjonuj co — określ długość (w godzinach i minutach) każdej partycji.

  Informacja

  Zaleca się określenie długości partycji przekraczającej jedną godzinę. Chociaż określenie długości partycji krótszej niż jedna godzina może skrócić czas oczekiwania, utworzenie wielu partycji w miejscu docelowym może również wpływać na wydajność (miejsca docelowego), szczególnie w systemach z dużą liczbą zmian.

  Jeśli wznowisz zadanie SPRZED momentu utworzenia ostatniej partycji, zadanie umieszczania w jeziorze danych dokona zapisu na partycji, która została już zamknięta.

• Bazowy czas partycjonowania — partycje są tworzone w okresie 24-godzinnym, który jest obliczany na podstawie określonego „bazowego czasu partycjonowania” w źródłowej bazie danych na podstawie czasu UTC. Na przykład interwał partycjonowania wynoszący 8 godzin z czasem „Bazowy czas partycjonowania” równym 02:00 spowoduje utworzenie następujących partycji: 02:00-10:00, 10:00-18:00, 18:00-02:00, ale niekoniecznie w tej kolejności. Na przykład, jeśli zadanie rozpoczęło się o godzinie 01:00, przedział czasowy pierwszej partycji wyniesie 18:00-02:00. Dodatkowo, jeśli zadanie rozpoczęło się w środku partycji (np. o 04:00), jego dane zmian zostaną wstawione do partycji 02:00-10:00, mimo że przed 04:00 nie zarejestrowano żadnych zmian.

Kolumny nagłówka tabeli

Tabela zmian zawiera kolumny metadanych systemowych z konfigurowalnym prefiksem. Domyślnie, te kolumny są poprzedzone prefiksem header__ (na przykład, header__stream_position, header__operation). Te kolumny zawierają informacje o każdym rekordzie zmiany, takie jak typ operacji (INSERT, UPDATE, DELETE) oraz kolejność, w jakiej nastąpiły zmiany.

Możesz wykluczyć określone kolumny nagłówków z tabeli zmian, jeśli nie potrzebujesz tych metadanych. To zmniejsza wymagania dotyczące pamięci masowej na platformie docelowej.

Obsługa błędów

Błędy danych

Błędy obcinania danych

W przypadku błędów obcinania danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów nastąpi obcięcie. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Inne błędy danych

W przypadku innych błędów danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów wystąpi błąd. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskalacja obsługi błędów danych

Eskaluj obsługę błędów, kiedy inne błędy danych osiągną (na tabelę): Zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów danych niespowodowanych przez obcięcia (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: Wybierz, co powinno się wydarzyć w przypadku eskalacji obsługi błędów. Należy pamiętać, że dostępne działania zależą od działania wybranego z listy rozwijanej W przypadku innych błędów danych opisanej powyżej.

• Zawieś tabelę (domyślnie): Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są landed.

• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Błędy tabeli

W przypadku napotkania błędu tabeli: wybierz jedną z poniższych opcji z listy rozwijanej:

• Zawieś tabelę (domyślnie): zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane.
• Zatrzymaj zadanie: zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę błędów, kiedy inne błędy tabeli osiągną (na tabelę): zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów tabeli (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: zasada eskalacji błędów tabeli jest ustawiona na Zatrzymaj zadanie i nie można jej zmienić.

Środowiskowy

• Maksymalna liczba ponownych prób: Wybierz tę opcję, a następnie określ maksymalną liczbę prób ponawiania zadania w razie wystąpienia błędu środowiskowego umożliwiającego odzyskanie. Po określonej liczbie ponownych prób zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

  Aby nigdy nie ponawiać wykonywania zadania, usuń zaznaczenie pola wyboru lub określ „0”.

  Aby ponawiać zadanie nieskończoną liczbę razy, określ „-1”.

  • Interwał między kolejnymi próbami (w sekundach): Użyj licznika, aby wybrać lub wpisać liczbę sekund oczekiwania przez system pomiędzy kolejnymi próbami wykonania zadania.

    Prawidłowe wartości są z zakresu 0–2000.

• Zwiększ interwał ponawiania prób w przypadku długich przestojów: Zaznacz to pole wyboru, aby zwiększyć interwał ponownych prób w przypadku długich przestojów. Gdy ta opcja jest włączona, odstęp między kolejnymi próbami jest podwajany aż do osiągnięcia Maksymalnego interwału ponownych prób (i próby są kontynuowane zgodnie z określonym maksymalnym interwałem).
  • Maksymalny interwał ponownych prób (w sekundach): Użyj licznika, aby wybrać, lub wpisz liczbę sekund oczekiwania pomiędzy kolejnymi próbami wykonania zadania, gdy włączona jest opcja Zwiększ interwał ponawiania prób w przypadku długich przestojów. Prawidłowe wartości są z zakresu 0–2000.

Dostrajanie przetwarzania zmian

Dostrajanie odciążania transakcji

• Odciąż transakcje w toku na dysku, jeśli:

  Dane transakcji są zwykle przechowywane w pamięci, dopóki nie zostaną w pełni zatwierdzone w źródle lub celu. Transakcje, które są większe niż przydzielona pamięć lub które nie zostaną zatwierdzone w określonym limicie czasu, zostaną jednak przeniesione na dysk.

  • Całkowity rozmiar pamięci transakcji przekracza (MB): maksymalny rozmiar, jaki wszystkie transakcje mogą zajmować w pamięci przed przeniesieniem na dysk. Wartością domyślną jest 1024.
  • Czas trwania transakcji przekracza (w sekundach): maksymalny czas, przez który każda transakcja może pozostać w pamięci przed przeniesieniem na dysk. Czas trwania jest liczony od momentu, gdy Qlik Talend Data Integration rozpoczęła rejestrowanie transakcji. Wartością domyślną jest 60.

Strojenie wsadowe

• Minimalna liczba zmian na transakcję: minimalna liczba zmian, które należy uwzględnić w każdej transakcji. Wartością domyślną jest 1000.

  Informacja

  Zmiany są stosowane do miejsca docelowego, gdy liczba zmian jest równa lub większa od Minimalnej liczby zmian na transakcję LUB po osiągnięciu opisanej poniżej wartości Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach) w zależności od tego, co nastąpi wcześniej. Ponieważ częstotliwość zmian stosowanych do miejsca docelowego jest kontrolowana przez te dwa parametry, zmiany w rekordach źródłowych mogą nie zostać natychmiast odzwierciedlone w rekordach docelowych.

• Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach): maksymalny czas gromadzenia transakcji w partiach przed zadeklarowaniem upłynięcia limitu czasu. Wartością domyślną jest 1.

Interwał

• Odczytuj zmiany co (w minutach)

  Interwał w minutach między odczytywaniem zmian ze źródła. Prawidłowy zakres wynosi od 1 do 1440.

  Informacja

  Ta opcja jest dostępna tylko dla zadań używających:

  • Brama danych ruchu danych
  • Metoda aktualizacji Przechwytywanie zmian danych (CDC)

Sprawdź zmiany

• Zgodnie z interwałem ekstrakcji delty: Po wybraniu tej opcji zadanie danych sprawdza zmiany zgodnie z interwałem ekstrakcji delty.

  InformacjaInterwał rozpocznie się po każdej „rundzie”. Runda może być zdefiniowana jako czas potrzebny zadaniu danych na odczytanie zmian z tabel źródłowych i wysłanie ich do celu (jako pojedyncza transakcja). Długość rundy różni się w zależności od liczby tabel i zmian. Jeśli więc określisz interwał 10 minut, a runda trwa 4 minuty, to rzeczywisty czas między sprawdzaniem zmian wyniesie 14 minut.

  • Częstotliwość ekstrakcji delty: Częstotliwość, z jaką delty będą wyodrębniane z Twojego systemu. Wartością domyślną jest co 60 sekund.

• Zgodnie z harmonogramem: Po wybraniu tej opcji zadanie danych wyodrębni deltę raz, a następnie zostanie zatrzymane. Następnie będzie kontynuować działanie zgodnie z harmonogramem.

  InformacjaTa opcja jest istotna tylko wtedy, gdy odstęp między cyklami CDC wynosi 24 godziny lub więcej.

  Informacje na temat planowania:

  • "Zadania Land data in data lake" w projekcie replikacji, zobacz Harmonogram CDC dla zadań umieszczania w jeziorze

Różnie ustawienia strojenia

• Rozmiar pamięci podręcznej instrukcji (liczba instrukcji): Maksymalna liczba przygotowanych instrukcji do przechowywania na serwerze w celu późniejszego wykonania (podczas stosowania zmian w miejscu docelowym). Wartością domyślną jest 50. Maksymalna liczba to 200.

• USUŃ i WSTAW podczas aktualizowania kolumny klucza podstawowego: Ta opcja wymaga włączenia pełnego rejestrowania dodatkowego w źródłowej bazie danych.

  InformacjaTo ustawienie nie jest dostępne dla zadań używających łącznika aplikacji SaaS, chyba że jest to łącznik Lite.

Automatyczna ewolucja schematu

Wybierz sposób obsługi następujących typów zmian DDL w schemacie. Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie. Poniższa tabela opisuje, które działania są dostępne w przypadku obsługiwanych zmian DDL.

Podstawianie znaków

Możesz zastąpić lub usunąć znaki źródłowe w docelowej bazie danych i/lub znaki źródłowe, które nie są obsługiwane przez wybrany zestaw znaków.

Zastępowanie lub usuwanie znaków źródłowych

Użyj tabeli Zastąp lub usuń znaki źródłowe, aby zdefiniować zamienniki dla określonych znaków źródłowych. Może to być przydatne na przykład wtedy, gdy reprezentacja znaku w Unicode jest inna na platformie źródłowej i docelowej. Na przykład w systemie Linux znak minus w zestawie znaków Shift_JIS jest reprezentowany jako U+2212, ale w systemie Windows jest reprezentowany jako U+FF0D.

Zastępowanie lub usuwanie znaków źródłowych nieobsługiwanych przez wybrany zestaw znaków

Użyj tabeli Nieobsługiwane znaki źródłowe według zestawu znaków, aby zdefiniować pojedynczy znak zastępczy dla wszystkich znaków nieobsługiwanych przez wybrany zestaw znaków.

Równoległe ładowanie segmentów zestawu danych

Podczas pełnego ładowania można przyspieszyć ładowanie dużych zestawów danych, dzieląc zestaw danych na segmenty, które będą ładowane równolegle. Tabele można dzielić według zakresów danych, wszystkich partycji, wszystkich podpartycji lub określonych partycji.

Więcej informacji zawiera temat Równoległe replikowanie segmentów zestawu danych.

Więcej opcji

Te opcje nie są widoczne w interfejsie, ponieważ dotyczą tylko określonych wersji lub środowisk. W związku z tym nie należy ustawiać tych opcji, chyba że zostanie to wyraźnie zalecone przez Pomoc techniczną Qlik lub dokumentację produktu.

Aby ustawić opcję, po prostu skopiuj ją do pola Dodaj nazwę cechy i kliknij Dodaj. Następnie ustaw wartość lub włącz opcję zgodnie z otrzymaną instrukcją.

Harmonogram CDC dla zadań umieszczania w jeziorze

W obserwowanych przypadkach użycia należy zdefiniować interwał planowania, aby dane docelowe były aktualne:

• Uzyskiwanie dostępu do źródeł danych bez narzędzia Brama danych ruchu danych
• Używanie łącznika aplikacji SaaS, który nie jest Łącznikiem Lite.
• Podczas przechwytywania zmian ze źródła SAP OData za pomocą opcji Zgodnie z harmonogramem.

Harmonogram decyduje o tym, jak często docelowe zestawy danych będą aktualizowane zmianami w źródłowych zestawach danych. Podczas gdy harmonogram decyduje o częstotliwości aktualizacji, typ zestawu danych decyduje o metodzie aktualizacji. Jeśli zestaw danych obsługuje CDC, tylko zmiany w tym zestawie danych zostaną pobrane i propagowane do odpowiedniej tabeli docelowej. Jeśli zestaw danych nie obsługuje CDC (na przykład widok), zmiany zostaną propagowane przez ponowne załadowanie całego zestawu danych. Dzięki konektorom aplikacji SaaS zostanie utworzone jedno zadanie z możliwością planowania interwałów CDC i interwałów ponownego ładowania podczas wdrażania, a później w ustawieniach harmonogramu zadania. Podczas używania innych typów konektorów (na przykład baz danych) z metodą aktualizacji CDC, jeśli niektóre z wybranych zestawów danych obsługują CDC, a inne nie, zostaną utworzone dwa osobne zadania podrzędne: jedno do pobierania zmian w zestawach danych, które obsługują CDC, a drugie do przeładowania zestawów danych, które nie obsługują CDC.

Aby zmienić harmonogram:

1. Otwórz swój projekt potoku, a następnie wykonaj jedną z następujących czynności:

   • W widoku zadań kliknij na zadaniu danych i wybierz Planowanie.
   • W widoku potoku, kliknij na zadaniu danych i wybierz Planowanie.
   • Otwórz zadanie replikacji i kliknij przycisk Planowanie na pasku zadań.
2. Zmień ustawienia harmonogramu odpowiednio do potrzeb, a następnie kliknij OK.

Wykonywanie pominiętego uruchomienia zadania na podstawie Brama danych ruchu danych

Czasami problem z siecią może spowodować utratę połączenia z bramą Brama danych ruchu danych. Jeśli połączenie z bramą Brama danych ruchu danych nie zostanie przywrócone przed następnym zaplanowanym uruchomieniem, nie będzie można uruchomić zadania danych zgodnie z harmonogramem. W takich przypadkach można wybrać, czy uruchomienie ma zostać wykonane bezpośrednio po przywróceniu połączenia.

Ustawienia domyślne dla wszystkich Brama danych ruchu danych są zdefiniowane w centrum aktywności Administrowanie. Możesz zastąpić te ustawienia dla poszczególnych zadań, jak opisano poniżej.

Aby to zrobić

1. Otwórz projekt, a następnie wykonaj jedną z następujących czynności:

   • W widoku zadań kliknij na zadaniu danych i wybierz Planowanie.

   • W widoku potoku, kliknij na zadaniu danych i wybierz Planowanie.

   • Otwórz zadanie danych i kliknij przycisk Planowanie na pasku zadań.

   Zostanie otwarte okno dialogowe Planowanie — <task>.

2. Włącz Użyj niestandardowych ustawień dla tego zadania.

3. Na dole okna dialogowego wybierz jedną z następujących opcji Uruchom pominięte zaplanowane zadania.

   • Jak najszybciej, a następnie zgodnie z harmonogramem, jeśli ważne jest uruchomienie zadania przed następnym zaplanowanym wystąpieniem

   • Zgodnie z harmonogramem, aby uruchomić zadanie w następnym zaplanowanym wystąpieniu

4. Zapisz ustawienia.

Zobacz również: Wykonywanie uruchomienia zadania po pominiętym harmonogramie.