Ustawienia celów przechowywania w chmurze

Domyślne ustawienia umieszczania w jeziorze danych możesz zmienić odpowiednio do potrzeb.

Ogólne

Metoda aktualizacji

Dane można umieszczać w dwóch różnych trybach. Po przygotowaniu zadania umieszczania w jeziorze danych nie ma możliwości zmiany trybu.

• Przechwytywanie zmian danych (CDC): Zadania umieszczania w jeziorze danych rozpoczynają się od pełnego ładowania (podczas którego umieszczania są wszystkie wybrane tabele). Umieszczone dane są następnie aktualizowane przy użyciu technologii przechwytywania danych zmian (CDC).

  InformacjaPrzechwytywanie zmian danych operacji DDL nie jest obsługiwane.

  Podczas pracy z bramą Brama danych ruchu danych zmiany są przechwytywane ze źródła w czasie niemal rzeczywistym. Podczas pracy bez bramy Brama danych ruchu danych zmiany są przechwytywane zgodnie z ustawieniami harmonogramu. Więcej informacji zawiera temat Planowanie zadań podczas pracy bez Brama danych ruchu danych.

• Przeładuj: Wykonuje pełne ładowanie danych z wybranych tabel źródłowych na platformę docelową i w razie potrzeby tworzy tabele docelowe. Pełne ładowanie następuje automatycznie w momencie rozpoczęcia zadania, ale w razie potrzeby można je wykonać także ręcznie lub zaplanować tak, aby występowało okresowo, w miarę potrzeb.

Folder do użycia

Wybierz jedną z poniższych opcji w zależności od folderu zasobnika, w którym chcesz zapisywać pliki:

• Domyślny folder: Domyślny format folderu to <nazwa-projektu>/<nazwa-zadania>
• Folder główny: pliki zostaną zapisane bezpośrednio w zasobniku.

• Folder: wprowadź nazwę folderu. Folder zostanie utworzony podczas zadania umieszczania w jeziorze danych, jeśli nie istnieje.

  Informacja Nazwa folderu nie może zawierać znaków specjalnych (na przykład @, #, ! itd.).

Zmień partycjonowanie danych

W standardowym zadaniu umieszczania zmiany są umieszczane w miejscu docelowym w dowolnej kolejności. Partycjonowanie danych zmian umożliwia spójne przetwarzanie danych zmian z wielu tabel. Można zdefiniować czas trwania partycji, a także czas bazowy partycjonowania, zapewniając w ten sposób ogólną spójność partycjonowanych danych (tj. brak transakcji częściowych, brak nagłówków zamówień bez wierszy zamówień itp.).

Informacje o partycjach są zapisywane w tabeli kontrolnej attrep_cdc_partitions w docelowej bazie danych. Informacje te można wykorzystać do zidentyfikowania partycjonowanych danych, które wymagają dalszego przetwarzania.

Opcje partycjonowania są następujące:

• Partycjonuj co — określ długość (w godzinach i minutach) każdej partycji.

  Informacja

  Zaleca się określenie długości partycji przekraczającej jedną godzinę. Chociaż określenie długości partycji krótszej niż jedna godzina może skrócić czas oczekiwania, utworzenie wielu partycji w miejscu docelowym może również wpływać na wydajność (miejsca docelowego), szczególnie w systemach z dużą liczbą zmian.

  Jeśli wznowisz zadanie SPRZED momentu utworzenia ostatniej partycji, zadanie umieszczania w jeziorze danych dokona zapisu na partycji, która została już zamknięta.

• Bazowy czas partycjonowania — partycje są tworzone w okresie 24-godzinnym, który jest obliczany na podstawie określonego „bazowego czasu partycjonowania” w źródłowej bazie danych na podstawie czasu UTC. Na przykład interwał partycjonowania wynoszący 8 godzin z czasem „Bazowy czas partycjonowania” równym 02:00 spowoduje utworzenie następujących partycji: 02:00-10:00, 10:00-18:00, 18:00-02:00, ale niekoniecznie w tej kolejności. Na przykład, jeśli zadanie rozpoczęło się o godzinie 01:00, przedział czasowy pierwszej partycji wyniesie 18:00-02:00. Dodatkowo, jeśli zadanie rozpoczęło się w środku partycji (np. o 04:00), jego dane zmian zostaną wstawione do partycji 02:00-10:00, mimo że przed 04:00 nie zarejestrowano żadnych zmian.

Przesyłania danych

Atrybuty pliku

Separator pola

Separator, który będzie używany do oddzielania pól (kolumn) w plikach docelowych. Wartość domyślna to przecinek.

Przykład użycia przecinka jako separatora:

"mike","male"

Separatorami mogą być znaki standardowe lub wartości szesnastkowe. Należy pamiętać, że do oznaczenia separatora szesnastkowego trzeba użyć przedrostka „0x” (np. 0x01 = SOH). W polach Separator pola, Separator rekordu i Wartość null separator może składać się z połączonych wartości szesnastkowych (np. 0x0102 = SOHSTX), natomiast w polach Znak cudzysłowu i Znak zmiany znaczenia cudzysłowu może to być tylko pojedyncza wartość szesnastkowa.

Liczba szesnastkowa 0x00 nie jest obsługiwana (tzn. obsługiwane są tylko 0x01–0xFF).

Wartość Null

Ciąg, który będzie używany do wskazania wartości null w plikach docelowych.

Przykład (gdzie \n jest separatorem rekordu, a @ jest wartością null):

Separator rekordu

Separator, który będzie używany do oddzielania rekordów (wierszy) w plikach docelowych. Wartość domyślna to znak nowego wiersza (\n).

Przykład:

Znak cudzysłowu

Znak, który będzie używany na początku i na końcu kolumny tekstu. Wartość domyślna to znak podwójnego cudzysłowu ("). Jeśli kolumna zawierająca separatory kolumn jest ujęta w cudzysłów, znaki separatora kolumny są interpretowane jako rzeczywiste dane, a nie jako separatory kolumn.

Przykład (gdzie @ jest znakiem cudzysłowu):

Znak zmiany znaczenia cudzysłowu

Znak używany do zmiany znaczenia cudzysłowu w rzeczywistych danych. Wartość domyślna to znak podwójnego cudzysłowu (").

Przykład (gdzie " jest znakiem cudzysłowu, a \ jest znakiem zmiany znaczenia):

Wersja Parquet

Wybierz wersję, której chcesz użyć, w zależności od obsługi wersji przez platformę docelową. Należy pamiętać, że wersja Parquet 1.0 obsługuje tylko jednostki znacznika czasu MICRO, podczas gdy wersja Parquet 2.6 obsługuje jednostki znacznika czasu MICRO i NANO.

Jednostka znacznika czasu Parquet

Gdy wersja Parquet jest ustawiona na 2.6, wybierz MICRO lub NANO. Gdy wersja Parquet jest ustawiona na 1.0, obsługiwane są tylko jednostki MICRO.

Maksymalny rozmiar obiektu LOB w formacie Parquet (KB)

Domyślny maksymalny rozmiar LOB to 64 KB, a maksymalna wartość, jaką można wprowadzić w tym polu, to 10 000 KB. Obsługa kolumn LOB wymaga większych zasobów, co z kolei wpływa na wydajność. Zwiększ tę wartość tylko w przypadku replikacji danych LOB większych niż 64 KB, kiedy wymagana jest replikacja wszystkich danych LOB do miejsca docelowego.

Maksymalny rozmiar pliku

Maksymalny rozmiar, jaki może osiągnąć plik przed zamknięciem (i opcjonalnie skompresowaniem).

Maksymalny rozmiar, jaki może osiągnąć plik przed zamknięciem. Mniejsze pliki mogą być przesyłane szybciej (w zależności od sieci), a jeśli są używane w połączeniu z opcją wykonywania równoległego, może to poprawić wydajność. Ogólnie jednak zaśmiecanie bazy danych małymi plikami uważa się za złą praktykę.

Kompresuj pliki przy użyciu

Wybierz jedną z opcji kompresji, aby skompresować pliki docelowe, lub BRAK (opcję domyślną), aby pozostawić je nieskompresowane. Należy pamiętać, że dostępne opcje kompresji zależą od wybranego formatu pliku.

Dodaj nagłówek metadanych

Opcjonalnie możesz dodać wiersz nagłówka do plików danych. Wiersz nagłówka może zawierać nazwy kolumn źródłowych i/lub pośrednie typy danych (tj. bramy Qlik Talend Data Integration).

Przykład pliku docelowego z wierszem nagłówka, gdy wybrane są opcje Z nazwami kolumn i Z typami danych:

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

Przetwarzanie zmian

W tej sekcji opisano ustawienia warunkowe w Przetwarzaniu zmian.

Zastosuj/zapisz zmiany, kiedy

• Rozmiar pliku osiąga: określ maksymalny rozmiar danych zmian, które mają zostać zgromadzone przed przesłaniem pliku do miejsca docelowego.
• Czas, jaki upłynął, sięga: upływający czas osiąga x.

Pliki metadanych

Po wybraniu opcji Utwórz pliki metadanych w folderze docelowym dla każdego pliku danych w określonym folderze docelowym zostanie utworzony pasujący plik metadanych z rozszerzeniem .dfm. Pliki metadanych zawierają dodatkowe informacje o zadaniu/danych, takie jak typ łącznika źródłowego, nazwa tabeli źródłowej, liczba rekordów w pliku danych itd.

Pełny opis pliku metadanych oraz możliwych zastosowań można znaleźć w artykule Opis pliku metadanych .

Metadane

Kolumny LOB

• Uwzględnij kolumny LOB i ogranicz rozmiar kolumn do (KB):

  Możesz zdecydować o uwzględnieniu kolumn LOB w zadaniu i określić maksymalny rozmiar LOB. Obiekty LOB, które mają rozmiar większy od maksymalnego, zostaną przycięte.

Tabele kontrolne

Wybierz spośród tabel kontrolnych te, które chcesz utworzyć na platformie docelowej:

• Status replikacji: Przedstawia szczegółowe informacje na temat bieżącego zadania umieszczania danych, w tym status zadania, ilość pamięci zużywanej przez zadanie, liczbę zmian, które nie zostały jeszcze zastosowane na platformie danych, oraz pozycję w źródle danych, z którego aktualnie odczytuje dane.
• Zawieszone tabele: Przedstawia listę zawieszonych tabel oraz powody ich zawieszenia.
• Historia replikacji: Przedstawia informacje o historii zadania, w tym liczbę i wolumen rekordów przetworzonych podczas zadania umieszczania, opóźnienie na końcu zadania CDC itp.
• Zmień partycje danych: Przedstawia rekordy partycji utworzonych w docelowej bazie danych w procesie Zmień partycjonowanie danych. Możesz użyć tych informacji do zidentyfikowania partycjonowanych danych, które wymagają dalszego przetwarzania.

Szczegółowy opis poszczególnych tabel kontrolnych zawiera temat Tabele kontrolne

Pełne ładowanie

Strojenie wydajności

• Maksymalna liczba tabel do załadowania równoległego: wprowadź maksymalną liczbę tabel, które można załadować jednocześnie do miejsca docelowego. Wartością domyślną jest 5.

• Limit czasu spójności transakcji (sekundy): wprowadź liczbę sekund oczekiwania na zamknięcie otwartych transakcji przed rozpoczęciem operacji Pełne ładowanie. Wartością domyślną jest 600 (10 minut). Pełne ładowanie rozpocznie się po osiągnięciu limitu czasu, nawet jeśli będą nadal istnieć otwarte transakcje.

  InformacjaAby zreplikować transakcje, które były otwarte w momencie rozpoczęcia pełnego ładowania, ale zostały zatwierdzone dopiero po osiągnięciu limitu czasu, należy przeładować tabele docelowe.
• Współczynnik zatwierdzania podczas pełnego ładowania: maksymalna liczba zdarzeń, które można przenieść razem. Wartością domyślną jest 10000.

Po zakończeniu pełnego ładowania

Utwórz klucz główny lub unikatowy indeks: wybierz tę opcję, jeśli chcesz opóźnić utworzenie klucza głównego lub unikatowego indeksu na platformie danych do czasu zakończenia pełnego ładowania.

Do początkowego ładowania

Podczas przenoszenia danych ze źródła aplikacji SaaS możesz ustawić sposób wykonywania początkowego pełnego ładowania:

Przetwarzanie zmian przechowywania

Kolumny nagłówka tabeli zmian zawierają informacje o operacji przetwarzania zmian, takie jak typ operacji (np. INSERT), czas zatwierdzenia itp. Jeśli nie potrzebujesz tych informacji, możesz skonfigurować zadanie danych tak, aby tworzyło tabele zmian bez niektórych lub wszystkich kolumn nagłówków, zmniejszając w ten sposób miejsce zajmowane przez nie w docelowej bazie danych. Aby to zrobić, usuń zaznaczenie pól wyboru kolumn nagłówków, które chcesz wykluczyć.

Pamiętaj, że nie możesz usuwać dodatkowych kolumn ani przywracać kolumn, gdy zadanie jest uruchomione. Aby zmienić początkowy wybór, należy najpierw zatrzymać zadanie, następnie zmodyfikować wybór, a na koniec przeładować tabele docelowe.

Opis kolumn nagłówka zawiera temat Używanie tabel zmian.

Obsługa błędów

Błędy danych

Błędy obcinania danych

W przypadku błędów obcinania danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów nastąpi obcięcie. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Inne błędy danych

W przypadku innych błędów danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów wystąpi błąd. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskalacja obsługi błędów danych

Eskaluj obsługę błędów, kiedy inne błędy danych osiągną (na tabelę): Zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów danych niespowodowanych przez obcięcia (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: Wybierz, co powinno się wydarzyć w przypadku eskalacji obsługi błędów. Należy pamiętać, że dostępne działania zależą od działania wybranego z listy rozwijanej W przypadku innych błędów danych opisanej powyżej.

• Zawieś tabelę (domyślnie): Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są landed.

• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Błędy tabeli

W przypadku napotkania błędu tabeli: Wybierz jedną z poniższych opcji z listy rozwijanej:

• Zawieś tabelę (domyślnie): Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę błędów, kiedy inne błędy tabeli osiągną (na tabelę): Zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów tabeli (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: Zasada eskalacji błędów tabeli jest ustawiona na Zatrzymaj zadanie i nie można jej zmienić.

Środowiskowe

• Maksymalna liczba ponownych prób: Wybierz tę opcję, a następnie określ maksymalną liczbę prób ponawiania zadania w razie wystąpienia błędu środowiskowego umożliwiającego odzyskanie. Po określonej liczbie ponownych prób zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

  Aby nigdy nie ponawiać wykonywania zadania, usuń zaznaczenie pola wyboru lub określ „0”.

  Aby ponawiać zadanie nieskończoną liczbę razy, określ „-1”.

  • Interwał między kolejnymi próbami (w sekundach): Użyj licznika, aby wybrać lub wpisać liczbę sekund oczekiwania przez system pomiędzy kolejnymi próbami wykonania zadania.

    Prawidłowe wartości są z zakresu 0–2000.

• Zwiększ interwał ponawiania prób w przypadku długich przestojów: Zaznacz to pole wyboru, aby zwiększyć interwał ponownych prób w przypadku długich przestojów. Gdy ta opcja jest włączona, odstęp między kolejnymi próbami jest podwajany aż do osiągnięcia Maksymalnego interwału ponownych prób (i próby są kontynuowane zgodnie z określonym maksymalnym interwałem).
  • Maksymalny interwał ponownych prób (w sekundach): Użyj licznika, aby wybrać, lub wpisz liczbę sekund oczekiwania pomiędzy kolejnymi próbami wykonania zadania, gdy włączona jest opcja Zwiększ interwał ponawiania prób w przypadku długich przestojów. Prawidłowe wartości są z zakresu 0–2000.

Dostrajanie przetwarzania zmian

Dostrajanie odciążania transakcji

• Odciąż transakcje w toku na dysku, jeśli:

  Dane transakcji są zwykle przechowywane w pamięci, dopóki nie zostaną w pełni zatwierdzone w źródle lub celu. Transakcje, które są większe niż przydzielona pamięć lub które nie zostaną zatwierdzone w określonym limicie czasu, zostaną jednak przeniesione na dysk.

  • Całkowity rozmiar pamięci transakcji przekracza (MB): maksymalny rozmiar, jaki wszystkie transakcje mogą zajmować w pamięci przed przeniesieniem na dysk. Wartością domyślną jest 1024.
  • Czas trwania transakcji przekracza (w sekundach): maksymalny czas, przez który każda transakcja może pozostać w pamięci przed przeniesieniem na dysk. Czas trwania jest liczony od momentu rozpoczęcia rejestrowania transakcji przez Qlik Talend Data Integration. Wartością domyślną jest 60.

Strojenie wsadowe

• Minimalna liczba zmian na transakcję: minimalna liczba zmian, które należy uwzględnić w każdej transakcji. Wartością domyślną jest 1000.

  Informacja

  Zmiany są stosowane do miejsca docelowego, gdy liczba zmian jest równa lub większa od Minimalnej liczby zmian na transakcję LUB po osiągnięciu opisanej poniżej wartości Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach) w zależności od tego, co nastąpi wcześniej. Ponieważ częstotliwość zmian stosowanych do miejsca docelowego jest kontrolowana przez te dwa parametry, zmiany w rekordach źródłowych mogą nie zostać natychmiast odzwierciedlone w rekordach docelowych.

• Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach): maksymalny czas gromadzenia transakcji w partiach przed zadeklarowaniem upłynięcia limitu czasu. Wartością domyślną jest 1.

Interwał

Odczytuj zmiany co (w minutach)

Ustaw interwał w minutach między odczytami zmian ze źródła. Prawidłowy zakres wynosi od 1 do 1440.

Różnie ustawienia strojenia

• Rozmiar pamięci podręcznej instrukcji (liczba instrukcji): Maksymalna liczba przygotowanych instrukcji do przechowywania na serwerze w celu późniejszego wykonania (podczas stosowania zmian w miejscu docelowym). Wartością domyślną jest 50. Maksymalna liczba to 200.

• Używaj instrukcji DELETE i INSERT podczas aktualizacji kolumny klucza głównego: Ta opcja wymaga włączenia pełnego rejestrowania dodatkowego w źródłowej bazie danych.

Ewolucja schematu

Podstawianie znaków

Możesz zastąpić lub usunąć znaki źródłowe w docelowej bazie danych i/lub znaki źródłowe, które nie są obsługiwane przez wybrany zestaw znaków.

Zastępowanie lub usuwanie znaków źródłowych

Użyj tabeli Zastąp lub usuń znaki źródłowe, aby zdefiniować zamienniki dla określonych znaków źródłowych. Może to być przydatne na przykład wtedy, gdy reprezentacja znaku w Unicode jest inna na platformie źródłowej i docelowej. Na przykład w systemie Linux znak minus w zestawie znaków Shift_JIS jest reprezentowany jako U+2212, ale w systemie Windows jest reprezentowany jako U+FF0D.

Zastępowanie lub usuwanie znaków źródłowych nieobsługiwanych przez wybrany zestaw znaków

Użyj tabeli Nieobsługiwane znaki źródłowe według zestawu znaków, aby zdefiniować pojedynczy znak zastępczy dla wszystkich znaków nieobsługiwanych przez wybrany zestaw znaków.

Więcej opcji

Te opcje nie są widoczne w interfejsie, ponieważ dotyczą tylko określonych wersji lub środowisk. W związku z tym nie należy ustawiać tych opcji, chyba że zostanie to wyraźnie zalecone przez Pomoc techniczną Qlik lub dokumentację produktu.

Aby ustawić opcję, po prostu skopiuj ją do pola Dodaj nazwę cechy i kliknij Dodaj. Następnie ustaw wartość lub włącz opcję zgodnie z otrzymaną instrukcją.

Planowanie zadań podczas pracy bez Brama danych ruchu danych

Brama Brama danych ruchu danych nie jest obsługiwana w przypadku subskrypcji Qlik Talend Cloud Starter i jest opcjonalna w przypadku pozostałych poziomów subskrypcji. Podczas pracy bez Brama danych ruchu danych przechwytywanie zmian danych (CDC) w czasie prawie rzeczywistym nie jest obsługiwane. Aktualność danych w miejscu docelowym można zachować, wyznaczając interwał planowania. Harmonogram decyduje o tym, jak często docelowe zestawy danych będą aktualizowane zmianami w źródłowych zestawach danych. Podczas gdy harmonogram decyduje o częstotliwości aktualizacji, typ zestawu danych decyduje o metodzie aktualizacji. Jeśli źródłowe zestawy danych obsługują przechwytywanie zmian danych (CDC), tylko zmiany w danych źródłowych zostaną zreplikowane i zastosowane w odpowiednich tabelach docelowych. Jeśli źródłowe zestawy danych nie obsługują CDC (na przykład widoki), zmiany zostaną zastosowane przez ponowne załadowanie wszystkich danych źródłowych do odpowiednich tabel docelowych. Jeśli niektóre źródłowe zestawy danych obsługują CDC, a inne nie, zostaną utworzone dwa osobne zadania podrzędne (zakładając, że metodą aktualizacji Przechwytywania danych zmian (CDC) jest ): jedno do przeładowania zestawów danych, które nie obsługują CDC, a drugie do przechwycenia zmian w zestawach danych, które obsługują CDC. W takim przypadku w celu zapewnienia spójności danych zdecydowanie zaleca się ustawienie tego samego harmonogramu dla obu zadań podrzędnych.

Aby zmienić harmonogram:

1. Otwórz projekt danych i wykonaj jedną z następujących czynności:

   • W widoku zadań kliknij na zadaniu danych i wybierz Planowanie.
   • W widoku potoku kliknij na zadaniu danych i wybierz Planowanie.
   • Otwórz zadanie replikacji i kliknij przycisk Planowanie na pasku zadań.
2. Zmień ustawienia harmonogramu odpowiednio do potrzeb, a następnie kliknij OK.