Ustawienia zadania replikacji danych

Można skonfigurować ustawienia zadania replikacji danych.

• Otwórz zadanie replikacji i kliknij Ustawienia na pasku narzędzi.

Otworzy się okno dialogowe Ustawienia: <nazwa-zadania>. Dostępne ustawienia opisano poniżej.

Ogólne

Na tej karcie możesz zmienić tryb replikacji, ustawienia tymczasowe (jeśli są dostępne) oraz tryb stosowania zmian w celu.

Tryb replikacji

Dostępne są następujące tryby replikacji:

• Pełne ładowanie: Ładuje dane z wybranych tabel źródłowych na platformę docelową i w razie potrzeby tworzy tabele docelowe. Pełne ładowanie następuje automatycznie w momencie rozpoczęcia zadania, ale w razie potrzeby można je wykonać także ręcznie.

• Zastosuj zmiany: Zapewnia aktualność tabel docelowych względem wszelkich zmian wprowadzonych w tabelach źródłowych.

• Zapisz zmiany: Przechowuje zmiany w tabelach źródłowych w tabelach zmian (po jednej na tabelę źródłową).

  Więcej informacji zawiera temat Zapisz zmiany.

Podczas pracy z bramą Brama danych ruchu danych zmiany są przechwytywane ze źródła w czasie niemal rzeczywistym. Podczas pracy bez bramy Brama danych ruchu danych (na przykład w ramach subskrypcji Qlik Talend Cloud Starter lub po wybraniu ustawienia Brak) zmiany są przechwytywane zgodnie z ustawieniami harmonogramu. Więcej informacji zawiera temat Planowanie zadań podczas pracy bez Brama danych ruchu danych.

Jeśli wybierzesz opcję Zapisz zmiany lub Zastosuj zmiany, a dane źródłowe zawierają tabele, które nie obsługują CDC, lub widoki, zostaną utworzone dwa potoki danych. Jeden potok dla tabel obsługujących CDC i drugi potok dla wszystkich innych tabel i widoków obsługujących tylko Pełne ładowanie.

Łączenie z obszarem tymczasowym

W przypadku replikacji do hurtowni danych wymienionych poniżej należy ustawić obszar tymczasowy. Dane są przetwarzane i przygotowywane w obszarze tymczasowym przed przesłaniem do hurtowni danych.

• Amazon Redshift
• Microsoft Fabric
• Databricks

Wybierz istniejący obszar tymczasowy lub kliknij opcję Utwórz nowy, aby zdefiniować nowy obszar przejściowy, i postępuj zgodnie z instrukcjami w temacie Łączenie z pamięcią w chmurze.

Aby edytować ustawienia połączenia, kliknij Edytuj. Aby przetestować połączenie (zalecane), kliknij Testuj połączenie.

Aby uzyskać informacje o tym, które obszary tymczasowe są obsługiwane w których hurtowniach danych, zobacz kolumnę Obsługiwane jako obszar przejściowy w temacie Zastosowania platformy docelowej i obsługiwane wersje.

Tryb stosowania zmian

Zmiany są stosowane do tabel docelowych przy użyciu jednej z następujących metod:

• Optymalizacja pod kątem partii: jest to ustawienie domyślne. Po wybraniu tej opcji zmiany są stosowane partiami. Następuje działanie przed przetwarzaniem mające na celu jak najefektywniejsze pogrupowanie transakcji w partie.
• Stosowanie transakcyjne: Wybierz tę opcję, aby zastosować każdą transakcję indywidualnie, w kolejności zatwierdzania. W tym przypadku w odniesieniu do wszystkich tabel jest zapewniana pełna integralność referencyjna.

Przesyłania danych

Maksymalny rozmiar pliku

Maksymalny rozmiar, jaki może osiągnąć plik przed zamknięciem. Mniejsze pliki mogą być przesyłane szybciej (w zależności od sieci), a jeśli są używane w połączeniu z opcją wykonywania równoległego, może to poprawić wydajność. Ogólnie jednak zaśmiecanie bazy danych małymi plikami uważa się za złą praktykę.

Metadane

Podstawowa

• Schemat tabeli docelowej: Schemat w miejscu docelowym, do którego zostaną zreplikowane tabele źródłowe, jeśli nie chcesz używać schematu tabeli źródłowej (lub jeśli w źródłowej bazie danych nie ma schematu).

  InformacjaPodczas replikacji do miejsca docelowego Oracle domyślnym schematem tabeli docelowej jest „system”. Pamiętaj też, że jeśli pozostawisz to pole puste (w takim przypadku zostanie użyty schemat źródłowy), schemat źródłowy musi już istnieć w miejscu docelowym. W przeciwnym razie zadanie zakończy się niepowodzeniem.
  InformacjaMaksymalna dozwolona długość nazwy schematu wynosi 128 znaków.

Ustawienia obiektu LOB

Dostępne ustawienia obiektu LOB różnią się w zależności od wybranego celu replikacji. Ponieważ cele hurtowni danych nie obsługują nieograniczonej wielkości kolumn LOB, ta opcja nie będzie dostępna podczas replikacji do hurtowni danych.

Ustawienia obiektów LOB dla miejsc docelowych, które nie są hurtowniami danych

• Nie uwzględniaj kolumn LOB: Wybierz tę opcję, jeśli nie chcesz, aby źródłowe kolumny LOB były replikowane.

• Ogranicz rozmiar kolumny LOB do (KB): jest to ustawienie domyślne. Wybierz tę opcję, jeśli potrzebujesz replikować tylko małe obiekty LOB lub platforma docelowa nie obsługuje nieograniczonego rozmiaru obiektów LOB. Maksymalna dozwolona wartość dla tego pola to 102400 KB (100 MB).

  Podczas replikacji małych obiektów LOB ta opcja jest bardziej wydajna niż opcja Nie ograniczaj rozmiaru kolumny LOB, ponieważ replikowane obiekty LOB są wstawione, a nie wyszukiwane ze źródła. Podczas przetwarzania zmian małe obiekty LOB są zwykle replikowane poprzez wyszukiwanie ze źródła.

  Limit ma zastosowanie do liczby bajtów LOB odczytywanych z punktu końcowego źródła. W przypadku kolumn BLOB docelowy rozmiar obiektu BLOB będzie dokładnie zgodny z określonym limitem. W przypadku kolumn CLOB i NCLOB docelowy rozmiar obiektu LOB może różnić się od określonego limitu, jeśli źródłowy i docelowy LOB nie mają tego samego zestawu znaków. W takim przypadku zadanie danych wykona konwersję zestawu znaków, co może spowodować rozbieżność między źródłowym i docelowym rozmiarem LOB.

  Ponieważ wartość Ogranicz rozmiar obiektu LOB do jest wyrażona w bajtach, rozmiar należy obliczyć według poniższych wzorów:

  • BLOB: długość największego obiektu LOB.
  • NCLOB: Długość najdłuższego TEKSTU w znakach pomnożona przez dwa (ponieważ każdy znak jest traktowany jako znak dwubajtowy). Jeśli dane zawierają znaki 4-bajtowe, pomnóż je przez cztery.
  • CLOB: Długość najdłuższego TEKSTU w znakach (ponieważ każdy znak jest traktowany jako znak UTF-8). Jeśli dane zawierają znaki 4-bajtowe, pomnóż je przez dwa.
  Informacja

  • Wszelkie obiekty LOB większe niż określony rozmiar zostaną obcięte.
  • Podczas przetwarzania zmian ze źródła Oracle wstawione obiekty BLOB są replikowane bezpośrednio.
  • Zmiany tego ustawienia będą miały wpływ tylko na istniejące tabele po ich przeładowaniu.

• Nie ograniczaj rozmiaru kolumny LOB: Po wybraniu tej opcji kolumny LOB zostaną zreplikowane niezależnie od wielkości.

  InformacjaReplikowanie kolumn LOB może wpływać na wydajność. Dotyczy to szczególnie dużych kolumn LOB, które wymagają przeprowadzenia przez zadanie replikacji wyszukiwania w tabeli źródłowej w celu pobrania źródłowej wartości LOB.

  • Optymalizuj, kiedy wielkość LOB wynosi mniej niż: Wybierz tę opcję, jeśli chcesz replikować zarówno małe, jak i duże obiekty LOB, a większość obiektów LOB jest mała.

    Informacja

    Ta opcja jest obsługiwana tylko w przypadku następujących źródeł i miejsc docelowych:

    • Źródła: Oracle, serwer Microsoft SQL, MySQL, PostgreSQL i IBM DB2 for LUW

    • Miejsca docelowe: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.

    Po wybraniu tej opcji podczas pełnego ładowania małe obiekty LOB będą replikowane jako wstawione (co jest wydajniejsze), a duże obiekty LOB będą replikowane poprzez wyszukiwanie w tabeli źródłowej. Podczas przetwarzania zmian zarówno małe, jak i duże obiekty LOB zostaną jednak zreplikowane przez wyszukiwanie w tabeli źródłowej.

    Informacja

    Gdy ta opcja jest zaznaczona, zadanie replikacji sprawdzi wszystkie rozmiary obiektów LOB, aby określić, które z nich mają zostać przesłane jako wstawione. Obiekty LOB większe niż określony rozmiar zostaną zreplikowane w trybie pełnego LOB.

    Dlatego jeśli wiesz, że większość obektów LOB jest większa niż określone ustawienie, lepiej użyć zamiast tego opcji Replikuj nieograniczone kolumny LOB (KB) .

  • Wielkość fragmentu (KB): opcjonalnie zmień rozmiar fragmentów LOB, które mają być używane podczas replikowania danych do miejsca docelowego. W większości przypadków powinien wystarczyć domyślny rozmiar fragmentu, ale jeśli napotkasz problemy z wydajnością, dostosowanie rozmiaru może poprawić wydajność.

    Informacja

    W przypadku niektórych baz danych sprawdzanie typu danych odbywa się podczas wstawiania lub aktualizacji danych. W takich przypadkach replikacja ustrukturyzowanych typów danych (np. XML, JSON, GEOGRAPHY itp.) może się nie powieść, jeśli dane będą większe niż określony rozmiar fragmentu.

Ustawienia obiektów LOB dla obsługiwanych miejsc docelowych typu hurtownia danych

• Uwzględnij kolumny LOB i ogranicz rozmiar kolumn do (KB):

  Możesz zdecydować o uwzględnieniu kolumn LOB w zadaniu i określić maksymalny rozmiar LOB. Obiekty LOB, które mają rozmiar większy od maksymalnego, zostaną przycięte.

Zaawansowane

Ustawienia tabel kontrolnych

• Schemat tabel kontrolnych: Określ schemat docelowy dla tabel kontrolnych, jeśli nie chcesz, aby były one tworzone w schemacie źródłowym (domyślnie) ani w schemacie docelowym.

  InformacjaMaksymalna dozwolona długość nazwy schematu wynosi 128 znaków.
• Utwórz docelowe tabele kontrolne w przestrzeni tabel: ​ Jeśli miejsce docelowe replikacji to Oracle, określ obszar tabel, w którym mają zostać utworzone docelowe tabele kontrolne. Jeśli w tym polu nie wprowadzisz żadnych informacji, tabele zostaną utworzone w domyślnym obszarze tabel w docelowej bazie danych.
• Utwórz indeksy dla docelowych tabel kontrolnych w przestrzeni tabel: Jeśli miejsce docelowe replikacji to Oracle, określ obszar tabel, w którym mają zostać utworzone indeksy tabel kontrolnych. Jeśli w tym polu nie wprowadzisz żadnych informacji, indeksy zostaną utworzone w tym samym obszarze tabel co tabele kontrolne.
• Szczelina czasowa w replikacji (minuty): Długość każdego przedziału czasowego w tabeli kontrolnej Historia replikacji. Wartością domyślną jest 5 minut.

Wybór tabel kontrolnych

Zastosuj zmiany

Te ustawienia są dostępne tylko wtedy, gdy włączony jest tryb replikacji Zastosuj zmiany.

Podstawowa

Zastosuj zmiany DDL do tabeli docelowej

Poniższe opcje określają, czy operacje DDL wykonane na odpowiedniej tabeli źródłowej zostaną również wykonane na tabeli docelowej.

Zaawansowane

Zob. Dostrajanie przetwarzania zmian.

Zapisz zmiany

Te ustawienia są dostępne tylko wtedy, gdy włączony jest tryb replikacji Zapisz zmiany.

Podstawowa

Opcje DDL

Wybierz jedną z następujących opcji, aby określić sposób obsługi operacji DDL na tabelach źródłowych:

• Zastosuj do tabeli zmian: Operacje DDL na tabelach źródłowych (takie jak dodawanie kolumny) zostaną zastosowane tylko do odpowiednich tabel zmian.
• Ignoruj: wszystkie operacje DDL wykonywane na tabelach źródłowych będą ignorowane.

Zaawansowane

Po aktualizacji

Wybierz opcję Zapisz obraz przed i obraz po, aby przechowywać zarówno dane sprzed operacji UPDATE, jak i dane po operacji UPDATE. Jeśli ta opcja nie zostanie wybrana, będą przechowywane tylko dane po operacji UPDATE.

Zmień tworzenie tabeli

W poniższej sekcji opisano opcje dostępne podczas zapisywania zmian w tabelach zmian.

• Sufiks: Określ ciąg, który będzie używany jako sufiks dla wszystkich tabel zmian. Wartość domyślna to __ct. Nazwy tabeli zmian są nazwą tabeli docelowej z dołączonym sufiksem. Na przykład, jeżeli używa się wartości domyślnej, nazwą tabeli zmian będzie HR__ct.
• Prefiks kolumny nagłówka: Określ ciąg, który będzie używany jako prefiks dla wszystkich kolumn nagłówka tabeli zmian. Wartość domyślna to header__. Na przykład, jeżeli używa się wartości domyślnej, kolumna nagłówka stream_position będzie nosić nazwę header__stream_position.

Więcej informacji na temat tabel zmian zawiera temat Używanie tabel zmian.

Jeśli tabela zmian będzie istnieć, gdy rozpocznie się pełne ładowanie: Wybierz jedną z poniższych opcji, aby określić sposób ładowania tabel zmian po rozpoczęciu replikacji z pełnym ładowaniem:

• Usuń i utwórz tabelę zmian: tabela zostanie usunięta, a na jej miejscu zostanie utworzona nowa tabela.

• Usuń stare zmiany i zachowaj zmiany w istniejącej tabeli zmian: dane są obcinane i dodawane bez wpływu na metadane tabeli.

  InformacjaFunkcja nie jest obsługiwana, kiedy platformą docelową jest Microsoft Fabric.
• Zachowaj stare zmiany i zapisz nowe zmiany w istniejącej tabeli zmian: nie ma to wpływu na dane i metadane istniejącej tabeli zmian.

Kolumny nagłówka tabeli

Kolumny nagłówka tabeli zmian zawierają informacje o operacjach przetwarzania zmian, takie jak typ operacji (np. INSERT), czas zatwierdzenia itp. Jeśli nie potrzebujesz wszystkich tych informacji, możesz skonfigurować zadanie przenoszenie tak, aby tworzyło tabele zmian z wybranymi kolumnami nagłówków (lub żadnymi), zmniejszając w ten sposób miejsce zajmowane przez nie w docelowej bazie danych.

Opis kolumn nagłówka zawiera temat Tabele zmian.

Obsługa błędów

Podstawowa

Konflikty stosowania

Duplikuj klucz podczas stosowania WSTAWIANIA: Wybierz, jakie działanie należy podjąć w przypadku konfliktu z operacją INSERT.

• Ignoruj: zadanie jest kontynuowane, a błąd jest ignorowany.

   

• Zastosuj UPDATE do istniejącego rekordu docelowego: aktualizowany jest rekord docelowy z tym samym kluczem podstawowym co WSTAWIONY rekord źródłowy.

• Zarejestruj rekord w tabeli wyjątków (domyślnie): zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.

• Zawieś tabelę: zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane.

• Zatrzymaj zadanie: zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Nie znaleziono rekordu do zastosowania AKTUALIZACJI: Wybierz, jakie działanie należy podjąć w przypadku konfliktu z operacją UPDATE.

• Ignoruj: zadanie jest kontynuowane, a błąd jest ignorowany.

• Użyj operacji INSERT do brakującego rekordu docelowego: brakujący rekord docelowy zostanie wstawiony do tabeli docelowej. Jeśli źródłowym punktem końcowym jest Oracle, wybranie tej opcji wymaga włączenia dodatkowego rejestrowania dla wszystkich kolumn tabeli źródłowej.

• Zarejestruj rekord w tabeli wyjątków (domyślnie): zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.

• Zawieś tabelę: zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane.

• Zatrzymaj zadanie: zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Zaawansowane

Błędy danych

W przypadku błędów obcinania danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów nastąpi obcięcie. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zarejestruj rekord w tabeli wyjątków (domyślnie): Zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

W przypadku innych błędów danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów wystąpi błąd. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zarejestruj rekord w tabeli wyjątków (domyślnie): Zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę błędów, kiedy inne błędy danych osiągną (na tabelę): Zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów danych niespowodowanych przez obcięcia (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: Wybierz, co powinno się wydarzyć w przypadku eskalacji obsługi błędów. Należy pamiętać, że dostępne działania zależą od działania wybranego z listy rozwijanej W przypadku innych błędów danych opisanej powyżej.

• Zawieś tabelę (domyślnie): Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są przeniesione.

  Informacja

  Działanie różni się w zależności od trybu przetwarzania zmian:

  • W trybie stosowania transakcyjnego ostatnie zmiany nie będą przeniesione.

  • W trybie Stosowanie zoptymalizowane pod kątem partii może dojść do sytuacji, w której dane nie będą przeniesione wcale lub będą przeniesione tylko częściowo.

• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.
• Zarejestruj rekord w tabeli wyjątków: Zadanie jest kontynuowane, a rekord jest zapisywany w tabeli wyjątków.

Błędy tabeli

W przypadku napotkania błędu tabeli: Wybierz jedną z poniższych opcji z listy rozwijanej:

• Zawieś tabelę (domyślnie): Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę błędów, kiedy inne błędy tabeli osiągną (na tabelę): Zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów tabeli (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: Zasada eskalacji błędów tabeli jest ustawiona na Zatrzymaj zadanie i nie można jej zmienić.

Konflikty stosowania

Nie znaleziono rekordu do zastosowania DELETE: wybierz, jakie działanie zostanie podjęte w przypadku konfliktu z operacją DELETE.

• Ignoruj: zadanie jest kontynuowane, a błąd jest ignorowany.
• Zarejestruj rekord w tabeli wyjątków: zadanie jest kontynuowane, a rekord jest zapisywany w tabeli wyjątków.
• Zawieś tabelę: zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane.
• Zatrzymaj zadanie: zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę, gdy konflikty stosowania sięgną (na tabelę):: zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba konfliktów stosowania (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: wybierz, co powinno się wydarzyć w przypadku eskalacji obsługi błędów.

• Zarejestruj rekord w tabeli wyjątków (domyślnie): zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.

• Zawieś tabelę: zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane.

  Informacja

  Działanie różni się w zależności od trybu przetwarzania zmian:

  • W trybie stosowania transakcyjnego ostatnie zmiany nie zostaną zreplikowane.

  • W trybie stosowania zoptymalizowanego pod kątem partii może wystąpić sytuacja, w której dane nie będą replikowane lub replikacja danych będzie częściowa.

• Zatrzymaj zadanie: zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Błędy środowiskowe

• Maksymalna liczba ponownych prób: Wybierz tę opcję, a następnie określ maksymalną liczbę prób ponawiania zadania w razie wystąpienia błędu środowiskowego umożliwiającego odzyskanie. Po określonej liczbie ponownych prób zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

  Aby nigdy nie ponawiać wykonywania zadania, usuń zaznaczenie pola wyboru lub określ „0”.

  Aby ponawiać zadanie nieskończoną liczbę razy, określ „-1”.

  • Interwał między kolejnymi próbami (w sekundach): Użyj licznika, aby wybrać lub wpisać liczbę sekund oczekiwania przez system pomiędzy kolejnymi próbami wykonania zadania.

    Prawidłowe wartości są z zakresu 0–2000.

• Zwiększ interwał ponawiania prób w przypadku długich przestojów: Zaznacz to pole wyboru, aby zwiększyć interwał ponownych prób w przypadku długich przestojów. Gdy ta opcja jest włączona, odstęp między kolejnymi próbami jest podwajany aż do osiągnięcia Maksymalnego interwału ponownych prób (i próby są kontynuowane zgodnie z określonym maksymalnym interwałem).
  • Maksymalny interwał ponownych prób (w sekundach): Użyj licznika, aby wybrać, lub wpisz liczbę sekund oczekiwania pomiędzy kolejnymi próbami wykonania zadania, gdy włączona jest opcja Zwiększ interwał ponawiania prób w przypadku długich przestojów. Prawidłowe wartości są z zakresu 0–2000.

Dostrajanie przetwarzania zmian

Dostrajanie odciążania transakcji

• Odciąż transakcje w toku na dysku, jeśli:

  Zadanie replikacji zwykle przechowuje dane transakcji w pamięci, dopóki nie zostaną w pełni zatwierdzone w źródle i/lub celu. Transakcje, które są większe niż przydzielona pamięć lub które nie zostaną zatwierdzone w określonym limicie czasu, zostaną jednak przeniesione na dysk.

  • Rozmiar pamięci transakcji przekracza (MB): maksymalny rozmiar, jaki wszystkie transakcje mogą zajmować w pamięci przed przeniesieniem na dysk. Wartością domyślną jest 1024.
  • Czas trwania transakcji przekracza (w sekundach): maksymalny czas, przez który każda transakcja może pozostać w pamięci przed przeniesieniem na dysk. Czas trwania jest liczony od momentu rozpoczęcia rejestrowania transakcji przez zadanie replikacji. Wartością domyślną jest 60.

Strojenie wsadowe

Poniższe ustawienia są dostępne tylko wtedy, gdy tryb stosowania jest ustawiony na Optymalizacja pod kątem partii.

• Zastosuj zmiany wsadowe w interwałach:

• Większy niż: minimalny czas oczekiwania pomiędzy każdym zastosowaniem zmian wsadowych. Wartością domyślną jest 1.

  Zwiększanie wartości dłużej niż zmniejsza częstotliwość stosowania zmian w miejscu docelowym, jednocześnie zwiększając rozmiar partii. Może to poprawić wydajność podczas stosowania zmian do docelowych baz danych zoptymalizowanych pod kątem przetwarzania dużych partii.

• Mniejszy niż: maksymalny czas oczekiwania pomiędzy każdym zastosowaniem zmian wsadowych (przed zadeklarowaniem limitu czasu). Innymi słowy jest to maksymalne akceptowalne opóźnienie. Wartością domyślną jest 30. Wartość ta określa maksymalny czas oczekiwania przed zastosowaniem zmian po osiągnięciu wartości Dłużej niż.

• Wymuś zastosowanie partii, gdy pamięć przetwarzania przekroczy (MB): maksymalna ilość pamięci używana do wstępnego przetwarzania w trybie Stosowanie zoptymalizowane pod kątem partii. Wartością domyślną jest 500.

  Aby ustawić maksymalny rozmiar partii, ustaw tę wartość na największą ilość pamięci, jaką możesz przydzielić zadaniu replikacji. Może to poprawić wydajność podczas stosowania zmian do docelowych baz danych zoptymalizowanych pod kątem przetwarzania dużych partii.

Interwał

• Odczytuj zmiany co (w minutach)

  Ustaw interwał w minutach między odczytami zmian ze źródła. Prawidłowy zakres wynosi od 1 do 1440.

  Informacja

  Ta opcja jest dostępna tylko wtedy, gdy:

  • Używanie funkcji Brama danych ruchu danych
  • Umieszczanie danych ze źródeł aplikacji SaaS
  • Zadanie jest zdefiniowane przy użyciu metody aktualizacji Przechwytywanie zmian danych (CDC)

Różnie ustawienia strojenia

Rozmiar pamięci podręcznej instrukcji (liczba instrukcji)

Maksymalna liczba przygotowanych instrukcji do przechowywania na serwerze w celu późniejszego wykonania (podczas stosowania zmian w miejscu docelowym). Wartością domyślną jest 50. Maksymalna liczba to 200.

Przechowuj dane odzyskiwania zadania w docelowej bazie danych

Wybierz tę opcję, aby zapisać informacje dotyczące odzyskiwania specyficzne dla zadania w docelowej bazie danych. Gdy ta opcja jest zaznaczona, zadanie replikacji tworzy tabelę o nazwie attrep_txn_state w docelowej bazie danych. Ta tabela zawiera dane transakcji, których można użyć do odzyskania zadania w przypadku uszkodzenia plików w folderze Data bramy Brama danych ruchu danych lub awarii urządzenia pamięci masowej zawierającego folder Data.

Zastosuj zmiany za pomocą SQL MERGE

Jeśli ta opcja nie zostanie wybrana, zadanie replikacji wykona oddzielne zbiorcze instrukcje INSERT, UPDATE i DELETE dla każdego typu zmian w tabeli Net Changes.

Chociaż ta metoda jest bardzo efektywna, włączenie opcji Zastosuj zmiany za pomocą SQL MERGE jest jeszcze bardziej wydajne podczas pracy z punktami końcowymi obsługującymi tę opcję.

Dzieje się tak z następujących powodów:

• Zmniejsza liczbę instrukcji SQL uruchamianych na tabelę z trzech do jednej. Większość operacji UPDATE w dużych, niezmiennych, opartych na plikach bazach danych w chmurze (takich jak Google Cloud BigQuery) wiąże się z ponownym zapisywaniem plików, których to dotyczy. Przy takich operacjach redukcja instrukcji SQL na tabelę z trzech do jednej jest bardzo znacząca.
• Docelowa baza danych musi tylko raz przeskanować tabelę Net Changes, co znacznie ogranicza liczbę operacji wejścia/wyjścia.

Optymalizacja operacji INSERT

Jeśli wybrano opcję Zastosuj zmiany za pomocą SQL MERGE wraz z opcją Optymalizuj operacje INSERT, a zmiany składają się wyłącznie z INSERT, zadanie replikacji wykona operacje INSERT, zamiast używać SQL MERGE. Chociaż zwykle poprawia to wydajność, a tym samym zmniejsza koszty, może również powodować powielanie rekordów w docelowej bazie danych.

Stosowanie transakcyjne

Poniższe ustawienia są dostępne tylko wtedy, gdy tryb stosowania jest ustawiony na Transakcyjny.

• Minimalna liczba zmian na transakcję: minimalna liczba zmian, które należy uwzględnić w każdej transakcji. Wartością domyślną jest 1000.

  InformacjaZadanie replikacji stosuje zmiany do miejsca docelowego, gdy liczba zmian jest równa lub większa od Minimalnej liczby zmian na transakcję LUB po osiągnięciu limitu czasu partii (patrz poniżej) w zależności od tego, co nastąpi wcześniej. Ponieważ częstotliwość zmian stosowanych do miejsca docelowego jest kontrolowana przez te dwa parametry, zmiany w rekordach źródłowych mogą nie zostać natychmiast odzwierciedlone w rekordach docelowych.
• Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach): maksymalny czas gromadzenia transakcji w partiach przed zadeklarowaniem upłynięcia limitu czasu. Wartością domyślną jest 1.

Ewolucja schematu

Wybierz sposób obsługi następujących typów zmian DDL w schemacie. Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie. Poniższa tabela opisuje, które działania są dostępne w przypadku obsługiwanych zmian DDL.

Podstawianie znaków

Możesz zastąpić lub usunąć znaki źródłowe w docelowej bazie danych i/lub znaki źródłowe, które nie są obsługiwane przez wybrany zestaw znaków.

Zastępowanie lub usuwanie znaków źródłowych

Użyj tabeli Zastąp lub usuń znaki źródłowe, aby zdefiniować zamienniki dla określonych znaków źródłowych. Może to być przydatne na przykład wtedy, gdy reprezentacja znaku w Unicode jest inna na platformie źródłowej i docelowej. Na przykład w systemie Linux znak minus w zestawie znaków Shift_JIS jest reprezentowany jako U+2212, ale w systemie Windows jest reprezentowany jako U+FF0D.

Zastępowanie lub usuwanie znaków źródłowych nieobsługiwanych przez wybrany zestaw znaków

Użyj tabeli Nieobsługiwane znaki źródłowe według zestawu znaków, aby zdefiniować pojedynczy znak zastępczy dla wszystkich znaków nieobsługiwanych przez wybrany zestaw znaków.

Więcej opcji

Te opcje nie są widoczne w interfejsie, ponieważ dotyczą tylko określonych wersji lub środowisk. W związku z tym nie należy ustawiać tych opcji, chyba że zostanie to wyraźnie zalecone przez Pomoc techniczną Qlik lub dokumentację produktu.

Aby ustawić opcję, po prostu skopiuj ją do pola Dodaj nazwę cechy i kliknij Dodaj. Następnie ustaw wartość lub włącz opcję zgodnie z otrzymaną instrukcją.

Planowanie zadań podczas pracy bez Brama danych ruchu danych

Brama Brama danych ruchu danych nie jest obsługiwana w przypadku subskrypcji Qlik Talend Cloud Starter i jest opcjonalna w przypadku pozostałych poziomów subskrypcji. Podczas pracy bez Brama danych ruchu danych przechwytywanie zmian danych (CDC) w czasie prawie rzeczywistym nie jest obsługiwane. Aktualność danych w miejscu docelowym można zachować, wyznaczając interwał planowania. Harmonogram decyduje o tym, jak często docelowe zestawy danych będą aktualizowane zmianami w źródłowych zestawach danych. Podczas gdy harmonogram decyduje o częstotliwości aktualizacji, typ zestawu danych decyduje o metodzie aktualizacji. Jeśli źródłowe zestawy danych obsługują CDC, tylko zmiany w danych źródłowych zostaną zreplikowane i zastosowane w odpowiednich tabelach docelowych. Jeśli źródłowe zestawy danych nie obsługują CDC (na przykład widoki), zmiany zostaną zastosowane przez ponowne załadowanie wszystkich danych źródłowych do odpowiednich tabel docelowych. Jeśli niektóre źródłowe zestawy danych obsługują CDC, a inne nie, zostaną utworzone dwa osobne zadania podrzędne (zakładając, że wybrano opcje replikacji Zastosuj zmiany lub Zapisz zmiany): jedno do przeładowania zestawów danych, które nie obsługują CDC, a drugie do przechwycenia zmian w zestawach danych, które obsługują CDC. W takim przypadku w celu zapewnienia spójności danych zdecydowanie zaleca się ustawienie tego samego harmonogramu dla obu zadań podrzędnych.

Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

Aby zmienić harmonogram:

1. Otwórz projekt, a następnie wykonaj jedną z następujących czynności:

   • W widoku zadań kliknij na zadaniu replikacji i wybierz Planowanie.
   • W widoku potoku kliknij na zadaniu replikacji i wybierz Planowanie.
   • Otwórz zadanie replikacji i kliknij przycisk Planowanie na pasku zadań.
2. Zmień ustawienia harmonogramu odpowiednio do potrzeb, a następnie kliknij OK.