Ustawienia replikacji

Możesz skonfigurować ustawienia dla zadania replikacji danych.

• Otwórz zadanie replikacji i kliknij Ustawienia na pasku narzędzi.

Otworzy się okno dialogowe Ustawienia: <Nazwa-zadania>. Dostępne ustawienia opisano poniżej.

Ogólne

Na tej karcie można zmienić tryb replikacji, ustawienia obszaru przejściowego (jeśli są dostępne), tryb stosowania zmian w obiekcie docelowym oraz ustawienia publikacji.

Tryb replikacji

Dostępne są następujące tryby replikacji:

• Pełne ładowanie: Ładuje dane z wybranych tabel źródłowych na platformę docelową i w razie potrzeby tworzy tabele docelowe. Pełne ładowanie następuje automatycznie w momencie rozpoczęcia zadania, ale w razie potrzeby można je wykonać także ręcznie. Ręczne pełne ładowanie byłoby wymagane na przykład w przypadku konieczności replikacji aktualizacji widoków (które nie są przechwytywane podczas CDC) lub w przypadku replikacji ze źródła danych, które nie obsługuje CDC.

• Zastosuj zmiany: Zapewnia aktualność tabel docelowych względem wszelkich zmian wprowadzonych w tabelach źródłowych.

• Zapisz zmiany: Przechowuje zmiany w tabelach źródłowych w tabelach zmian (po jednej na tabelę źródłową).

  Więcej informacji zawiera temat Przechowuj zmiany.

Podczas pracy z bramą Brama danych ruchu danych zmiany są przechwytywane ze źródła w czasie niemal rzeczywistym. Podczas pracy bez bramy Brama danych ruchu danych (na przykład w ramach subskrypcji Qlik Talend Cloud Starter lub po wybraniu ustawienia Brak) zmiany są przechwytywane zgodnie z ustawieniami harmonogramu. Więcej informacji zawiera temat Ustawienia replikacji.

Jeśli wybierzesz Przechowuj zmiany lub Zastosuj zmiany, a dane źródłowe zawierają tabele, które nie obsługują CDC, lub widoki, zostaną utworzone dwa potoki danych. Jeden potok dla tabel obsługujących CDC i drugi potok dla wszystkich innych tabel i widoków, które obsługują tylko Pełne ładowanie.

Metoda ładowania

Podczas replikacji do Snowflake można wybrać jedną z następujących metod ładowania:

• Ładowanie zbiorcze (domyślnie)

  Jeśli wybierzesz Ładowanie zbiorcze, będziesz mógł dostosować parametry ładowania na karcie Przesyłanie danych.

• Snowpipe Streaming

  Informacja

  Opcja Snowpipe Streaming będzie dostępna do wyboru tylko wtedy, gdy spełnione zostaną następujące warunki:

  • Tryb replikacji Przechowuj zmiany jest włączony, bez opcji Zastosuj zmiany.
  • Mechanizm uwierzytelniania w łączniku Snowflake jest ustawiony na Para kluczy.
  • Jeśli używasz Brama danych ruchu danych, wymagana jest wersja 2024.11.45 lub nowsza.

  Jeśli wybierzesz Snowpipe Streaming, upewnij się, że znasz ograniczenia i uwagi dotyczące korzystania z tej metody. Dodatkowo, jeśli wybierzesz Snowpipe Streaming, a następnie włączysz tryb replikacji Zastosuj zmiany lub wyłączysz Przechowuj zmiany, metoda ładowania zostanie automatycznie przełączona z powrotem na Ładowanie zbiorcze.

Główne powody, dla których warto wybrać Snowpipe Streaming zamiast Ładowania zbiorczego, to: 

• Mniejsze koszty: Ponieważ Snowpipe Streaming nie korzysta z hurtowni Snowflake, koszty operacyjne powinny być znacznie niższe, chociaż będzie to zależeć od konkretnego przypadku użycia.

• Zmniejszone opóźnienie: Ponieważ dane są przesyłane strumieniowo bezpośrednio do tabel docelowych (a nie przez obszar przejściowy), replikacja ze źródła danych do obiektu docelowego powinna być szybsza.

Łączenie z obszarem przejściowym

W przypadku replikacji do hurtowni danych wymienionych poniżej należy ustawić obszar tymczasowy. Dane są przetwarzane i przygotowywane w obszarze tymczasowym przed przesłaniem do hurtowni danych.

• Amazon Redshift
• Microsoft Fabric
• Databricks

Wybierz istniejący obszar tymczasowy lub kliknij opcję Utwórz nowy, aby zdefiniować nowy obszar przejściowy, i postępuj zgodnie z instrukcjami w temacie Łączenie z pamięcią w chmurze.

Aby edytować ustawienia połączenia, kliknij Edytuj. Aby przetestować połączenie (zalecane), kliknij Testuj połączenie.

Aby uzyskać informacje o tym, które obszary tymczasowe są obsługiwane w których hurtowniach danych, zobacz kolumnę Obsługiwane jako obszar przejściowy w temacie Zastosowania platformy docelowej i obsługiwane wersje.

Tryb stosowania zmian

Zmiany są stosowane w tabelach docelowych przy użyciu jednej z następujących metod:

• Optymalizacja pod kątem partii: jest to ustawienie domyślne. Po wybraniu tej opcji zmiany są stosowane partiami. Następuje działanie przed przetwarzaniem mające na celu jak najefektywniejsze pogrupowanie transakcji w partie.
• Stosowanie transakcyjne: Wybierz tę opcję, aby zastosować każdą transakcję indywidualnie, w kolejności zatwierdzania. W tym przypadku w odniesieniu do wszystkich tabel jest zapewniana pełna integralność referencyjna.

Ustawienia publikacji

• Publikuj w katalogu

  Wybierz tę opcję, aby opublikować tę wersję danych w Katalogu jako zestaw danych. Zawartość katalogu zostanie zaktualizowana przy następnym przygotowaniu tego zadania.

  Więcej informacji o katalogu można znaleźć w sekcji Rozumienie danych za pomocą narzędzi katalogu.

Ustawienia serwera proxy podczas korzystania z Brama danych ruchu danych

• Podczas korzystania z Data Movement gateway łącz się przez serwer proxy z

  Podczas korzystania z Brama danych ruchu danych można połączyć się z platformą docelową i platformą przejściową (obszarem) za pośrednictwem serwera proxy.

  Więcej informacji na temat konfigurowania Brama danych ruchu danych do korzystania z serwera proxy można znaleźć w sekcji Konfigurowanie dzierżawy Qlik Cloud i serwera proxy.

  • Platforma docelowa

    InformacjaDostępne w przypadku korzystania ze Snowflake i Databricks.

  • Platforma przejściowa

    InformacjaDostępne w przypadku korzystania z Google BigQuery, Amazon Redshift, Microsoft Fabric i Databricks.

Przesyłanie danych

Ta karta będzie wyświetlana tylko podczas replikacji do hurtowni danych lub obiektu docelowego Kafka. Ponadto ustawienia na tej karcie będą się różnić w zależności od wybranego obiektu docelowego.

Dotyczy wszystkich docelowych hurtowni danych

Maksymalny rozmiar pliku

Maksymalny rozmiar, jaki może osiągnąć plik przed zamknięciem. Mniejsze pliki mogą być przesyłane szybciej (w zależności od sieci), a jeśli są używane w połączeniu z opcją wykonywania równoległego, może to poprawić wydajność. Ogólnie jednak zaśmiecanie bazy danych małymi plikami uważa się za złą praktykę.

Dotyczy tylko obiektu docelowego Snowflake

Na karcie Ogólne można wybrać, czy dane mają być ładowane do Snowflake przy użyciu Ładowania zbiorczego czy Snowpipe Streaming. Po wybraniu opcji Snowpipe Streaming karta Przesyłanie danych nie będzie wyświetlana. Po wybraniu opcji Ładowanie zbiorcze dostępne będą następujące ustawienia:

• Maksymalny rozmiar pliku (MB): Dotyczy początkowego pełnego ładowania i CDC. Maksymalny rozmiar, jaki może osiągnąć plik przed załadowaniem do obiektu docelowego. W przypadku problemów z wydajnością spróbuj dostosować ten parametr.

• Liczba plików do załadowania w partii: Dotyczy tylko początkowego pełnego ładowania. Liczba plików do załadowania w jednej partii. W przypadku problemów z wydajnością spróbuj dostosować ten parametr.

Opis metod ładowania Ładowanie zbiorcze i Snowpipe Streaming można znaleźć w sekcji Ogólne.

Dotyczy tylko obiektu docelowego Kafka

Właściwości komunikatu

Kompresja

Opcjonalnie wybierz jedną z dostępnych metod kompresji (Snappy lub Gzip). Wartość domyślna to Brak.

Publikowanie komunikatów o danych

Wybierz jedną z następujących opcji Publikuj dane w:

• Określony temat: Publikuje dane w jednym temacie. Wpisz nazwę tematu lub użyj przycisku przeglądania, aby wybrać żądany temat.

• Oddzielny temat dla każdej tabeli: Publikuje dane w wielu tematach odpowiadających nazwom tabel źródłowych.

  Nazwa docelowa topic składa się z nazwy schematu źródłowego i nazwy tabeli źródłowej, oddzielonych kropką (na przykład, dbo.Employees). Format nazwy docelowej topic jest ważny, ponieważ będziesz musiał przygotować te topic z wyprzedzeniem.

Informacje na temat zastępowania tego ustawienia na poziomie zestawu danych można znaleźć w sekcji Zastępowanie ustawień zadania dla poszczególnych zestawów danych podczas publikowania w usłudze Kafka

Klucz komunikatu

Wybierz jedną z dostępnych opcji.

• Kolumny klucza podstawowego: Dla każdego komunikatu klucz komunikatu będzie zawierał wartość kolumny klucza podstawowego.

  Gdy jako Strategię partycjonowania wybrano Według klucza komunikatu , komunikaty składające się z tej samej wartości klucza podstawowego zostaną zapisane na tej samej partycji.

• Schemat i nazwa tabeli: Dla każdego komunikatu klucz komunikatu będzie zawierał kombinację schematu i nazwy tabeli (na przykład dbo+Employees).

  Gdy jako Strategię partycjonowania wybrano Według klucza komunikatu, komunikaty składające się z tego samego schematu i nazwy tabeli zostaną zapisane na tej samej partycji.

• Brak: Tworzy komunikaty bez klucza komunikatu.

Informacje na temat zastępowania tego ustawienia na poziomie zestawu danych można znaleźć w sekcji Zastępowanie ustawień zadania dla poszczególnych zestawów danych podczas publikowania w usłudze Kafka

Strategia partycjonowania

Wybierz Losowo lub Według klucza komunikatu. Jeśli wybierzesz Losowo, każdy komunikat zostanie zapisany na losowo wybranej partycji. Jeśli wybierzesz Według klucza komunikatu, komunikaty będą zapisywane na partycjach na podstawie wybranego Klucza komunikatu (opisanego powyżej).

Publikowanie komunikatów o metadanych

Strategia nazwy podmiotu

Wybierz jedną z dostępnych strategii nazw podmiotów.

• Schemat i nazwa tabeli (domyślnie)
• Nazwa tematu
• Nazwa rekordu
• Nazwa tematu i rekordu

Więcej informacji na temat strategii nazw podmiotów Confluent można znaleźć w sekcji Strategia nazwy podmiotu

Tryb zgodności podmiotu

Wybierz jeden z następujących trybów zgodności z listy rozwijanej Tryb zgodności podmiotu:

• Użyj wartości domyślnych rejestru schematów: Pobiera poziom zgodności z konfiguracji serwera rejestru schematów.

• Wsteczna — tylko najnowszy schemat: Nowe schematy mogą odczytywać odpowiednie dane i dane wyprodukowane tylko przez najnowszy zarejestrowany schemat.

• Wsteczna przechodnia — wszystkie poprzednie schematy: Nowe schematy mogą odczytywać dane wyprodukowane przez wszystkie wcześniej zarejestrowane schematy.

• W przód — tylko najnowszy schemat: Najnowszy zarejestrowany schemat może odczytywać dane wyprodukowane przez nowy schemat.

• W przód przechodnia — wszystkie poprzednie schematy: Wszystkie wcześniej zarejestrowane schematy mogą odczytywać dane wyprodukowane przez nowy schemat.

• Pełna — tylko najnowszy schemat: Nowy schemat jest zgodny wstecz i w przód z najnowszym zarejestrowanym schematem.

• Pełna przechodnia — wszystkie poprzednie schematy: Nowy schemat jest zgodny wstecz i w przód ze wszystkimi wcześniej zarejestrowanymi schematami.

• Brak

Użyj serwera proxy, aby połączyć się z rejestrem schematów Confluent

Włącz, jeśli Brama danych ruchu danych jest skonfigurowany do korzystania z serwera proxy.

Atrybuty komunikatu

Można określić niestandardowe atrybuty komunikatu, które zastąpią domyślne atrybuty komunikatu. Jest to przydatne, jeśli aplikacja konsumencka musi przetworzyć komunikat w określonym formacie.

Niestandardowe atrybuty komunikatu można zdefiniować zarówno na poziomie zadania, jak i tabeli. Gdy atrybuty są zdefiniowane zarówno na poziomie zadania, jak i tabeli, atrybuty komunikatu zdefiniowane dla tabeli będą miały pierwszeństwo przed atrybutami zdefiniowanymi dla zadania.

Informacje na temat zastępowania atrybutów komunikatu na poziomie zestawu danych można znaleźć w sekcji Zastępowanie ustawień zadania dla poszczególnych zestawów danych podczas publikowania w usłudze Kafka

Ogólne zasady i wytyczne dotyczące użytkowania

Podczas definiowania niestandardowego komunikatu ważne jest, aby wziąć pod uwagę zasady i wytyczne dotyczące użytkowania wymienione poniżej.

Nazwy sekcji

Obowiązują następujące zasady nazewnictwa:

• Nazwy sekcji muszą zaczynać się od znaków a-z, A-Z lub _ (podkreślenie), a po nich mogą następować dowolne z następujących znaków: a-z, A-Z, 0-9, _
• Z wyjątkiem sekcji Nazwa rekordu i Nazwa klucza (które nie kończą się ukośnikiem), usunięcie ukośnika z nazw sekcji spłaszczy hierarchię powiązanej sekcji (patrz Ukośniki poniżej).
• Wszystkie nazwy sekcji z wyjątkiem Nazwa rekordu i Nazwa klucza można usunąć (patrz Usuwanie poniżej)

• Nazwy sekcji Nazwa danych i Uwzględnij rekord Przed-danymi nie mogą zostać usunięte jednocześnie

• Nazwy sekcji Nazwa danych i Uwzględnij rekord Przed-danymi nie mogą być takie same

Ukośniki

Niektóre nazwy sekcji w interfejsie użytkownika kończą się ukośnikiem (np. beforeData/). Celem ukośnika jest utrzymanie hierarchii różnych sekcji w komunikacie. Jeśli ukośnik zostanie usunięty, nastąpi:

• Struktura hierarchiczna tej sekcji zostanie spłaszczona, co spowoduje usunięcie nazwy sekcji z komunikatu
• Nazwa sekcji zostanie dodana jako prefiks do rzeczywistych metadanych, bezpośrednio lub przy użyciu znaku separatora (np. podkreślenia), który został dołączony do nazwy

Przykład komunikatu o danych, gdy headers/ jest określone z ukośnikiem:

		"message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,
		        "headers": {
			"operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

Przykład komunikatu o danych, gdy headers_ jest określone z podkreśleniem zamiast ukośnika:

		"message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,                     
                       "headers_operation": "INSERT",
			"headers_changeSequence": "2018100811484900000000233",

Usuwanie

Usunięcie nazwy sekcji z komunikatu spłaszczy strukturę hierarchiczną tej sekcji. Spowoduje to, że wszystkie dane tej sekcji pojawią się bezpośrednio pod zawartością poprzedniej sekcji.

Przykład komunikatu o danych z nazwą sekcji headers :

	        "message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
		        "headers": {
			"operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

Przykład komunikatu o danych bez nazwy sekcji headers :

	        "message":{
		        "data":{
			      "COL1": "159",
			      "COL2": "159"
                       },
                       "beforeData": null,                   
                       "operation": "INSERT",
			"changeSequence": "2018100811484900000000233",

Zmienne

Możesz dodawać zmienne do nazw, klikając przycisk na końcu wiersza. Dostępne są następujące zmienne:

• SERVER_NAME — nazwa hosta serwera Brama danych ruchu danych
• TARGET_TABLE_NAME — nazwa tabeli
• TARGET_TABLE_OWNER — właściciel tabeli
• TASK_NAME — nazwa zadania danych

Definiowanie niestandardowych atrybutów komunikatu

Aby zdefiniować niestandardowy format komunikatu, włącz opcję Użyj ustawień niestandardowych i skonfiguruj opcje zgodnie z opisem w tabeli poniżej.

Aby powrócić do domyślnych atrybutów komunikatu, wyłącz opcję Użyj ustawień niestandardowych.

Dodatkowe ustawienia

• Maksymalny rozmiar komunikatu

  W polu Maksymalny rozmiar komunikatu określ maksymalny rozmiar komunikatów, do których odbierania skonfigurowano brokery (message.max.bytes). Zadanie danych nie będzie wysyłać komunikatów większych niż maksymalny rozmiar.

Metadane

Podstawowe

• Schemat tabeli docelowej

  Schemat w obiekcie docelowym, do którego będą replikowane tabele źródłowe, jeśli nie chcesz używać schematu tabeli źródłowej (lub jeśli w źródłowej bazie danych nie ma schematu).

  InformacjaPodczas replikacji do obiektu docelowego Oracle domyślnym schematem tabeli docelowej jest „system”. Należy również pamiętać, że jeśli to pole pozostanie puste (w takim przypadku zostanie użyty schemat źródłowy), należy upewnić się, że schemat źródłowy już istnieje w obiekcie docelowym. W przeciwnym razie zadanie zakończy się niepowodzeniem.
  InformacjaMaksymalna dozwolona długość nazwy schematu to 128 znaków.

Mapowanie kolumn JSON

Mapowanie zgodnych źródłowych kolumn JSON na kolumny JSON w miejscu docelowym

Po wybraniu tej opcji kolumny JSON w źródle zostaną automatycznie zamapowane na kolumny JSON w miejscu docelowym.

Stan i widoczność tej opcji są określone przez następujące czynniki:

• Nowe zadania: Ta opcja zostanie domyślnie włączona, jeśli zarówno źródło, jak i cel obsługują typ danych JSON.

• Istniejące zadania: Ta opcja będzie domyślnie wyłączona, nawet jeśli zarówno źródło, jak i cel obsługują typ danych JSON. Ma to na celu zachowanie kompatybilności wstecznej z późniejszymi procesami – takimi jak transformacje – które oczekują, że dane docelowe będą w formacie STRING (co jest dotychczasowym zachowaniem). Możesz pozostawić tę opcję wyłączoną lub edytować procesy podrzędne, aby były zgodne z formatem JSON, a następnie włączyć tę opcję.

• Nowe i istniejące zadania: Jeśli tylko źródło obsługuje typ danych JSON, ta opcja nie będzie widoczna. Jeśli obsługa JSON zostanie dodana do elementu docelowego na późniejszym etapie, opcja stanie się widoczna, ale pozostanie wyłączona. Ma to na celu zachowanie wstecznej zgodności z procesami niższego strumienia – takimi jak transformacje – które oczekują, że dane docelowe będą w formacie STRING (co jest starszym zachowaniem).

Ustawienia LOB

Dostępne ustawienia LOB różnią się w zależności od wybranego obiektu docelowego replikacji. Ponieważ docelowe hurtownie danych nie obsługują nieograniczonych rozmiarów kolumn LOB, ta opcja nie będzie dostępna podczas replikacji do hurtowni danych.

Ustawienia LOB dla obiektów docelowych, które nie są hurtowniami danych

• Nie uwzględniaj kolumn LOB: Wybierz tę opcję, jeśli nie chcesz, aby źródłowe kolumny LOB były replikowane.

• Ogranicz rozmiar kolumny LOB do (KB): Jest to ustawienie domyślne. Wybierz tę opcję, jeśli musisz replikować tylko małe obiekty LOB lub jeśli platforma docelowa nie obsługuje nieograniczonego rozmiaru LOB. Maksymalna dozwolona wartość dla tego pola to 102400 KB (100 MB).

  Podczas replikacji małych obiektów LOB ta opcja jest bardziej wydajna niż opcja Nie ograniczaj rozmiaru kolumny LOB, ponieważ obiekty LOB są replikowane „wbudowane”, a nie poprzez „wyszukiwanie” ze źródła. Podczas przetwarzania zmian małe obiekty LOB są zwykle replikowane poprzez „wyszukiwanie” ze źródła.

  Limit dotyczy liczby bajtów LOB odczytywanych ze źródłowego punktu końcowego. W przypadku kolumn BLOB docelowy rozmiar BLOB będzie dokładnie zgodny z określonym limitem. W przypadku kolumn CLOB i NCLOB docelowy rozmiar LOB może różnić się od określonego limitu, jeśli źródłowy i docelowy obiekt LOB nie mają tego samego zestawu znaków. W takim przypadku zadanie danych przeprowadzi konwersję zestawu znaków, co może spowodować rozbieżność między źródłowym i docelowym rozmiarem LOB.

  Ponieważ wartość Ogranicz rozmiar LOB do jest wyrażona w bajtach, rozmiar należy obliczyć według następujących wzorów:

  • BLOB: Długość największego obiektu LOB.
  • NCLOB: Długość najdłuższego TEKSTU w znakach pomnożona przez dwa (ponieważ każdy znak jest traktowany jako dwubajtowy). Jeśli dane zawierają znaki 4-bajtowe, pomnóż przez cztery.
  • CLOB: Długość najdłuższego TEKSTU w znakach (ponieważ każdy znak jest traktowany jako znak UTF8). Jeśli dane zawierają znaki 4-bajtowe, pomnóż przez dwa.
  Informacja

  • Wszelkie obiekty LOB większe niż określony rozmiar zostaną obcięte.
  • Podczas przetwarzania zmian ze źródła Oracle wbudowane obiekty BLOB są replikowane jako wbudowane.
  • Zmiany tego ustawienia wpłyną na istniejące tabele dopiero po ich ponownym załadowaniu.

• Nie ograniczaj rozmiaru kolumny LOB: Po wybraniu tej opcji kolumny LOB będą replikowane niezależnie od rozmiaru.

  InformacjaReplikacja kolumn LOB może wpłynąć na wydajność. Jest to szczególnie prawdziwe w przypadku dużych kolumn LOB, które wymagają od zadania replikacji wykonania wyszukiwania w tabeli źródłowej w celu pobrania źródłowej wartości LOB.

  • Optymalizuj, gdy rozmiar LOB jest mniejszy niż: Wybierz tę opcję, gdy musisz replikować zarówno małe, jak i duże obiekty LOB, a większość obiektów LOB jest mała.

    Informacja

    Ta opcja jest obsługiwana tylko w przypadku następujących źródeł i obiektów docelowych:

    • Źródła: Oracle, Microsoft SQL server, MySQL, PostgreSQL i IBM DB2 for LUW

    • Obiekty docelowe: Oracle, Microsoft SQL Server, MySQL, PostgreSQL.

    Po wybraniu tej opcji podczas pełnego ładowania małe obiekty LOB będą replikowane jako „wbudowane” (co jest bardziej wydajne), a duże obiekty LOB będą replikowane poprzez wykonanie wyszukiwania w tabeli źródłowej. Jednak podczas przetwarzania zmian zarówno małe, jak i duże obiekty LOB będą replikowane poprzez wykonanie wyszukiwania w tabeli źródłowej.

    Informacja

    Po wybraniu tej opcji zadanie replikacji sprawdzi wszystkie rozmiary LOB, aby określić, które z nich przesłać jako „wbudowane”. Obiekty LOB większe niż określony rozmiar będą replikowane przy użyciu trybu pełnego LOB.

    Dlatego jeśli wiesz, że większość obiektów LOB jest większa niż określone ustawienie, lepiej jest użyć opcji Replikuj nieograniczone kolumny LOB.

  • Rozmiar fragmentu (KB): Opcjonalnie zmień rozmiar fragmentów LOB, które mają być używane podczas replikacji danych do obiektu docelowego. Domyślny rozmiar fragmentu powinien wystarczyć w większości przypadków, ale w przypadku problemów z wydajnością dostosowanie rozmiaru może poprawić wydajność.

    Informacja

    W przypadku niektórych baz danych walidacja typu danych następuje podczas wstawiania lub aktualizowania danych. W takich przypadkach replikacja ustrukturyzowanych typów danych (np. XML, JSON, GEOGRAPHY itp.) może się nie powieść, jeśli dane są większe niż określony rozmiar fragmentu.

Ustawienia LOB dla obsługiwanych docelowych hurtowni danych

• Uwzględnij kolumny LOB i ogranicz rozmiar kolumny do (KB):

  Możesz zdecydować się na uwzględnienie kolumn LOB w zadaniu i ustawić maksymalny rozmiar LOB. Obiekty LOB większe niż maksymalny rozmiar zostaną obcięte.

Zaawansowane

Ustawienia tabeli sterowania

• Schemat tabel sterowania: Określ schemat docelowy dla tabel sterowania, jeśli nie chcesz, aby były one tworzone w schemacie źródłowym (domyślnie) lub w schemacie docelowym.

  InformacjaMaksymalna dozwolona długość nazwy schematu to 128 znaków.
• Utwórz docelowe tabele sterowania w obszarze tabel: ​ Jeśli miejsce docelowe replikacji to Oracle, określ obszar tabel, w którym mają zostać utworzone docelowe tabele kontrolne. Jeśli w tym polu nie wprowadzisz żadnych informacji, tabele zostaną utworzone w domyślnym obszarze tabel w docelowej bazie danych.
• Utwórz indeksy dla docelowych tabel sterowania w obszarze tabel: Jeśli miejsce docelowe replikacji to Oracle, określ obszar tabel, w którym mają zostać utworzone indeksy tabel kontrolnych. Jeśli w tym polu nie wprowadzisz żadnych informacji, indeksy zostaną utworzone w tym samym obszarze tabel co tabele kontrolne.
• Przedział czasowy historii replikacji (minuty): Długość każdego przedziału czasowego w tabeli sterowania Historia replikacji. Wartość domyślna to 5 minut.

Wybór tabeli sterowania

Zastosuj zmiany

Te ustawienia są dostępne tylko wtedy, gdy włączony jest tryb replikacji Zastosuj zmiany.

Podstawowe

Wybierz typ zmian DDL do zastosowania w miejscu docelowym

Poniższe opcje określają, czy operacje DDL wykonywane na odpowiedniej tabeli źródłowej będą również wykonywane na tabeli docelowej.

• Usuń tabelę: Wybierz, aby usunąć tabelę docelową, gdy tabela źródłowa zostanie usunięta.

  InformacjaNieobsługiwane, gdy platformą docelową jest Kafka.

• Obetnij tabelę: Wybierz, aby obciąć tabelę docelową, gdy tabela źródłowa zostanie obcięta.

  InformacjaNieobsługiwane, gdy platformą docelową jest Microsoft Fabric.

• Zmień tabelę: Wybierz, aby zmienić tabelę docelową, gdy tabela źródłowa zostanie zmieniona.

  InformacjaZmiana nazwy tabeli nie jest obsługiwana, gdy platformą docelową jest Kafka.

Dostrajanie przetwarzania zmian

• Zastosuj zmiany wsadowe do wielu tabel jednocześnie: Wybranie tej opcji może poprawić wydajność podczas stosowania zmian z wielu tabel źródłowych. 

  Informacja

  Ta opcja jest obsługiwana tylko wtedy, gdy:

  • Opcja Tryb stosowania zmian jest ustawiona na Zoptymalizowany pod kątem przetwarzania wsadowego. Więcej informacji można znaleźć w sekcji Ustawienia replikacji.
  • Celami replikacji nie są MySQL, PostgreSQL, Oracle i Google BigQuery.

  • Maksymalna liczba tabel: Maksymalna liczba tabel, do których można jednocześnie zastosować zmiany wsadowe. Wartość domyślna to pięć, maksymalna to 50, a minimalna to dwie.

Gdy opcja Zastosuj zmiany wsadowe do wielu tabel jednocześnie jest włączona, obowiązują następujące ograniczenia:

• Domyślne zasady obsługi błędów zadania pozostaną niezmienione dla błędów Środowiskowych i Tabeli, ale wartości domyślne dla błędów Danych i błędów Konfliktów stosowania będą następujące:

  • Błędy danych:
    • Błędy obcięcia danych: Zapisz rekord w tabeli wyjątków
    • Inne błędy danych: Zawieś tabelę
  • Błędy konfliktów stosowania:
    • Usunięcia: Ignoruj rekord

    • Wstawienia: AKTUALIZUJ istniejący rekord docelowy

      InformacjaNie ma to znaczenia w przypadku celu Snowflake (ponieważ Snowflake nie obsługuje kluczy podstawowych).
    • Aktualizacje: Ignoruj rekord
  • Akcja eskalacji:
    • Opcja Akcja eskalacji zarówno dla błędów Danych, jak i Konfliktów stosowania nie jest obsługiwana.
  • Tabela kontrolna attrep_apply_exception nie jest obsługiwana.
  • W przypadku błędów danych:
    • Opcja Zapisz rekord w tabeli wyjątków jest dostępna tylko dla błędów obcięcia danych.
    • Nie ma opcji Ignoruj.
  • W przypadku konfliktów stosowania:
    • Opcja Zapisz rekord w tabeli wyjątków nie jest dostępna.
    • Opcja Ignoruj jest dostępna tylko dla konfliktu stosowania Nie znaleziono rekordu do zastosowania AKTUALIZACJI.

Zobacz również: Obsługa błędów.

• Ogranicz liczbę zmian stosowanych na instrukcję przetwarzania zmian do: Aby ograniczyć liczbę zmian stosowanych w pojedynczej instrukcji przetwarzania zmian, zaznacz to pole wyboru, a następnie opcjonalnie zmień wartość domyślną. Wartość domyślna to 10 000.

  InformacjaTa opcja jest obsługiwana tylko w przypadku następujących celów: MySQL, PostgreSQL, Oracle i Google BigQuery.

Zaawansowane

Zobacz Dostrajanie przetwarzania zmian.

Przechowuj zmiany

Te ustawienia są dostępne tylko wtedy, gdy włączony jest tryb replikacji Przechowuj zmiany.

Podstawowe

Opcje DDL

Wybierz jedną z poniższych opcji, aby określić sposób obsługi operacji DDL na tabelach źródłowych:

• Zastosuj do tabeli zmian: Operacje DDL na tabelach źródłowych (takie jak dodanie kolumny) zostaną zastosowane tylko do odpowiednich tabel zmian.
• Ignoruj: Wszystkie operacje DDL na tabelach źródłowych będą ignorowane.

Zaawansowane

Przy aktualizacji

Wybierz opcję Przechowuj obraz przed i po, aby przechowywać zarówno dane sprzed AKTUALIZACJI, jak i po AKTUALIZACJI. Jeśli opcja nie zostanie wybrana, przechowywane będą tylko dane po AKTUALIZACJI.

Tworzenie tabeli zmian

Poniższa sekcja opisuje opcje dostępne podczas przechowywania zmian w tabelach zmian.

• Sufiks: Określ ciąg znaków, który ma być używany jako sufiks dla wszystkich tabel zmian. Wartość domyślna to __ct. Nazwy tabel zmian to nazwa tabeli docelowej z dołączonym sufiksem. Na przykład, przy użyciu wartości domyślnej, nazwa tabeli zmian będzie brzmieć HR__ct.
• Prefiks kolumny nagłówka: Określ ciąg znaków, który ma być używany jako prefiks dla wszystkich kolumn nagłówka tabeli zmian. Wartość domyślna to header__. Na przykład, przy użyciu wartości domyślnej, kolumna nagłówka stream_position będzie nazywać się header__stream_position.

Więcej informacji o tabelach zmian można znaleźć w sekcji Używanie tabel zmian.

Jeśli tabela zmian istnieje w momencie rozpoczęcia pełnego ładowania: Wybierz jedną z poniższych opcji, aby określić sposób ładowania tabel zmian po rozpoczęciu replikacji pełnego ładowania:

• Usuń i utwórz tabelę zmian: Tabela jest usuwana, a na jej miejsce tworzona jest nowa tabela.

• Usuń stare zmiany i przechowuj nowe zmiany w istniejącej tabeli zmian: Dane są obcinane i dodawane bez wpływu na metadane tabeli.

  InformacjaNieobsługiwane, gdy platformą docelową jest Microsoft Fabric.
• Zachowaj stare zmiany i przechowuj nowe zmiany w istniejącej tabeli zmian: Dane i metadane istniejącej tabeli zmian nie ulegają zmianie.

Kolumny nagłówka tabeli

Kolumny nagłówka tabeli zmian zawierają informacje o operacjach przetwarzania zmian, takie jak typ operacji (np. INSERT), czas zatwierdzenia itp. Jeśli nie potrzebujesz wszystkich tych informacji, możesz skonfigurować zadanie przenoszenie tak, aby tworzyło tabele zmian z wybranymi kolumnami nagłówków (lub żadnymi), zmniejszając w ten sposób miejsce zajmowane przez nie w docelowej bazie danych.

Opis kolumn nagłówka można znaleźć w sekcji Tabele zmian.

Obsługa błędów

Podstawowe

Konflikty stosowania

Zduplikowany klucz podczas stosowania WSTAWIANIA: Wybierz akcję do podjęcia w przypadku konfliktu z operacją WSTAWIANIA.

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.

• AKTUALIZUJ istniejący rekord docelowy: Rekord docelowy z tym samym kluczem podstawowym co WSTAWIONY rekord źródłowy jest aktualizowany.

• Zapisz rekord w tabeli wyjątków (domyślnie): Zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.

• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem błędu są przenoszone do stanu błędu, a jej dane nie są replikowane.

• Zatrzymaj zadanie: Zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

Nie znaleziono rekordu do zastosowania AKTUALIZACJI: Wybierz akcję do podjęcia w przypadku konfliktu z operacją AKTUALIZACJI.

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.

• WSTAW brakujący rekord docelowy: Brakujący rekord docelowy zostanie wstawiony do tabeli docelowej. Gdy punktem końcowym źródła jest Oracle, wybranie tej opcji wymaga włączenia dodatkowego rejestrowania dla wszystkich kolumn tabeli źródłowej.

• Zapisz rekord w tabeli wyjątków (domyślnie): Zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.

• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem błędu są przenoszone do stanu błędu, a jej dane nie są replikowane.

• Zatrzymaj zadanie: Zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

Zaawansowane

Błędy danych

W przypadku błędów obcinania danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów nastąpi obcięcie. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zarejestruj rekord w tabeli wyjątków (domyślnie): Zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

W przypadku innych błędów danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów wystąpi błąd. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zarejestruj rekord w tabeli wyjątków (domyślnie): Zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę błędów, kiedy inne błędy danych osiągną (na tabelę): Zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów danych niespowodowanych przez obcięcia (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: Wybierz, co powinno się wydarzyć w przypadku eskalacji obsługi błędów. Należy pamiętać, że dostępne działania zależą od działania wybranego z listy rozwijanej W przypadku innych błędów danych opisanej powyżej.

• Zawieś tabelę (domyślnie): Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są przeniesione.

  Informacja

  Działanie różni się w zależności od trybu przetwarzania zmian:

  • W trybie stosowania transakcyjnego ostatnie zmiany nie będą przeniesione.

  • W trybie Stosowanie zoptymalizowane pod kątem partii może dojść do sytuacji, w której dane nie będą przeniesione wcale lub będą przeniesione tylko częściowo.

• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.
• Zarejestruj rekord w tabeli wyjątków: Zadanie jest kontynuowane, a rekord jest zapisywany w tabeli wyjątków.

Błędy tabeli

Liczba prób przed zwróceniem błędu tabeli

Ta opcja pozwala kontrolować, kiedy zasady obsługi błędów tabeli zostaną uruchomione. Po napotkaniu błędu tabeli tabela zostanie domyślnie zawieszona lub zadanie zostanie zatrzymane (zgodnie z wybranym działaniem) po trzech próbach. Czasami błąd tabeli może wystąpić z powodu planowanej konserwacji aplikacji SaaS. W takich przypadkach domyślna liczba ponownych prób może nie być wystarczająca, aby konserwacja została ukończona przed uruchomieniem polityki obsługi błędów tabeli. Zależy to również od interwału planowania zadania, ponieważ ponowna próba zostanie wykonana za każdym razem, gdy zadanie zostanie uruchomione. Jeżeli na przykład zaplanujesz zadanie uruchamiane co godzinę, a aplikacja SaaS zostanie przełączona w tryb offline w celu przeprowadzenia konserwacji w momencie rozpoczęcia wykonywania zadania, domyślne trzy próby pozwolą aplikacji SaaS być w trybie offline przez maksymalnie trzy godziny bez uruchamiania zasad obsługi błędów tabeli. Dłuższy przedział czasu konserwacji wymagałby zwiększenia liczby ponownych prób (lub zmiany harmonogramu), aby zapobiec uruchomieniu zasad obsługi błędów tabeli.

Podsumowując, jeśli wiesz, że aplikacja SaaS przechodzi okresową konserwację, najlepszą praktyką jest zwiększenie liczby ponownych prób zgodnie z harmonogramem, tak aby konserwacja mogła zostać zakończona bez uruchamiania polityki obsługi błędów tabeli.

W przypadku napotkania błędu tabeli: wybierz jedną z poniższych opcji z listy rozwijanej:

• Zawieś tabelę (domyślnie): zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane.
• Zatrzymaj zadanie: zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę błędów, kiedy inne błędy tabeli osiągną (na tabelę): zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów tabeli (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: zasada eskalacji błędów tabeli jest ustawiona na Zatrzymaj zadanie i nie można jej zmienić.

Konflikty stosowania

Nie znaleziono rekordu do zastosowania USUNIĘCIA: Wybierz akcję podejmowaną w przypadku konfliktu z operacją USUNIĘCIA.

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zapisz rekord w tabeli wyjątków: Zadanie jest kontynuowane, a rekord jest zapisywany w tabeli wyjątków.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem błędu są przenoszone do stanu błędu, a jej dane nie są replikowane.
• Zatrzymaj zadanie: Zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

Eskaluj obsługę błędów, gdy konflikty stosowania osiągną (na tabelę): Zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba konfliktów stosowania (na tabelę) osiągnie określoną wartość. Prawidłowe wartości to 1-10 000.

Akcja eskalacji: Wybierz, co powinno się stać w przypadku eskalacji obsługi błędów:

• Zapisz rekord w tabeli wyjątków (domyślnie): Zadanie jest kontynuowane, a błąd jest zapisywany w tabeli wyjątków.

• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem błędu są przenoszone do stanu błędu, a jej dane nie są replikowane.

  Informacja

  Zachowanie różni się w zależności od trybu przetwarzania zmian:

  • W trybie Stosowanie transakcyjne ostatnie zmiany nie zostaną zreplikowane

  • W trybie Stosowanie zoptymalizowane pod kątem przetwarzania wsadowego możliwa jest sytuacja, w której nie będzie replikacji danych lub replikacja danych będzie częściowa.

• Zatrzymaj zadanie: Zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

Błędy środowiskowe

• Maksymalna liczba ponownych prób: Wybierz tę opcję, a następnie określ maksymalną liczbę prób ponawiania zadania w razie wystąpienia błędu środowiskowego umożliwiającego odzyskanie. Po określonej liczbie ponownych prób zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

  Aby nigdy nie ponawiać wykonywania zadania, usuń zaznaczenie pola wyboru lub określ „0”.

  Aby ponawiać zadanie nieskończoną liczbę razy, określ „-1”.

  • Interwał między kolejnymi próbami (w sekundach): Użyj licznika, aby wybrać lub wpisać liczbę sekund oczekiwania przez system pomiędzy kolejnymi próbami wykonania zadania.

    Prawidłowe wartości są z zakresu 0–2000.

• Zwiększ interwał ponawiania prób w przypadku długich przestojów: Zaznacz to pole wyboru, aby zwiększyć interwał ponownych prób w przypadku długich przestojów. Gdy ta opcja jest włączona, odstęp między kolejnymi próbami jest podwajany aż do osiągnięcia Maksymalnego interwału ponownych prób (i próby są kontynuowane zgodnie z określonym maksymalnym interwałem).
  • Maksymalny interwał ponownych prób (w sekundach): Użyj licznika, aby wybrać, lub wpisz liczbę sekund oczekiwania pomiędzy kolejnymi próbami wykonania zadania, gdy włączona jest opcja Zwiększ interwał ponawiania prób w przypadku długich przestojów. Prawidłowe wartości są z zakresu 0–2000.

Dostrajanie przetwarzania zmian

Dostrajanie odciążania transakcji

• Odciąż transakcję w toku na dysk, jeśli:

  Zadanie replikacji zazwyczaj przechowuje dane transakcji w pamięci, dopóki nie zostaną one w pełni zatwierdzone w źródle i/lub celu. Jednak transakcje, które są większe niż przydzielona pamięć lub które nie zostaną zatwierdzone w określonym limicie czasu, zostaną odciążone na dysk.

  • Rozmiar pamięci transakcji przekracza (MB): Maksymalny rozmiar, jaki wszystkie transakcje mogą zajmować w pamięci przed odciążeniem na dysk. Wartość domyślna to 1024.
  • Czas trwania transakcji przekracza (sekundy): Maksymalny czas, przez jaki każda transakcja może pozostać w pamięci przed odciążeniem na dysk. Czas trwania jest obliczany od momentu, w którym zadanie replikacji rozpoczęło przechwytywanie transakcji. Wartość domyślna to 60.

Dostrajanie przetwarzania wsadowego

Ustawienia na tej karcie są określane przez tryb Zastosuj zmiany.

Ustawienia dostępne tylko wtedy, gdy "Tryb stosowania" to "Zoptymalizowany pod kątem przetwarzania wsadowego"

• Stosuj zmiany wsadowe w odstępach czasu:

• Większy niż: Minimalny czas oczekiwania między każdym zastosowaniem zmian wsadowych. Wartość domyślna to 1.

  Zwiększenie wartości Dłuższy niż zmniejsza częstotliwość stosowania zmian w celu, jednocześnie zwiększając rozmiar partii. Może to poprawić wydajność podczas stosowania zmian w docelowych bazach danych, które są zoptymalizowane pod kątem przetwarzania dużych partii.

• Mniejszy niż: Maksymalny czas oczekiwania między każdym zastosowaniem zmian wsadowych (przed zadeklarowaniem limitu czasu). Innymi słowy, maksymalne dopuszczalne opóźnienie. Wartość domyślna to 30. Ta wartość określa maksymalny czas oczekiwania przed zastosowaniem zmian po osiągnięciu wartości Dłuższy niż.

• Wymuś zastosowanie partii, gdy pamięć przetwarzania przekroczy (MB): Maksymalna ilość pamięci do użycia do wstępnego przetwarzania w Trybie stosowania zoptymalizowanym pod kątem przetwarzania wsadowego. Wartość domyślna to 500.

  Aby uzyskać maksymalny rozmiar partii, ustaw tę wartość na najwyższą ilość pamięci, jaką można przydzielić do zadania replikacji. Może to poprawić wydajność podczas stosowania zmian w docelowych bazach danych, które są zoptymalizowane pod kątem przetwarzania dużych partii.

Ustawienia dostępne tylko wtedy, gdy "Tryb stosowania" to "Transakcyjny"

Poniższe ustawienia mają zastosowanie tylko podczas pracy w trybie stosowania "Transakcyjny". Należy pamiętać, że "Transakcyjny" to jedyny dostępny tryb stosowania (i dlatego nie można go wybrać) podczas replikacji do Snowflake, a opcja Metoda ładowania to Przesyłanie strumieniowe Snowpipe.

• Minimalna liczba zmian na transakcję: minimalna liczba zmian, które należy uwzględnić w każdej transakcji. Wartością domyślną jest 1000.

  Informacja

  Zmiany są stosowane do miejsca docelowego, gdy liczba zmian jest równa lub większa od Minimalnej liczby zmian na transakcję LUB po osiągnięciu opisanej poniżej wartości Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach) w zależności od tego, co nastąpi wcześniej. Ponieważ częstotliwość zmian stosowanych do miejsca docelowego jest kontrolowana przez te dwa parametry, zmiany w rekordach źródłowych mogą nie zostać natychmiast odzwierciedlone w rekordach docelowych.

• Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach): maksymalny czas gromadzenia transakcji w partiach przed zadeklarowaniem upłynięcia limitu czasu. Wartością domyślną jest 1.

Interwał

Ustawienia podczas korzystania z łączników SAP ODP i aplikacji SaaS (Lite)

• Odczytuj zmiany co (w minutach)

  Interwał w minutach między odczytywaniem zmian ze źródła. Prawidłowy zakres wynosi od 1 do 1440.

  Informacja

  Ta opcja jest dostępna tylko wtedy, gdy zadanie danych jest zdefiniowane za pomocą:

  • Brama danych ruchu danych
  • Dowolne z poniższych źródeł:
    • Aplikacja SaaS tylko za pośrednictwem łączników Lite
    • SAP ODP
  • Metoda aktualizacji Zastosuj zmiany lub Przechowaj zmiany

Ustawienia podczas korzystania z łącznika SAP OData

Sprawdź zmiany

• Zgodnie z interwałem ekstrakcji delty:Po wybraniu tej opcji zadanie danych sprawdza zmiany zgodnie z interwałem ekstrakcji delty.

  InformacjaInterwał rozpocznie się po każdej „rundzie”. Runda może być zdefiniowana jako czas potrzebny zadaniu danych na odczytanie zmian z tabel źródłowych i wysłanie ich do celu (jako pojedyncza transakcja). Długość rundy różni się w zależności od liczby tabel i zmian. Jeśli więc określisz interwał 10 minut, a runda trwa 4 minuty, to rzeczywisty czas między sprawdzaniem zmian wyniesie 14 minut.

  • Interwał ekstrakcji delty: Częstotliwość, z jaką delty będą wyodrębniane z Twojego systemu. Wartością domyślną jest co 60 sekund.

• Zgodnie z harmonogramem: Po wybraniu tej opcji zadanie danych wyodrębni deltę raz, a następnie zostanie zatrzymane. Następnie będzie kontynuować działanie zgodnie z harmonogramem.

  InformacjaTa opcja jest istotna tylko wtedy, gdy odstęp między cyklami CDC wynosi 24 godziny lub więcej.

  Informacje na temat planowania:

  • "Zadania Replicate data" w projekcie replikacji, zobacz Harmonogramowanie zadań

Różne dostrajanie

Rozmiar pamięci podręcznej instrukcji (liczba instrukcji)

Maksymalna liczba przygotowanych instrukcji do przechowywania na serwerze w celu późniejszego wykonania (podczas stosowania zmian w celu). Wartość domyślna to 50. Maksymalna to 200.

USUŃ i WSTAW podczas aktualizacji kolumny klucza podstawowego

Ta opcja wymaga włączenia pełnego dodatkowego rejestrowania w źródłowej bazie danych.

Wyślij znacznik usunięcia (tombstone) przy USUNIĘCIU

Gdy ta opcja jest wybrana, wypełniony zostanie tylko klucz komunikatu; sam komunikat będzie miał wartość null, co wskazuje, że element został usunięty. Może to pomóc konsumentom w wykryciu, że wykonano operację USUNIĘCIA.

Przechowuj dane odzyskiwania zadania w docelowej bazie danych

Wybierz tę opcję, aby przechowywać informacje o odzyskiwaniu specyficzne dla zadania w docelowej bazie danych. Po wybraniu tej opcji zadanie replikacji tworzy tabelę o nazwie attrep_txn_state w docelowej bazie danych. Tabela ta zawiera dane transakcji, które można wykorzystać do odzyskania zadania w przypadku uszkodzenia plików w folderze Brama danych ruchu danych Data lub awarii urządzenia pamięci masowej zawierającego folder Data.

Zastosuj zmiany za pomocą SQL MERGE

Gdy ta opcja nie jest wybrana, zadanie replikacji wykona oddzielne zbiorcze instrukcje WSTAWIANIA, AKTUALIZACJI i USUNIĘCIA dla każdego z różnych typów zmian w tabeli zmian netto.

Chociaż ta metoda jest wysoce wydajna, włączenie opcji Zastosuj zmiany za pomocą SQL MERGE jest jeszcze bardziej wydajne podczas pracy z punktami końcowymi, które obsługują tę opcję.

Wynika to z następujących powodów:

• Zmniejsza to liczbę instrukcji SQL uruchamianych na tabelę z trzech do jednej. Większość operacji AKTUALIZACJI w dużych, niezmiennych, opartych na plikach bazach danych w chmurze (takich jak Google Cloud BigQuery) wiąże się z przepisywaniem plików, których to dotyczy. W przypadku takich operacji zmniejszenie liczby instrukcji SQL na tabelę z trzech do jednej jest bardzo znaczące.
• Docelowa baza danych musi przeskanować tabelę zmian netto tylko raz, co znacznie zmniejsza wejście/wyjście.

Optymalizuj wstawienia

Gdy opcja Zastosuj zmiany za pomocą SQL MERGE jest wybrana razem z opcją Optymalizuj wstawienia, a zmiany składają się tylko z operacji WSTAWIANIA, zadanie replikacji wykona operacje WSTAWIANIA zamiast używać SQL MERGE. Należy pamiętać, że chociaż zazwyczaj poprawia to wydajność i tym samym zmniejsza koszty, może to również skutkować zduplikowanymi rekordami w docelowej bazie danych.

Stosowanie transakcyjne

Poniższe ustawienia są dostępne tylko podczas pracy w trybie stosowania transakcyjnego. W przypadku replikacji do baz danych Tryb stosowania można ustawić na Zoptymalizowany pod kątem przetwarzania wsadowego lub Transakcyjny. Jednak w przypadku replikacji do celu Snowflake i ustawienia opcji Metoda ładowania na Przesyłanie strumieniowe Snowpipe tryb stosowania jest zawsze transakcyjny i dlatego nie można go ustawić.

• Minimalna liczba zmian na transakcję: Minimalna liczba zmian do uwzględnienia w każdej transakcji. Wartość domyślna to 1000.

  InformacjaZadanie replikacji stosuje zmiany w celu, gdy liczba zmian jest równa lub większa niż wartość Minimalna liczba zmian na transakcję LUB gdy zostanie osiągnięta wartość limitu czasu partii (patrz poniżej) - w zależności od tego, co nastąpi wcześniej. Ponieważ częstotliwość zmian stosowanych w celu jest kontrolowana przez te dwa parametry, zmiany w rekordach źródłowych mogą nie zostać natychmiast odzwierciedlone w rekordach docelowych.
• Maksymalny czas na grupowanie transakcji przed zastosowaniem (sekundy): Maksymalny czas na zbieranie transakcji w partie przed zadeklarowaniem limitu czasu. Wartość domyślna to 1.

Ewolucja schematu

Wybierz sposób obsługi następujących typów zmian DDL w schemacie. Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie. Poniższa tabela opisuje, które akcje są dostępne dla obsługiwanych zmian DDL.

Zastępowanie znaków

Możesz zastąpić lub usunąć znaki źródłowe w docelowej bazie danych i/lub znaki źródłowe, które nie są obsługiwane przez wybrany zestaw znaków.

Zastępowanie lub usuwanie znaków źródłowych

Użyj tabeli Zastąp lub usuń znaki źródłowe, aby zdefiniować zamienniki dla określonych znaków źródłowych. Może to być przydatne na przykład wtedy, gdy reprezentacja znaku w Unicode jest inna na platformie źródłowej i docelowej. Na przykład w systemie Linux znak minus w zestawie znaków Shift_JIS jest reprezentowany jako U+2212, ale w systemie Windows jest reprezentowany jako U+FF0D.

Zastępowanie lub usuwanie znaków źródłowych nieobsługiwanych przez wybrany zestaw znaków

Użyj tabeli Nieobsługiwane znaki źródłowe według zestawu znaków, aby zdefiniować pojedynczy znak zastępczy dla wszystkich znaków nieobsługiwanych przez wybrany zestaw znaków.

Więcej opcji

Te opcje nie są widoczne w interfejsie, ponieważ dotyczą tylko określonych wersji lub środowisk. W związku z tym nie należy ustawiać tych opcji, chyba że zostanie to wyraźnie zalecone przez Pomoc techniczną Qlik lub dokumentację produktu.

Aby ustawić opcję, po prostu skopiuj ją do pola Dodaj nazwę cechy i kliknij Dodaj. Następnie ustaw wartość lub włącz opcję zgodnie z otrzymaną instrukcją.

Równoległe ładowanie segmentów zestawu danych

Podczas pełnego ładowania można przyspieszyć ładowanie dużych zestawów danych, dzieląc zestaw danych na segmenty, które będą ładowane równolegle. Tabele można dzielić według zakresów danych, wszystkich partycji, wszystkich podpartycji lub określonych partycji.

Więcej informacji można znaleźć w sekcji Równoległe replikowanie segmentów zestawu danych.

Harmonogramowanie zadań

W poniższych przypadkach użycia należy zdefiniować interwał harmonogramu, aby zaktualizować cel o zmiany wprowadzone w źródle:

• Uzyskiwanie dostępu do źródła danych bez Brama danych ruchu danych
• Korzystanie z łącznika w wersji zapoznawczej aplikacji SaaS. Łączniki w wersji zapoznawczej są oznaczone przyciskiem , zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.
• Podczas przechwytywania zmian ze źródła SAP OData przy użyciu opcji Zgodnie z harmonogramem.

Harmonogram określa, jak często docelowe zestawy danych będą aktualizowane o zmiany w źródłowych zestawach danych. Podczas gdy harmonogram określa częstotliwość aktualizacji, typ zestawu danych określa metodę aktualizacji. Jeśli źródłowe zestawy danych obsługują CDC (Change data capture), tylko zmiany w danych źródłowych będą replikowane i stosowane do odpowiednich tabel docelowych. Jeśli źródłowe zestawy danych nie obsługują CDC (na przykład Widoki), zmiany zostaną zastosowane poprzez ponowne załadowanie wszystkich danych źródłowych do odpowiednich tabel docelowych. Jeśli niektóre źródłowe zestawy danych obsługują CDC, a inne nie, zostaną utworzone dwa oddzielne podzadania (zakładając, że wybrano opcje replikacji Zastosuj zmiany lub Przechowuj zmiany ): jedno do ponownego ładowania zestawów danych, które nie obsługują CDC, a drugie do przechwytywania zmian w zestawach danych, które obsługują CDC. W takim przypadku, aby zapewnić spójność danych, zdecydowanie zaleca się, aby nie utrzymywać tego samego interwału harmonogramu dla obu zadań (jeśli w przyszłości zdecydujesz się zmienić częstotliwość aktualizacji).

Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

Aby zmienić harmonogram:

1. Otwórz swój projekt, a następnie wykonaj jedną z poniższych czynności:

   • W widoku zadań kliknij na zadaniu replikacji i wybierz Harmonogramowanie.
   • W widoku potoku kliknij na zadaniu replikacji i wybierz Harmonogramowanie.
   • Otwórz zadanie replikacji i kliknij przycisk paska narzędzi Harmonogramowanie .
2. Zmień ustawienia harmonogramu w razie potrzeby, a następnie kliknij OK.

Wykonywanie pominiętego przebiegu dla zadania opartego na Brama danych ruchu danych

Czasami problem z siecią może spowodować utratę połączenia z bramą Brama danych ruchu danych. Jeśli połączenie z bramą Brama danych ruchu danych nie zostanie przywrócone przed następnym zaplanowanym uruchomieniem, nie będzie można uruchomić zadania danych zgodnie z harmonogramem. W takich przypadkach można wybrać, czy uruchomienie ma zostać wykonane bezpośrednio po przywróceniu połączenia.

Domyślne ustawienia dla wszystkich Brama danych ruchu danych są zdefiniowane w centrum aktywności Administrowanie. Możesz zastąpić te ustawienia dla poszczególnych zadań, jak opisano poniżej.

Aby to zrobić

1. Otwórz swój projekt, a następnie wykonaj jedną z poniższych czynności:

   • W widoku zadań kliknij na zadaniu danych i wybierz Harmonogramowanie.

   • W widoku potoku kliknij na zadaniu danych i wybierz Harmonogramowanie.

   • Otwórz zadanie danych i kliknij przycisk paska narzędzi Harmonogramowanie .

   Otworzy się okno dialogowe Harmonogramowanie - <zadanie>.

2. Włącz opcję Użyj ustawień niestandardowych dla tego zadania.

3. Na dole okna dialogowego wybierz jedną z następujących opcji Uruchom pominięte zaplanowane zadania.

   • Jak najszybciej, a następnie zgodnie z harmonogramem, jeśli ważne jest uruchomienie zadania przed następnym zaplanowanym wystąpieniem

   • Zgodnie z harmonogramem, aby uruchomić zadanie w następnym zaplanowanym wystąpieniu

4. Zapisz swoje ustawienia.

Zobacz również: Wykonywanie uruchomienia zadania po pominiętym harmonogramie.