Ustawienia umieszczania Lake

Poniższe ustawienia zadania umieszczania Lake mają zastosowanie do projektów Qlik Open Lakehouse korzystających ze źródła bazy danych lub SaaS.

Możesz skonfigurować ustawienia zadania umieszczania danych w jeziorze danych.

• Otwórz zadanie umieszczania danych i kliknij Ustawienia na pasku narzędzi.

Otworzy się okno dialogowe Ustawienia: <nazwa-zadania>. Dostępne ustawienia opisano poniżej.

Ogólne

Metoda aktualizacji

Zadanie umieszczania rozpoczyna się zawsze od pełnego ładowania. Po zakończeniu pełnego ładowania możesz zachować aktualność umieszczonych danych, stosując jedną z następujących metod:

InformacjaPo ukończeniu operacji przygotowania zadania umieszczania danych nie można zmienić metody aktualizacji.

• Przechwytywanie zmian danych (CDC)

  Umieszczone dane są aktualizowane przy użyciu technologii przechwytywania danych zmian CDC. CDC może nie być obsługiwane przez wszystkie źródła danych. CDC nie rejestruje operacji DDL, takich jak zmiana nazwy kolumn czy zmiany w metadanych.

  Jeśli dane zawierają także widoki lub tabele, które nie obsługują CDC, zostaną utworzone dwa potoki danych. Jeden potok ze wszystkimi tabelami obsługującymi CDC i drugi potok ze wszystkimi innymi tabelami i widokami przy użyciu metody aktualizacji Przeładuj.

• Przeładuj

  Wszystkie ładowane dane są przeładowywane ze źródła. Jest to przydatne, jeśli źródło nie obsługuje CDC, ale można używać tego trybu z dowolnym obsługiwanym źródłem danych.

  Możesz zaplanować okresowe ponowne ładowania.

  InformacjaTo ustawienie nie jest dostępne podczas używania łącznika w wersji zapoznawczej aplikacji SaaS. Łączniki w wersji zapoznawczej są oznaczone przyciskiem , zarówno w oknie dialogowym Utwórz połączenie, jak i w pomocy online.

Folder do użycia

Wybierz folder, który będzie używany podczas umieszczania danych w obszarze tymczasowym.

• Domyślny folder

  W ten sposób zostanie utworzony folder o domyślnej nazwie: <nazwa projektu>/<nazwa zadania danych>.

• Folder główny

  Zapisz dane w głównym folderze pamięci masowej.

• Folder

  Określ nazwę folderu, który ma być używany.

Przesyłanie danych

Atrybuty pliku

Skonfiguruj ustawienia plików do przesyłania danych.

• Separator pól

  Znak separatora pól używany w pliku danych źródłowych. Wartość domyślna to „,”.

• Wartość null

  Opcjonalny domyślny ciąg znaków zastępujący wartości null w pliku danych źródłowych.

• Separator rekordów

  Znak separatora rekordów używany w pliku danych źródłowych. Wartość domyślna to „\n”.

• Znak cudzysłowu

  Znak cudzysłowu używany w pliku danych źródłowych. Wartość domyślna to „"”.

• Znak ucieczki cudzysłowu

  Znak ucieczki cudzysłowu używany w pliku danych źródłowych. Wartość domyślna to „"”.

• Maksymalny rozmiar pliku (KB)

  Maksymalny rozmiar, jaki może osiągnąć plik przed zamknięciem. Mniejsze pliki mogą być przesyłane szybciej (w zależności od sieci), a jeśli są używane w połączeniu z opcją wykonywania równoległego, może to poprawić wydajność. Ogólnie jednak zaśmiecanie bazy danych małymi plikami uważa się za złą praktykę.

• Kompresuj pliki przy użyciu

  Po wybraniu tej opcji pliki CSV zostaną skompresowane przy użyciu formatu GZIP.

  Informacja

  • Wymaga bramy Brama danych ruchu danych w wersji 2023.5.16 lub nowszej.

Metadane

Kolumny LOB

• Uwzględnij kolumny LOB i ogranicz rozmiar kolumny do (KB):

  Możesz zdecydować o uwzględnieniu kolumn LOB w zadaniu i ustawić maksymalny rozmiar LOB. Kolumny LOB większe niż rozmiar maksymalny zostaną obcięte.

Pełne ładowanie

Strojenie wydajności

• Maksymalna liczba tabel ładowanych równolegle: wprowadź maksymalną liczbę tabel, które mają być ładowane do obiektu docelowego jednocześnie. Wartość domyślna to 5.

• Limit czasu spójności transakcji (sekundy): wprowadź liczbę sekund oczekiwania na zamknięcie otwartych transakcji przed rozpoczęciem operacji pełnego ładowania. Wartość domyślna to 600 (10 minut). Pełne ładowanie rozpocznie się po osiągnięciu wartości limitu czasu, nawet jeśli niektóre transakcje są nadal otwarte.

  InformacjaAby zreplikować transakcje, które były otwarte w momencie rozpoczęcia pełnego ładowania, ale zostały zatwierdzone dopiero po osiągnięciu wartości limitu czasu, należy ponownie załadować tabele docelowe.
• Częstotliwość zatwierdzania podczas pełnego ładowania: maksymalna liczba zdarzeń, które mogą być przesyłane razem. Wartość domyślna to 10000.

Po zakończeniu pełnego ładowania

Utwórz klucz podstawowy lub unikatowy: wybierz tę opcję, jeśli chcesz opóźnić utworzenie klucza podstawowego lub indeksu unikatowego na platformie danych do momentu zakończenia pełnego ładowania.

Obsługa błędów

W przypadku błędów obcinania danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów nastąpi obcięcie. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

W przypadku innych błędów danych: Wybierz, co ma się stać, gdy w jednym lub większej liczbie określonych rekordów wystąpi błąd. Możesz wybrać jedną z następujących opcji z listy:

• Ignoruj: Zadanie jest kontynuowane, a błąd jest ignorowany.
• Zawieś tabelę: Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane
• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę błędów, kiedy inne błędy danych osiągną (na tabelę): Zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów danych niespowodowanych przez obcięcia (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: Wybierz, co powinno się wydarzyć w przypadku eskalacji obsługi błędów. Należy pamiętać, że dostępne działania zależą od działania wybranego z listy rozwijanej W przypadku innych błędów danych opisanej powyżej.

• Zawieś tabelę (domyślnie): Zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są landed.

• Zatrzymaj zadanie: Zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Błędy tabeli

Liczba prób przed zwróceniem błędu tabeli

Ta opcja pozwala kontrolować, kiedy zasady obsługi błędów tabeli zostaną uruchomione. Po napotkaniu błędu tabeli tabela zostanie domyślnie zawieszona lub zadanie zostanie zatrzymane (zgodnie z wybranym działaniem) po trzech próbach. Czasami błąd tabeli może wystąpić z powodu planowanej konserwacji aplikacji SaaS. W takich przypadkach domyślna liczba ponownych prób może nie być wystarczająca, aby konserwacja została ukończona przed uruchomieniem polityki obsługi błędów tabeli. Zależy to również od interwału planowania zadania, ponieważ ponowna próba zostanie wykonana za każdym razem, gdy zadanie zostanie uruchomione. Jeżeli na przykład zaplanujesz zadanie uruchamiane co godzinę, a aplikacja SaaS zostanie przełączona w tryb offline w celu przeprowadzenia konserwacji w momencie rozpoczęcia wykonywania zadania, domyślne trzy próby pozwolą aplikacji SaaS być w trybie offline przez maksymalnie trzy godziny bez uruchamiania zasad obsługi błędów tabeli. Dłuższy przedział czasu konserwacji wymagałby zwiększenia liczby ponownych prób (lub zmiany harmonogramu), aby zapobiec uruchomieniu zasad obsługi błędów tabeli.

Podsumowując, jeśli wiesz, że aplikacja SaaS przechodzi okresową konserwację, najlepszą praktyką jest zwiększenie liczby ponownych prób zgodnie z harmonogramem, tak aby konserwacja mogła zostać zakończona bez uruchamiania polityki obsługi błędów tabeli.

W przypadku napotkania błędu tabeli: wybierz jedną z poniższych opcji z listy rozwijanej:

• Zawieś tabelę (domyślnie): zadanie jest kontynuowane, ale dane z tabeli z rekordem z błędem są przenoszone do stanu błędu i nie są replikowane.
• Zatrzymaj zadanie: zadanie jest zatrzymywane i jest wymagana interwencja ręczna.

Eskaluj obsługę błędów, kiedy inne błędy tabeli osiągną (na tabelę): zaznacz to pole wyboru, aby eskalować obsługę błędów, gdy liczba błędów tabeli (na tabelę) osiągnie określoną wartość. Prawidłowe wartości są z zakresu 1–10 000.

Działanie eskalacji: zasada eskalacji błędów tabeli jest ustawiona na Zatrzymaj zadanie i nie można jej zmienić.

Środowiskowe

• Maksymalna liczba ponownych prób: Wybierz tę opcję, a następnie określ maksymalną liczbę prób ponawiania zadania w razie wystąpienia błędu środowiskowego umożliwiającego odzyskanie. Po określonej liczbie ponownych prób zadanie zostaje zatrzymane i wymagana jest ręczna interwencja.

  Aby nigdy nie ponawiać wykonywania zadania, usuń zaznaczenie pola wyboru lub określ „0”.

  Aby ponawiać zadanie nieskończoną liczbę razy, określ „-1”.

  • Interwał między kolejnymi próbami (w sekundach): Użyj licznika, aby wybrać lub wpisać liczbę sekund oczekiwania przez system pomiędzy kolejnymi próbami wykonania zadania.

    Prawidłowe wartości są z zakresu 0–2000.

• Zwiększ interwał ponawiania prób w przypadku długich przestojów: Zaznacz to pole wyboru, aby zwiększyć interwał ponownych prób w przypadku długich przestojów. Gdy ta opcja jest włączona, odstęp między kolejnymi próbami jest podwajany aż do osiągnięcia Maksymalnego interwału ponownych prób (i próby są kontynuowane zgodnie z określonym maksymalnym interwałem).
  • Maksymalny interwał ponownych prób (w sekundach): Użyj licznika, aby wybrać, lub wpisz liczbę sekund oczekiwania pomiędzy kolejnymi próbami wykonania zadania, gdy włączona jest opcja Zwiększ interwał ponawiania prób w przypadku długich przestojów. Prawidłowe wartości są z zakresu 0–2000.

Strojenie przetwarzania zmian

Strojenie odciążania transakcji

Odciąż transakcje w toku na dysku, jeśli:

Dane transakcji są zwykle przechowywane w pamięci, dopóki nie zostaną w pełni zatwierdzone w źródle lub celu. Transakcje, które są większe niż przydzielona pamięć lub które nie zostaną zatwierdzone w określonym limicie czasu, zostaną jednak przeniesione na dysk.

• Całkowity rozmiar pamięci transakcji przekracza (MB): maksymalny rozmiar, jaki wszystkie transakcje mogą zajmować w pamięci przed przeniesieniem na dysk. Wartością domyślną jest 1024.
• Czas trwania transakcji przekracza (w sekundach): maksymalny czas, przez który każda transakcja może pozostać w pamięci przed przeniesieniem na dysk. Czas trwania jest liczony od momentu rozpoczęcia rejestrowania transakcji przez Qlik Talend Data Integration. Wartością domyślną jest 60.

Strojenie wsadowe

• Minimalna liczba zmian na transakcję: minimalna liczba zmian, które należy uwzględnić w każdej transakcji. Wartością domyślną jest 1000.

  Informacja

  Zmiany są stosowane do miejsca docelowego, gdy liczba zmian jest równa lub większa od Minimalnej liczby zmian na transakcję LUB po osiągnięciu opisanej poniżej wartości Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach) w zależności od tego, co nastąpi wcześniej. Ponieważ częstotliwość zmian stosowanych do miejsca docelowego jest kontrolowana przez te dwa parametry, zmiany w rekordach źródłowych mogą nie zostać natychmiast odzwierciedlone w rekordach docelowych.

• Maksymalny czas dla transakcji wsadowych przed zastosowaniem (w sekundach): maksymalny czas gromadzenia transakcji w partiach przed zadeklarowaniem upłynięcia limitu czasu. Wartością domyślną jest 1.

Różne ustawienia strojenia

• Rozmiar pamięci podręcznej instrukcji (liczba instrukcji): Maksymalna liczba przygotowanych instrukcji do przechowywania na serwerze w celu późniejszego wykonania (podczas stosowania zmian w miejscu docelowym). Wartością domyślną jest 50. Maksymalna liczba to 200.

• Używaj instrukcji DELETE i INSERT podczas aktualizacji kolumny klucza głównego: Ta opcja wymaga włączenia pełnego rejestrowania dodatkowego w źródłowej bazie danych.

Ewolucja schematu

Wybierz sposób obsługi następujących typów zmian DDL w schemacie. Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie. Poniższa tabela opisuje, które akcje są dostępne dla obsługiwanych zmian DDL.

Zastępowanie znaków

Możesz zastąpić lub usunąć znaki źródłowe w docelowej bazie danych i/lub znaki źródłowe, które nie są obsługiwane przez wybrany zestaw znaków.

Zastępowanie lub usuwanie znaków źródłowych

Użyj tabeli Zastąp lub usuń znaki źródłowe, aby zdefiniować zamienniki dla określonych znaków źródłowych. Może to być przydatne na przykład wtedy, gdy reprezentacja znaku w Unicode jest inna na platformie źródłowej i docelowej. Na przykład w systemie Linux znak minus w zestawie znaków Shift_JIS jest reprezentowany jako U+2212, ale w systemie Windows jest reprezentowany jako U+FF0D.

Zastępowanie lub usuwanie znaków źródłowych nieobsługiwanych przez wybrany zestaw znaków

Użyj tabeli Nieobsługiwane znaki źródłowe według zestawu znaków, aby zdefiniować pojedynczy znak zastępczy dla wszystkich znaków nieobsługiwanych przez wybrany zestaw znaków.

Więcej opcji

Te opcje nie są widoczne w interfejsie, ponieważ dotyczą tylko określonych wersji lub środowisk. W związku z tym nie należy ustawiać tych opcji, chyba że zostanie to wyraźnie zalecone przez Pomoc techniczną Qlik lub dokumentację produktu.

Aby ustawić opcję, po prostu skopiuj ją do pola Dodaj nazwę cechy i kliknij Dodaj. Następnie ustaw wartość lub włącz opcję zgodnie z otrzymaną instrukcją.

Równoległe ładowanie segmentów zestawu danych

Podczas pełnego ładowania można przyspieszyć ładowanie dużych zestawów danych poprzez podzielenie zestawu danych na segmenty, które będą ładowane równolegle. Tabele można dzielić według zakresów danych, wszystkich partycji, wszystkich podpartycji lub określonych partycji.

Więcej informacji zawiera temat Równoległe umieszczanie segmentów zestawu danych

Harmonogramowanie zadań CDC podczas pracy bez bramy Brama danych ruchu danych

Brama Brama danych ruchu danych nie jest obsługiwana w przypadku subskrypcji Qlik Talend Cloud Starter i jest opcjonalna w przypadku innych poziomów subskrypcji. Podczas pracy bez bramy Brama danych ruchu danych dane docelowe są aktualizowane poprzez ustawienie interwału harmonogramu. Harmonogram określa, jak często docelowe zestawy danych będą aktualizowane o zmiany w źródłowych zestawach danych. Podczas gdy harmonogram określa częstotliwość aktualizacji, typ zestawu danych określa metodę aktualizacji. Jeśli źródłowe zestawy danych obsługują funkcję CDC (Change Data Capture), tylko zmiany w danych źródłowych będą replikowane i stosowane w odpowiednich tabelach docelowych. Jeśli źródłowe zestawy danych nie obsługują funkcji CDC (na przykład widoki), zmiany będą stosowane poprzez ponowne załadowanie wszystkich danych źródłowych do odpowiednich tabel docelowych. Jeśli niektóre źródłowe zestawy danych obsługują funkcję CDC, a inne nie, zostaną utworzone dwa oddzielne podzadania: jedno do ponownego ładowania zestawów danych, które nie obsługują funkcji CDC, a drugie do przechwytywania zmian w zestawach danych, które obsługują funkcję CDC. W takim przypadku, aby zapewnić spójność danych, zdecydowanie zaleca się ustawienie tego samego harmonogramu dla obu podzadań.

Informacje na temat minimalnych interwałów planowania według typu źródła danych i poziomu subskrypcji zawiera temat Minimalne dozwolone interwały planowania.

Aby zmienić harmonogram:

1. Otwórz projekt potoku, a następnie wykonaj jedną z następujących czynności:

   • W widoku zadań kliknij ikonę przy zadaniu danych i wybierz opcję Harmonogramowanie.
   • W widoku potoku kliknij ikonę przy zadaniu danych i wybierz opcję Harmonogramowanie.
   • Otwórz zadanie umieszczania i kliknij przycisk paska narzędzi Harmonogramowanie.
2. Zmień ustawienia harmonogramu zgodnie z potrzebami, a następnie kliknij przycisk OK.