Rozwiązywanie problemów z zadaniami danych

W tej sekcji opisano problemy, jakie mogą występować podczas pracy z zadaniami danych, oraz sposoby ich rozwiązywania.

Rozwiązywanie problemów z błędami środowiskowymi

Kiedy zadanie danych napotka błąd środowiskowy, na przykład przekroczenie limitu czasu, błędy sieciowe lub błędy połączenia, automatycznie ponowi operację. Jeśli błąd nie zostanie rozwiązany po ponownej próbie, zadanie danych przestaje działać i wyświetla stan Błąd wraz z komunikatem o błędzie.

• Zadania umieszczania ze źródłami danych, które są dostępne tylko za pośrednictwem Data Movement gateway:

  Operacja jest ponawiana nieskończoną liczbę razy w odstępie 5 sekund.

  Jeśli przerwa jest długa, odstęp jest podwajany aż do osiągnięcia odstępu 1800 sekund.

• Zadania umieszczania ze źródłami danych, które są dostępne bez Data Movement gateway, zadania pamięci masowej, zadania transformacji i zadania data martu:

  Operacja jest ponawiana 3 razy w odstępie 1 sekundy.

Wykonaj następujące czynności:

1. Usuń błąd, korzystając z komunikatu o błędzie.

2. Powoduje przeładowanie lub wznowienie działania zadania danych.

Rozwiązywanie problemów z określoną tabelą

Kiedy zadanie danych napotka błąd podczas zapisywania w określonej tabeli, będzie nadal działać. Tabela zawierająca błędy pokaże status Błąd z komunikatem o błędzie.

1. Usuń błąd, korzystając z komunikatu o błędzie.

2. Załaduj ponownie tabelę, w której wystąpiły błędy.

Rozwiązywanie problemów z CDC

Zadania umieszczania danych w trybie aktualizacji Pełne ładowanie i CDC mogą napotykać problemy związane z CDC, które wpływają na całe zadanie i których nie można rozwiązać przez przeładowanie określonych tabel. Przykładami problemów są brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub awaria podczas odczytu zdarzeń źródłowej bazy danych.

Aby rozwiązać takie problemy, możesz przeładować wszystkie tabele do miejsca docelowego.

1. Zatrzymaj zadanie danych i wszystkie zadania, które go używają.

2. Otwórz zadanie danych i wybierz kartę Monitoruj.

3. Kliknij ..., a następnie Przeładuj miejsce docelowe.

Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.

• Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.

  Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.

• Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:

  • Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,

  • Dla każdej tabeli zostanie wykonany jeden cykl zmian.

Więcej informacji zawiera temat Przeładowywanie wszystkich tabel do miejsca docelowego.

Wartości NULL w kolumnach klucza podstawowego

Podczas wykonywania zadania danych może zostać wyświetlony komunikat o błędzie: Unknown execution error - NULL result in a non-nullable column.

Możliwa przyczyna  

Kolumny używane jako klucz podstawowy nie mogą zawierać wartości NULL i nie mogą dopuszczać wartości NULL.

Proponowane działanie  

W zadaniu danych źródłowych dodaj wyrażenie, które konwertuje wszystkie wartości NULL na wartość, na przykład 0.

Możesz także wybrać inną kolumnę, która będzie używana jako klucz podstawowy.

Błąd rzutowania podczas używania Redshift jako platformy danych

Podczas używania Redshift jako platformy danych może pojawić się następujący lub podobny błąd: Nie udało się znaleźć funkcji konwersji z „nieznanego” na zmienny znak

Możliwa przyczyna  

Brakujące rzutowanie wyrażenia stałego. Może się to zdarzyć częściej w przypadku data martów ze względu na większą złożoność końcowego zapytania.

Proponowane działanie  

Rzutuj wyrażenie stałe jako tekst.

Przykład:

Niejednoznaczne nazwy kolumn

Podczas rejestrowania danych na podstawie widoku utworzonego w potoku Qlik Talend Data Integration widok może zawierać kolumny wygenerowane przez Qlik Talend Data Integration. Nazwy tych kolumn, zaczynające się od hdr__, są zastrzeżone. Gdy kolumna z zastrzeżoną nazwą zostanie wykorzystana w zadaniu pamięci masowej, zadanie pamięci masowej utworzy kolumny o tej samej zastrzeżonej nazwie, co doprowadzi do konfliktu nazw. Na przykład możesz mieć dwie kolumny o nazwie hdr__key_hash.

Więcej informacji na temat zarezerwowanych nazw kolumn w widokach można znaleźć w temacie Widoki.

Proponowane działanie  

Zmień nazwę kolumny pochodzącej z zadania zarejestrowanych danych w zadaniu danych pamięci masowej. Na przykład zmień nazwę hdr__key_hash na my__key_hash.

Transformacje nie są stosowane do istniejących danych

Dodano lub zmieniono transformacje w zadaniu z istniejącymi danymi, ale po ponownym przygotowaniu i uruchomieniu zadania nowe lub zmienione transformacje są stosowane tylko do nowych danych.

Proponowane działanie  

Przeładuj wszystkie tabele, których to dotyczy, jeśli chcesz zastosować nowe lub zmienione transformacje do wszystkich istniejących danych.

Przeglądanie i pobieranie plików dziennika

Dzienniki można przeglądać w celu uzyskania informacji o zadaniach danych. Można również ustawić poziom rejestrowania i pobierać pliki dziennika w razie potrzeby. Dzienniki są dostępne natychmiast po przygotowaniu zadania danych.

Wyświetlanie dzienników zadań danych wykorzystujących bramę Data Movement gateway

Aby przeglądać dzienniki zadań danych, które korzystają z bramy Data Movement gateway, są wymagane następujące uprawnienia:

• Jedno z następujących uprawnień do przestrzeni, w której znajduje się zadanie danych:
  

  • Właściciel

  • Może operować

• Jedno z następujących uprawnień do przestrzeni, w której znajduje się brama danych:

  • Może używać
  • Może edytować
  • Może zarządzać

Aby wyświetlić dzienniki, wykonaj jedną z poniższych czynności:

• W widoku potoku wybierz opcję Wyświetl dzienniki zadania z menu w prawym dolnym rogu zadania danych.

• Otwórz zadanie danych i wybierz opcję Wyświetl dzienniki zadania z menu po prawej stronie paska narzędzi.

Zostanie otwarty Podgląd dziennika.

Jeśli przenosisz dane ze źródła aplikacji SaaS, możesz wybrać Dzienniki zadań lub Dzienniki połączeń źródłowych. W przeciwnym razie będą dostępne tylko dzienniki zadań.

Ikony i umożliwiają przewijanie pliku w górę i dół.

Wyświetlanie dzienników zadań danych, które nie wykorzystują bramy Data Movement gateway

Aby wyświetlić dzienniki, wykonaj jedną z poniższych czynności:

• W widoku potoku wybierz opcję Wyświetl dzienniki zadania z menu w prawym dolnym rogu zadania danych.

• Otwórz zadanie danych i wybierz opcję Wyświetl dzienniki zadania z menu po prawej stronie paska narzędzi.

Zostanie otwarty Podgląd dziennika.

Dostępne są następujące dzienniki:

• Dzienniki zadań

  InformacjaDo przeglądania dzienników zadań jest wymagane uprawnienie Może operować w przestrzeni, w której znajduje się zadanie danych.

  • Dzienniki zadań

    Karta Dzienniki zadań wyświetla plik dziennika aktualnie wybrany z listy rozwijanej w górnej części karty. Liczba dzienników na liście rozwijanej zależy od tego, czy opcja Pokaż wszystkie dzienniki zadań na liście rozwijanej jest włączona. Po włączeniu tej opcji lista rozwijana będzie zawierać wszystkie dzienniki zadań, niezależnie od czasu wykonania zadania. Jeśli nie będzie włączona, lista rozwijana będzie zawierać tylko dzienniki zadań, które zostały ukończone do Czasu zakończenia zadania.

  • Dzienniki połączeń źródłowych (dostępne tylko w przypadku korzystania ze źródła aplikacji SaaS)

• Dzienniki platformy

  Karta Dzienniki platformy zawiera informacje o komponentach platformy, które umożliwiły wykonywanie zadań.

  Czas wykonania zadania nie ma wpływu na dziennik platformy. Na przykład dziennik platformy może zaczynać się o 12:35 i kończyć o 13:30, mimo że zadanie rozpoczęło się o 13:00 i zakończyło o 13:15.

  InformacjaDo przeglądania dzienników platformy wymagana jest rola administratora dzierżawy.

  • Dzienniki bramy Data Movement gateway (jest to wewnętrzna brama zarządzana przez Qlik).

  • Dzienniki aparatu replikacji

  • Dzienniki połączeń źródłowych (dostępne tylko w przypadku korzystania ze źródła aplikacji SaaS)

  • Dzienniki aplikacji SaaS

Ikony i umożliwiają przewijanie pliku w górę i dół.

Ustawianie opcji rejestrowania

Poziom rejestrowania dla różnych operacji replikacji można ustawić w obszarze Opcje rejestrowania.

Przechowywanie rejestrowania ze śledzeniem i pełnymi informacjami w pamięci

Jeśli poziom rejestrowania jest ustawiony na „śledzenie” lub „pełne informacje”, można przechowywać informacje rejestrowania w pamięci do czasu wystąpienia błędu. Po wykryciu błędu rozpocznie się zapisywanie w dziennikach fizycznych i będzie kontynuowane przez kilka minut po pierwszym wystąpieniu błędu.

Jeśli przed wyczerpaniem przydzielonej pamięci nie wystąpi żaden błąd, Qlik Talend Data Integration opróżni bufor pamięci i rozpocznie od nowa.

Ta opcja jest przydatna w przypadku zadań, które kończą się niepowodzeniem nieprzewidywalnie i bez oczywistego powodu. Problem związany z ciągłym zapisywaniem dużych ilości informacji w dziennikach jest dwojaki:

• Uruchomienie w trybie rejestrowania „śledzenie” lub „pełne informacje” spowoduje szybkie zapełnienie dostępnego miejsca na dysku (chyba że ustawienia rejestrowania zostały skonfigurowane tak, aby temu zapobiec).
• Ciągłe zapisywanie dużych ilości danych w dziennikach będzie miało wpływ na wydajność.

Aby skorzystać z tej opcji

1. Wybierz pole wyboru Przechowuj dzienniki śledzenia/z pełnymi informacjami w pamięci, ale w razie wystąpienia błędu zapisuj w dziennikach u góry karty.
2. W polu Maksymalny przydział pamięci (MB) wpisz ilość pamięci, którą chcesz przydzielić do przechowywania informacji rejestrowania.

Ustawianie poziomów rejestrowania

Można ustawić następujące poziomy:

• Błąd

  Pokazuje komunikaty o błędach.

• Ostrzeżenie

  Pokazuje ostrzeżenia.

• Informacje

  Pokazuje komunikaty informacyjne.

• Debuguj

  Pokazuje dodatkowe informacje na potrzeby rozwiązywania problemów.

• Szczegółowe debugowanie

  Pokazuje szczegółowe informacje na potrzeby rozwiązywania problemów.

Wyższe poziomy zawsze obejmują komunikaty z niższych poziomów. Dlatego po wybraniu poziomu Error w dzienniku będą zapisywane tylko komunikaty o błędach. Wybranie poziomu Info spowoduje jednak uwzględnienie komunikatów informacyjnych, ostrzeżeń i komunikatów o błędach. Na ogół używanie poziomów Debug i Detailed debug może generować olbrzymie ilości danych w dzienniku.

Można użyć opcji Globalne w celu ustawienia tego samego poziomu dla wszystkich operacji albo ustawić indywidualne poziomy dla poszczególnych operacji.

• Źródło — pełne ładowanie

  Rejestruje działania związane z operacjami pełnego ładowania w źródle danych. Obejmuje to instrukcje SELECT wykonywane na tabelach źródłowych przed pełnym ładowaniem.

• Źródło — CDC

  Rejestruje działania związane z operacjami CDC w źródle danych.

  OstrzeżenieUstawienie poziomu Detailed debug (Szczegółowe debugowanie) spowoduje wygenerowanie bardzo dużej ilości danych w dzienniku.

• Źródło – dane

  Szczegółowe rejestrowanie działań na źródle danych związanych z operacjami pełnego ładowania i CDC.

• Cel — pełne ładowanie

  Rejestruje działania związane z operacjami pełnego ładowania w miejscu docelowym.

• Cel — CDC

  Rejestruje działania związane z operacjami CDC w miejscu docelowym.

• Cel — prześlij

  Rejestruje działania podczas przesyłania plików do miejsca docelowego.

• Rozszerzone CDC

  Szczegółowe rejestrowanie działań CDC, takich jak synchronizacja i przechowywanie transakcji.

• Wydajność

  Rejestruje wartości opóźnień dla źródła i miejsca docelowego.

• Metadane

  Rejestruje działania związane z odczytem metadanych oraz ich zmianami. Rejestrowany jest również status zadania replikacji.

• Infrastruktura

  Rejestruje informacje o infrastrukturze, operacjach systemu plików i zarządzania zadaniami.

• Transformacja

  Rejestruje informacje związane z wykonywaną transformacją.

Pobieranie plików

Rozwiązywanie problemów z zadaniem replikacji związanym z zadaniem umieszczania ułatwiają dostępne do pobrania dzienniki zadań, pakiet diagnostyczny i raport o wykorzystaniu pamięci. Jednocześnie można pobrać tylko jeden element.

1. W podglądzie dziennika kliknij opcję Pobierz w celu rozwinięcia.

2. Wybierz element do pobrania.

3. Kliknij opcję Pobierz.

   Plik zostanie pobrany na komputer lub pojawi się monit o jego zapisanie, w zależności od ustawień przeglądarki.