Rozwiązywanie problemów z zadaniami danych

W tej sekcji opisano problemy, jakie mogą występować podczas pracy z zadaniami danych, oraz sposoby ich rozwiązywania.

Rozwiązywanie problemów z błędami środowiskowymi

Kiedy zadanie danych napotka błąd środowiskowy, na przykład przekroczenie limitu czasu, błędy sieciowe lub błędy połączenia, automatycznie ponowi operację. Jeśli błąd nie zostanie rozwiązany po ponownej próbie, zadanie danych przestaje działać i wyświetla stan Błąd wraz z komunikatem o błędzie.

• Zadania umieszczania ze źródłami danych, które są dostępne tylko za pośrednictwem Brama danych ruchu danych:

  Operacja jest ponawiana nieskończoną liczbę razy w odstępie 5 sekund.

  Jeśli przerwa jest długa, odstęp jest podwajany aż do osiągnięcia odstępu 1800 sekund.

• Zadania umieszczania ze źródłami danych, które są dostępne bez Brama danych ruchu danych, zadania pamięci masowej, zadania transformacji i zadania data martu:

  Operacja jest ponawiana 3 razy w odstępie 1 sekundy.

Wykonaj następujące czynności:

1. Usuń błąd, korzystając z komunikatu o błędzie.

2. Powoduje przeładowanie lub wznowienie działania zadania danych.

Rozwiązywanie problemów z określoną tabelą

Kiedy zadanie danych napotka błąd podczas zapisywania w określonej tabeli, będzie nadal działać. Tabela zawierająca błędy pokaże status Błąd z komunikatem o błędzie.

1. Usuń błąd, korzystając z komunikatu o błędzie.

2. Załaduj ponownie tabelę, w której wystąpiły błędy.

Rozwiązywanie problemów z CDC

Zadania umieszczania danych w trybie aktualizacji Pełne ładowanie i CDC mogą napotykać problemy związane z CDC, które wpływają na całe zadanie i których nie można rozwiązać przez przeładowanie określonych tabel. Przykładami problemów są brakujące zdarzenia, problemy spowodowane reorganizacją źródłowej bazy danych lub awaria podczas odczytu zdarzeń źródłowej bazy danych.

Aby rozwiązać takie problemy, możesz przeładować wszystkie tabele do miejsca docelowego.

1. Zatrzymaj zadanie danych i wszystkie zadania, które go używają.

2. Otwórz zadanie danych i wybierz kartę Monitoruj.

3. Kliknij ..., a następnie Przeładuj miejsce docelowe.

Spowoduje to przeładowanie wszystkich tabel do miejsca docelowego przy użyciu procedury usuwania i tworzenia i ponowne rozpoczęcie przechwytywania wszystkich zmian danych od teraz.

• Zadania pamięci masowej danych wykorzystujące to zadanie umieszczania zostaną przeładowane przez porównanie i zastosowanie po następnym uruchomieniu w celu zsynchronizowania. Istniejąca historia zostanie zachowana. Historia typu 2 zostanie zaktualizowana, aby odzwierciedlić zmiany po przeprowadzeniu procesu ponownego ładowania i porównywania.

  Znacznik czasu daty początkowej w historii typu 2 będzie odzwierciedlał datę ponownego załadowania, a niekoniecznie datę wystąpienia zmiany w źródle.

• Widoki na żywo pamięci masowej nie będą niezawodne podczas operacji przeładowania obiektu docelowego i do czasu synchronizacji pamięci masowej. Pamięć masowa zostanie w pełni zsynchronizowana, gdy:

  • Wszystkie tabele zostaną przeładowane za pomocą porównania i stosowania,

  • Dla każdej tabeli zostanie wykonany jeden cykl zmian.

Więcej informacji zawiera temat Przeładowywanie wszystkich tabel do miejsca docelowego.

Wartości NULL w kolumnach klucza podstawowego

Podczas wykonywania zadania danych może zostać wyświetlony komunikat o błędzie: Unknown execution error - NULL result in a non-nullable column.

Możliwa przyczyna  

Kolumny używane jako klucz podstawowy nie mogą zawierać wartości NULL i nie mogą dopuszczać wartości NULL.

Proponowane działanie  

W zadaniu danych źródłowych dodaj wyrażenie, które konwertuje wszystkie wartości NULL na wartość, na przykład 0.

Możesz także wybrać inną kolumnę, która będzie używana jako klucz podstawowy.

Błąd rzutowania podczas używania Redshift jako platformy danych

Podczas używania Redshift jako platformy danych może pojawić się następujący lub podobny błąd: Nie udało się znaleźć funkcji konwersji z „nieznanego” na zmienny znak

Możliwa przyczyna  

Brakujące rzutowanie wyrażenia stałego. Może się to zdarzyć częściej w przypadku data martów ze względu na większą złożoność końcowego zapytania.

Proponowane działanie  

Rzutuj wyrażenie stałe jako tekst.

Przykład:

Niejednoznaczne nazwy kolumn

Podczas rejestrowania danych na podstawie widoku utworzonego w potoku Qlik Talend Data Integration widok może zawierać kolumny wygenerowane przez Qlik Talend Data Integration. Nazwy tych kolumn, zaczynające się od hdr__, są zastrzeżone. Gdy kolumna z zastrzeżoną nazwą zostanie wykorzystana w zadaniu pamięci masowej, zadanie pamięci masowej utworzy kolumny o tej samej zastrzeżonej nazwie, co doprowadzi do konfliktu nazw. Na przykład możesz mieć dwie kolumny o nazwie hdr__key_hash.

Więcej informacji na temat zarezerwowanych nazw kolumn w widokach można znaleźć w temacie Widoki.

Proponowane działanie  

Zmień nazwę kolumny pochodzącej z zadania zarejestrowanych danych w zadaniu danych pamięci masowej. Na przykład zmień nazwę hdr__key_hash na my__key_hash.

Rozwiązywanie problemów z zadaniami danych opartymi na Brama danych ruchu danych

Informacje o operacjach umieszczania zadań danych opartych na Brama danych ruchu danych można uzyskać przez sprawdzenie zawartości plików dziennika. Można również ustawić poziom rejestrowania. Dzienniki są dostępne po ukończeniu pierwszego przebiegu zadania danych.

Aby wyświetlić pliki dziennika, jest potrzebne jedno z następujących uprawnień do przestrzeni, w której znajduje się zadanie danych:

• Właściciela

• Może operować

Potrzebne jest także jedno z następujących uprawnień do przestrzeni, w której znajduje się brama danych:

• Może używać
• Może edytować
• Może zarządzać

Wyświetlanie plików dziennika

Otwórz podgląd dziennika, klikając opcję Zobacz dzienniki w zadaniu umieszczania danych opartym na Brama danych ruchu danych. Plik dziennika do wyświetlenia można wybrać w obszarze Dzienniki aparatu replikacji. Ikony i umożliwiają przewijanie pliku w górę i dół.

Ustawianie opcji rejestrowania

Poziom rejestrowania dla różnych operacji replikacji można ustawić w obszarze Opcje rejestrowania.

Przechowywanie rejestrowania ze śledzeniem i pełnymi informacjami w pamięci

Jeśli poziom rejestrowania jest ustawiony na „śledzenie” lub „pełne informacje”, można polecić bramie Qlik Talend Data Integration przechowywanie informacji rejestrowania w pamięci do czasu wystąpienia błędu. Po wykryciu błędu Qlik Talend Data Integration rozpocznie zapisywanie w dziennikach fizycznych i będzie to kontynuować przez kilka minut po pierwszym wystąpieniu błędu.

Jeśli przed wyczerpaniem przydzielonej pamięci nie wystąpi żaden błąd, Qlik Talend Data Integration opróżni bufor pamięci i rozpocznie od nowa.

Ta opcja jest przydatna w przypadku zadań, które kończą się niepowodzeniem nieprzewidywalnie i bez oczywistego powodu. Problem związany z ciągłym zapisywaniem dużych ilości informacji w dziennikach jest dwojaki:

• Uruchomienie w trybie rejestrowania „śledzenie” lub „pełne informacje” spowoduje szybkie zapełnienie dostępnego miejsca na dysku (chyba że ustawienia rejestrowania zostały skonfigurowane tak, aby temu zapobiec).
• Ciągłe zapisywanie dużych ilości danych w dziennikach będzie miało wpływ na wydajność.

Aby skorzystać z tej opcji

1. Wybierz pole wyboru Przechowuj dzienniki śledzenia/z pełnymi informacjami w pamięci, ale w razie wystąpienia błędu zapisuj w dziennikach u góry karty.
2. W polu Maksymalny przydział pamięci (MB) wpisz ilość pamięci, którą chcesz przydzielić do przechowywania informacji rejestrowania.

Ustawianie poziomów rejestrowania

Można ustawić następujące poziomy:

• 1. Error

  Pokazuje komunikaty o błędach.

• 2. Warning

  Pokazuje ostrzeżenia.

• 3. Informacje

  Pokazuje komunikaty informacyjne.

• 4. Debug

  Pokazuje dodatkowe informacje na potrzeby rozwiązywania problemów.

• 5. Detailed debug

  Pokazuje szczegółowe informacje na potrzeby rozwiązywania problemów.

Wyższe poziomy zawsze obejmują komunikaty z niższych poziomów. Dlatego po wybraniu poziomu Error w dzienniku będą zapisywane tylko komunikaty o błędach. Wybranie poziomu Info spowoduje jednak uwzględnienie komunikatów informacyjnych, ostrzeżeń i komunikatów o błędach. Na ogół używanie poziomów Debug i Detailed debug może generować olbrzymie ilości danych w dzienniku.

Można użyć opcji Globalne w celu ustawienia tego samego poziomu dla wszystkich operacji albo ustawić indywidualne poziomy dla poszczególnych operacji.

• Źródło — pełne ładowanie

  Rejestruje działania związane z operacjami pełnego ładowania w źródle danych. Obejmuje to instrukcje SELECT wykonywane na tabelach źródłowych przed pełnym ładowaniem.

• Źródło — CDC

  Rejestruje działania związane z operacjami CDC w źródle danych.

  OstrzeżenieUstawienie poziomu Detailed debug (Szczegółowe debugowanie) spowoduje wygenerowanie bardzo dużej ilości danych w dzienniku.

• Źródło – dane

  Szczegółowe rejestrowanie działań na źródle danych związanych z operacjami pełnego ładowania i CDC.

• Cel — pełne ładowanie

  Rejestruje działania związane z operacjami pełnego ładowania w miejscu docelowym.

• Cel — CDC

  Rejestruje działania związane z operacjami CDC w miejscu docelowym.

• Cel — prześlij

  Rejestruje działania podczas przesyłania plików do miejsca docelowego.

• Rozszerzone CDC

  Szczegółowe rejestrowanie działań CDC, takich jak synchronizacja i przechowywanie transakcji.

• Wydajność

  Rejestruje wartości opóźnień dla źródła i miejsca docelowego.

• Metadane

  Rejestruje działania związane z odczytem metadanych oraz ich zmianami. Rejestrowany jest również status zadania replikacji.

• Infrastruktura

  Rejestruje informacje o infrastrukturze, operacjach systemu plików i zarządzania zadaniami.

• Transformacja

  Rejestruje informacje związane z wykonywaną transformacją.

Pobieranie plików diagnostycznych

Rozwiązywanie problemów z zadaniem replikacji związanym z zadaniem umieszczania ułatwiają dostępne do pobrania dzienniki zadań, pakiet diagnostyczny i raport o wykorzystaniu pamięci. Jednocześnie można pobrać tylko jeden element.

1. W podglądzie dziennika kliknij opcję Pobierz w celu rozwinięcia.

2. Wybierz element do pobrania.

3. Kliknij opcję Pobierz.

   Plik zostanie pobrany na komputer lub pojawi się monit o jego zapisanie, w zależności od ustawień przeglądarki.

Rozwiązywanie problemów z zadaniem danych nieużywającym Brama danych ruchu danych

Informacje o operacjach umieszczania zadań danych nieużywających Brama danych ruchu danych można uzyskać przez sprawdzenie zawartości plików dziennika. Można również ustawić poziom rejestrowania. Dzienniki są dostępne po ukończeniu pierwszego przebiegu zadania danych. Możesz przeglądać dzienniki zadań i dzienniki serwera.

Wyświetlanie dzienników zadań

Aby wyświetlić pliki dzienników zadań, jest potrzebne jedno z następujących uprawnień do przestrzeni, w której znajduje się zadanie danych:

• Właściciel

• Może operować

Potrzebne jest także jedno z następujących uprawnień do przestrzeni, w której znajduje się brama danych:

• Może używać
• Może edytować
• Może zarządzać

Otwórz podgląd dziennika, klikając opcję Zobacz dzienniki zadań w zadaniu umieszczania danych nieużywającym Brama danych ruchu danych. Plik dziennika do wyświetlenia można wybrać w obszarze Dzienniki aparatu replikacji. Ikony i umożliwiają przewijanie pliku w górę i dół.

Poziom rejestrowania dla różnych operacji replikacji można ustawić w obszarze Opcje rejestrowania. Więcej informacji zawiera temat Ustawianie opcji rejestrowania.

Wyświetlanie dzienników ruchu danych

Do wyświetlania dzienników przenoszenia danych jest potrzebna rola administratora danych lub administratora dzierżawy.

Otwórz podgląd dziennika, klikając opcję Wyświetl dzienniki ruchu danych w zadaniu umieszczania danych nieużywającym Brama danych ruchu danych. Więcej informacji na temat dzienników zawiera temat Przeglądanie i pobieranie plików dziennika.