Przechowywanie zestawów danych

W projekcie Qlik Open Lakehouse zadanie przechowywania zapisuje umieszczone dane w tabelach Iceberg w celu wydajnego przechowywania i wysyłania zapytań. Zadanie danych pamięci masowej korzysta z danych umieszczonych w obszarze umieszczania w chmurze przez zadanie umieszczania danych. Tych tabel można używać na przykład w aplikacji analitycznej.

Poniższe ustawienia i zachowania dotyczą zadania przechowywania w projekcie Qlik Open Lakehouse, który zapisuje dane w tabelach Iceberg.

• Zadanie przechowywania danych działa w sposób ciągły i nie można go zaplanować.

• Qlik automatycznie optymalizuje dane przechowywane w tabelach Iceberg. Więcej informacji na temat procesów optymalizacji zawiera temat Architektura programu Qlik Open Lakehouse .

• Możesz zaprojektować zadanie danych pamięci masowej, gdy status zadania umieszczania danych jest co najmniej Gotowy do przygotowania.

• Możesz przygotować zadanie danych pamięci masowej, gdy status zadania umieszczania danych jest co najmniej Gotowy do uruchomienia.

Zadanie danych w pamięci masowej będzie używać tego samego trybu działania (Pełne ładowanie lub Pełne ładowanie i CDC) co wykorzystane zadanie danych do umieszczenia. Właściwości konfiguracji różnią się w obu trybach pracy, a także w przypadku opcji monitorowania i sterowania. Jeśli używasz zadania umieszczania danych w chmurze tylko z pełnym ładowaniem, zadanie danych w pamięci masowej utworzy widoki do tabel danych do umieszczania zamiast generowania tabel fizycznych.

Tworzenie zadania danych w pamięci masowej

Zadanie danych w pamięci masowej można utworzyć na trzy sposoby:

• Kliknij ... na zadaniu umieszczania danych i wybierz opcję Przechowuj dane, aby utworzyć zadanie danych pamięci masowej na podstawie tego zasobu danych do umieszczania.

• W projekcie kliknij Utwórz, a następnie Przechowaj dane. W tym przypadku musisz określić, które zadanie umieszczania danych ma zostać użyte.

• Gdy dodajesz dane, tworzone jest zadanie danych pamięci masowej. Jest ono połączone z zadaniem umieszczania danych, które jest również tworzone podczas dołączania danych.

  Więcej informacji zawiera temat Dołączanie danych do Qlik Open Lakehouse.

Po utworzeniu zadania danych pamięci masowej:

1. Otwórz zadanie danych pamięci masowej, klikając ... i wybierając Otwórz.
   Zadanie danych pamięci masowej zostanie otwarte i będzie można podejrzeć wyjściowe zestawy danych oparte na tabelach z zasobu danych do umieszczania.

2. Dokonaj wszystkich wymaganych zmian w dołączonych zestawach danych, takich jak transformacje, filtrowanie danych czy dodawanie kolumn.

   Aby uzyskać więcej informacji, zobacz temat Zarządzanie zestawami danych.

3. Po dodaniu odpowiednich transformacji możesz zatwierdzić zestawy danych, klikając Zatwierdź zestawy danych. Jeśli walidacja wykaże błędy, należy je naprawić przed kontynuacją.

   Więcej informacji zawiera temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

4. Kliknij Przygotuj, aby przygotować zadanie danych i wszystkie wymagane artefakty. Może to trochę potrwać.

   Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

5. Gdy na ekranie pojawi się komunikat Gotowy do uruchomienia, możesz uruchomić zadanie danych.

   Kliknij Uruchom.

   Zadanie danych zacznie teraz tworzyć zestawy danych do przechowywania danych.

Przechowywanie danych historycznych

Aby łatwo odtworzyć dane w postaci z konkretnego momentu, można zachować dane historyczne zmian typu 2. Generuje to też pełny magazyn danych historycznych (HDS).

• Obsługiwane są powoli zmieniające się wymiary typu 2.

• Kiedy zmieniony rekord jest scalany, tworzy nowy rekord do przechowywania zmienionych danych i pozostawia stary rekord bez zmian.

• Nowe rekordy HDS są automatycznie oznaczane znacznikiem czasu, aby umożliwić tworzenie analiz trendów i innych analitycznych data martów zorientowanych na czas.

Dane historyczne można włączyć, klikając:

• Replikacja z bieżącymi danymi i historią poprzednich danych w Ustawieniach podczas dodawania danych.

• Zachowaj zapisy historyczne zmian i archiwum zapisów zmian w oknie dialogowym Ustawienia zadania pamięci masowej.

Planowanie zadania pamięci masowej

Zadanie przechowywania w projekcie Qlik Open Lakehouse działa w sposób ciągły w jednominutowych minipartiach i nie można go zaplanować.

Monitorowanie zadania pamięci masowej

Możesz monitorować stan i postęp zadania pamięci masowej, klikając Monitoruj.

Aby uzyskać więcej informacji, zobacz temat Monitorowanie Qlik Open Lakehouse zadania pamięci masowej.

Rozwiązywanie problemów z zadaniem pamięci masowej danych

W przypadku problemów z jedną lub większą liczbą tabel w zadaniu pamięci masowej danych może być konieczne przeładowanie bądź odtworzenie danych. Istnieje kilka opcji umożliwiających wykonanie tej czynności. Rozważ użycie tych opcji w następującej kolejności:

1. Możesz przeładować zestaw danych podczas umieszczania. Przeładowywanie zestawu danych podczas umieszczania wywoła proces porównania w pamięci masowej, a prawidłowe dane zachowają historię typu 2. Tę opcję warto rozważyć także wtedy, gdy:

   • Pełnego ładowania dokonano dawno temu i jest dużo zmian.

   • Jeżeli rekordy podlegające pełnemu ładowaniu i rekordy tabeli zmian, które zostały przetworzone, zostały usunięte w ramach konserwacji obszaru umieszczania.

   Umieszczanie danych ze źródeł danych

2. Możesz odtworzyć tabele. Odtwarza zbiory danych ze źródła.

   • Kliknij ..., a następnie kliknij opcję Odtwórz tabele. Podczas odtwarzania tabeli zadanie podrzędne zareaguje tak, jakby w źródłowych zestawach danych wykonano operację obcinania i przeładowania.

     InformacjaJeżeli występują problemy z poszczególnymi tabelami, zaleca się najpierw przeładowanie tabel zamiast ich odtwarzania. Odtworzenie tabel może spowodować utratę danych historycznych. Jeśli występują zmiany zakłócające działanie, należy również przygotować podrzędne zadania danych, które wykorzystają odtworzone zadania danych do przeładowania danych.

Ewolucja schematu

Ewolucja schematów pozwala łatwo wykrywać zmiany strukturalne w wielu źródłach danych, a następnie kontrolować, jak zmiany te zostaną zastosowane do zadania. Ewolucja schematu może być używana do wykrywania zmian DDL, które zostały wprowadzone do schematu źródła danych. Niektóre zmiany możesz również stosować automatycznie.

Dla każdego typu zmian można wybrać sposób obsługi zmian w sekcji Ewolucja schematu w ustawieniach zadania. Możesz zastosować lub zignorować zmianę, zawiesić tabelę lub zatrzymać przetwarzanie zadania.

Możesz ustawić, które działanie ma być używane do obsługi zmiany DDL dla każdego typu zmiany. Niektóre działania nie są dostępne dla wszystkich typów zmian.

• Zastosuj do celu

  Zastosuj zmiany automatycznie.

• Ignoruj

  Zignoruj zmiany.

• Zawieś tabelę

  Zawieś tabelę. Tabela zostanie wyświetlona jako błąd w sekcji Monitorowanie.

• Zatrzymaj zadanie

  Zatrzymaj przetwarzanie zadania. Jest to przydatne, jeśli chcesz obsługiwać wszystkie zmiany schematu ręcznie. Spowoduje to również zatrzymanie planowania, tzn. zaplanowane uruchomienia nie zostaną wykonane.

Obsługiwane są następujące zmiany:

• Dodanie kolumny

• Utworzenie tabeli pasującej do wzorca wyboru
  

  Jeśli użyto reguły wyboru, aby dodać zestawy danych pasujące do wzorca, nowe tabele spełniające ten wzorzec zostaną wykryte i dodane.

Więcej informacji o ustawieniach zadania zawiera temat Ewolucja schematu.

Ograniczenia dla ewolucji schematu

W odniesieniu do ewolucji schematu obowiązują następujące ograniczenia:

• Ewolucja schematu jest obsługiwana tylko w przypadku korzystania z CDC jako metody aktualizacji.

• Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie.

• W przypadku zmiany nazw tabel ewolucja schematu nie jest obsługiwana. W takim przypadku należy odświeżyć metadane przed przygotowaniem zadania.

• Jeśli projektujesz zadanie, należy odświeżyć przeglądarkę, aby otrzymać zmiany ewolucji schematu. Można ustawić powiadomienia, aby otrzymywać alarmy o zmianach.

• W zadaniach umieszczania usuwanie kolumny nie jest obsługiwane. Usunięcie kolumny i jej dodanie spowoduje błąd tabeli.

• W zadaniach umieszczania operacja usunięcia tabeli nie spowoduje usunięcia tabeli. Usunięcie tabeli, a następnie jej dodanie spowoduje jedynie obcięcie starej tabeli, a nowa tabela nie zostanie dodana.

• Zmiana długości kolumny nie jest możliwa dla wszystkich obiektów docelowych w zależności od obsługi w docelowej bazie danych.

• Jeśli nazwa kolumny zostanie zmieniona, jawne transformacje zdefiniowane przy użyciu tej kolumny nie będą miały wpływu, ponieważ są one oparte na nazwie kolumny.

• Ograniczenia dotyczące odświeżania metadanych mają również zastosowanie do ewolucji schematu.

Podczas przechwytywania zmian DDL obowiązują następujące ograniczenia:

• Gdy w źródłowej bazie danych występuje szybka sekwencja operacji (na przykład DDL>DML>DDL), Qlik Talend Data Integration może przeanalizować dziennik w niewłaściwej kolejności, co może skutkować brakiem danych lub nieprzewidywalnym działaniem. Aby zminimalizować ryzyko wystąpienia takiej sytuacji, najlepszą praktyką jest poczekanie na zastosowanie zmian w obiekcie docelowym przed wykonaniem kolejnej operacji.

  Na przykład podczas przechwytywania zmian, jeśli nazwa tabeli źródłowej zostanie zmieniona wiele razy w krótkim odstępie czasu (a druga operacja zmieni jej nazwę z powrotem na oryginalną), może wystąpić komunikat o błędzie, że tabela już istnieje w docelowej bazie danych.

• Jeśli zmienisz nazwę tabeli używanej w zadaniu, a następnie zatrzymasz zadanie, Qlik Talend Data Integration nie przechwyci żadnych zmian dokonanych w tej tabeli po wznowieniu zadania.

• Zmiana nazwy tabeli źródłowej, gdy zadanie jest zatrzymane, nie jest obsługiwana.

• Realokacja kolumn klucza głównego tabeli nie jest obsługiwana (i dlatego nie zostanie zapisana w tabeli kontrolnej Historia DDL).
• Gdy typ danych kolumny zostanie zmieniony, a następnie nazwa (tej samej) kolumny zostanie zmieniona, kiedy zadanie zostanie zatrzymane, zmiana DDL pojawi się w tabeli kontrolnej Historia DDL jako działanie „Usuń kolumnę”, a następnie „Dodaj kolumnę” po wznowieniu zadania. Takie samo działanie może również wystąpić w wyniku przedłużającego się opóźnienia.
• Operacje CREATE TABLE wykonywane na źródle, gdy zadanie jest zatrzymane, zostaną zastosowane do celu, gdy zadanie zostanie wznowione, ale nie zostaną zapisane jako DDL w tabeli kontrolnej Historia DDL.

• Operacje związane ze zmianami metadanych (takie jak ALTER TABLE, reorganizacja, odbudowa indeksu klastrowego itp.) mogą powodować nieprzewidywalne działania, jeśli zostaną wykonane:

  • Podczas pełnego ładowania

    LUB

  • Pomiędzy znacznikiem czasu opcji Zacznij przetwarzanie zmian od a bieżącym czasem (tj. momentem, w którym użytkownik kliknie przycisk OK w oknie dialogowym Zaawansowane opcje uruchamiania).

    Przykład:

    IF:

    Określony czas opcji Zacznij przetwarzanie zmian od to 10:00.

    AND:

    Kolumna o nazwie Wiek została dodana do tabeli Pracownicy o godzinie 10:10.

    AND:

    Użytkownik klika OK w oknie dialogowym Zaawansowane opcje uruchamiania o godzinie 10:15.

    THEN:

    Zmiany, które nastąpiły między 10:00 a 10:10 mogą skutkować błędami CDC.

  Informacja

  W każdym z powyższych przypadków należy przeładować tabele danych, aby dane zostały poprawnie przeniesione do miejsca docelowego.

• Instrukcja DDL ALTER TABLE ADD/MODIFY <column> <data_type> DEFAULT <> nie replikuje wartości domyślnej do wartości docelowej, a nowa/zmodyfikowana kolumna jest ustawiona na NULL. Może się tak zdarzyć, nawet jeśli instrukcja DDL, która dodała lub zmodyfikowała kolumnę została wykonana w przeszłości. Jeśli nowa lub zmodyfikowana kolumna jest pusta, źródłowy punkt końcowy aktualizuje wszystkie wiersze tabeli przed zarejestrowaniem samej instrukcji DDL. W rezultacie Qlik Talend Data Integration przechwytuje zmiany, ale nie aktualizuje celu. Ponieważ nowa lub modyfikowana kolumna jest ustawiona na NULL, jeśli tabela docelowa nie ma klucza głównego / unikatowego indeksu, kolejne aktualizacje wygenerują komunikat „zmieniono zero wierszy”.

• Modyfikacje kolumn o precyzji TIMESTAMP i DATE nie będą rejestrowane.

Ustawienia pamięci masowej

Możesz ustawić właściwości zadania pamięci masowej danych, gdy platformą danych jest Qlik Open Lakehouse.

• Kliknij opcję Ustawienia.

Ustawienia ogólne

• Baza danych

  Baza danych, która ma być użyta w źródle danych.

• Schemat zadania

  Możesz zmienić nazwę schematu zadania pamięci masowej danych. Domyślna nazwa to nazwa zadania pamięci masowej.

• Schemat wewnętrzny

  Możesz zmienić nazwę schematu zasobu danych wewnętrznej pamięci masowej. Domyślną nazwą jest nazwa zadania pamięci masowej z dodatkiem _internal.

• Domyślnie wielkie litery nazwy schematu

  Można ustawić domyślną wielkość liter wszystkich nazw schematów. Jeśli baza danych jest skonfigurowana do wymuszania wielkich liter, opcja ta nie będzie działać.

• Sufiks dla wszystkich tabel i widoków

  Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania.

  InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu.

• Historia

  Aby łatwo odtworzyć dane w postaci z konkretnego momentu, można zachować dane historyczne zmian. Do wyświetlania danych historycznych służą widoki historii i widoki historii na żywo. Wybierz opcję Zachowaj zapisy historyczne i archiwizuj zapisy zmian, aby włączyć dane historyczne zmian.

• Podczas porównywania pamięci masowej z lokalizacją umieszczania, możesz wybrać jak zarządzać rekordami, których nie ma w lokalizacji umieszczania.

  • Oznacz jako usunięte

    Spowoduje to miękkie usunięcie rekordów, które nie istnieją w obszarze umieszczania.

  • Zachowaj

    Spowoduje to zachowanie wszystkich rekordów, które nie istnieją w obszarze umieszczania

  InformacjaZestawy danych w zadaniu danych pamięci masowej muszą mieć zestaw kluczy głównych. W przeciwnym razie przy każdym przeładowaniu danych do umieszczania zostanie wykonane wstępne ładowanie zadania danych pamięci masowej.

Ustawienia czasu działania

• Wykonanie równoległe

  Możesz ustawić maksymalną liczbę połączeń dla pełnego ładowania w zakresie od 1 do 5.

• Hurtownia

  Nazwa hurtowni danych w chmurze. To ustawienie dotyczy tylko Snowflake.

Ustawienia katalogu

• Opublikuj w katalogu

  Wybierz tę opcję, aby opublikować tę wersję danych w Katalogu jako zbiór danych. Zawartość Katalogu zostanie zaktualizowana przy następnym przygotowywaniu zadania.

Aby uzyskać więcej informacji na temat Katalogu, zobacz Rozumienie danych za pomocą narzędzi katalogu.

Ewolucja schematu

Wybierz sposób obsługi następujących typów zmian DDL w schemacie. Po zmianie ustawień ewolucji schematu należy ponownie przygotować zadanie. Poniższa tabela opisuje, które działania są dostępne w przypadku obsługiwanych zmian DDL.

Operacje na zadaniu danych pamięci masowej

Z menu zadania można wykonać następujące operacje na zadaniu pamięci masowej danych.

• Otwórz

  Powoduje to otwarcie zadania danych pamięci masowej. Umożliwia przeglądanie struktury tabeli i szczegółów dotyczących zadania danych oraz monitorowanie statusu pełnego załadowania i partii zmian.

• Edytuj

  Umożliwia edycję nazwy i opisu zadania oraz dodawanie znaczników.

• Usuń

  Możesz usunąć zadanie danych.

• Przygotuj

  Przygotowuje to zadanie do wykonania. Obejmuje to następujące czynności:

  • Weryfikację poprawności projektu.

  • Tworzenie lub modyfikowanie fizycznych tabel i widoków w celu dopasowania do projektu.

  • Generowanie kodu SQL dla zadania danych

  • Tworzenie lub modyfikowanie pozycji katalogu dla wyjściowych zestawów danych zadania.

  Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

InformacjaZanim przygotujesz zadanie, zatrzymaj wszystkie zadania, które znajdują się bezpośrednio po nim.

• Sprawdź poprawność zestawów danych

  Powoduje to sprawdzenie poprawności wszystkich zestawów danych uwzględnionych w zadaniu danych.

  Aby zobaczyć wszystkie błędy wykryte podczas sprawdzania poprawności i zmiany w projekcie, rozwiń pozycję Sprawdź poprawność i dostosuj.

• Odtwarzanie tabel

  Odtwarza zbiory danych ze źródła. Podczas odtwarzania tabeli zadanie podrzędne zareaguje tak, jakby w źródłowych zestawach danych wykonano operację obcinania i przeładowania. Więcej informacji zawiera temat Rozwiązywanie problemów z zadaniem pamięci masowej danych.

• Zatrzymaj

  Powoduje zatrzymanie działania zadania danych. Zadanie danych nie będzie już aktualizować tabel.

  InformacjaTa opcja jest dostępna, gdy zadanie danych jest uruchomione.

• Wznów

  Umożliwia wznowienie działania zadania danych od momentu, w którym zostało zatrzymane.

  InformacjaTa opcja jest dostępna, gdy zadanie danych jest zatrzymane.

• Utwórz kopię lustrzaną danych

  Utwórz kopię lustrzaną tabel Qlik Open Lakehouse na innych platformach danych. Spowoduje to utworzenie zadania mirroringu danych.

  Mirroring danych do hurtowni danych w chmurze

Ograniczenia

• Jeśli zadanie danych zawiera zestawy danych i zmienisz jakiekolwiek parametry połączenia, na przykład nazwę użytkownika, bazę danych lub schemat, zakłada się, że dane istnieją w nowej lokalizacji. W przeciwnym razie można:

  • Przenieść dane ze źródła do nowej lokalizacji.

  • Utwórz nowe zadanie danych z tymi samymi ustawieniami.