Przechowywanie zestawów danych

Zestawy danych można przechowywać przy użyciu zadania danych pamięci masowej. Zadanie danych pamięci masowej korzysta z danych umieszczonych w obszarze umieszczania w chmurze przez zadanie umieszczania danych. Tych tabel można używać na przykład w aplikacji analitycznej.

• Możesz zaprojektować zadanie danych pamięci masowej, gdy status zadania umieszczania danych jest co najmniej Gotowy do przygotowania.

• Możesz przygotować zadanie danych pamięci masowej, gdy status zadania umieszczania danych jest co najmniej Gotowy do uruchomienia.

Zadanie danych w pamięci masowej będzie używać tego samego trybu działania (Pełne ładowanie lub Pełne ładowanie i CDC) co wykorzystane zadanie danych do umieszczenia. Właściwości konfiguracji różnią się w obu trybach pracy, a także w przypadku opcji monitorowania i sterowania. Jeśli używasz zadania umieszczania danych w chmurze tylko z pełnym ładowaniem, zadanie danych w pamięci masowej utworzy widoki do tabel danych do umieszczania zamiast generowania tabel fizycznych.

Tworzenie zadania danych w pamięci masowej

Zadanie danych w pamięci masowej można utworzyć na trzy sposoby:

• Kliknij ... na zadaniu umieszczania danych i wybierz opcję Przechowuj dane, aby utworzyć zadanie danych pamięci masowej na podstawie tego zasobu danych do umieszczania.

• Kliknij opcję Dodaj nowy, a następnie Przechowuj dane. W tym przypadku musisz określić, które zadanie umieszczania danych ma zostać użyte.

• Gdy dodajesz dane, tworzone jest zadanie danych pamięci masowej. Jest ono połączone z zadaniem umieszczania danych, które jest również tworzone podczas dodawania danych.

  Więcej informacji, patrz Dołączanie danych.

Po utworzeniu zadania danych pamięci masowej:

1. Otwórz zadanie danych pamięci masowej, klikając ... i wybierając Otwórz.
   Zadanie danych pamięci masowej zostanie otwarte i będzie można podejrzeć wyjściowe zestawy danych oparte na tabelach z zasobu danych do umieszczania.

2. Dokonaj wszystkich wymaganych zmian w dołączonych zestawach danych, takich jak transformacje, filtrowanie danych czy dodawanie kolumn.

   Aby uzyskać więcej informacji, zobacz temat Zarządzanie zestawami danych.

3. Po dodaniu odpowiednich transformacji możesz zatwierdzić zestawy danych, klikając Zatwierdź zestawy danych. Jeśli walidacja wykaże błędy, należy je naprawić przed kontynuacją.

   Aby uzyskać więcej informacji, zobacz temat Sprawdzanie poprawności i dostosowywanie zestawów danych.

4. Utwórz model danych

   Kliknij Model, aby ustawić relacje między dołączonymi zestawami danych.

   Aby uzyskać więcej informacji, zobacz temat Tworzenie modelu danych.

5. Kliknij Przygotuj, aby przygotować zadanie danych i wszystkie wymagane artefakty. Może to trochę potrwać.

   Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

6. Gdy na ekranie pojawi się komunikat Gotowy do uruchomienia, możesz uruchomić zadanie danych.

   Kliknij Uruchom.

   Zadanie danych zacznie teraz tworzyć zestawy danych do przechowywania danych.

Przechowywanie danych historycznych

Aby łatwo odtworzyć dane w postaci z konkretnego momentu, można zachować dane historyczne zmian typu 2. Generuje to też pełny magazyn danych historycznych (HDS).

• Obsługiwane są powoli zmieniające się wymiary typu 2.

• Kiedy zmieniony rekord jest scalany, tworzy nowy rekord do przechowywania zmienionych danych i pozostawia stary rekord bez zmian.

• Nowe rekordy HDS są automatycznie oznaczane znacznikiem czasu, aby umożliwić tworzenie analiz trendów i innych analitycznych data martów zorientowanych na czas.

Dane historyczne można włączyć, klikając:

• Replikacja z bieżącymi danymi i historią poprzednich danych w Ustawieniach podczas dodawania danych.

• Zachowaj zapisy historyczne zmian i archiwum zapisów zmian w oknie dialogowym Ustawienia zadania pamięci masowej.

Dane HDS są przechowywane w tabeli Prior w wewnętrznym schemacie danych. Do wyświetlania danych historycznych służą widoki historii i widoki historii na żywo w schemacie danych zewnętrznych.

• Widok historii scala dane z tabeli Current i tabeli Prior. Ten widok zawiera wszystkie scalone zmiany.

• Widok historii na żywo scala dane z tabeli Current, tabeli Prior i tabeli Changes. Ten widok zawiera również wszystkie zmiany, które nie zostały jeszcze scalone.

Więcej informacji, patrz Architektura zbiorów danych w hurtowni danych w chmurze.

Planowanie zadania pamięci masowej

Możesz zaplanować okresową aktualizację zadania pamięci masowej.

• Jeśli zadanie wejściowe umieszczania danych korzysta z Pełnego ładowania i CDC, można ustawić tylko harmonogram oparty na czasie.

• Jeśli zadanie wejściowe umieszczania danych korzysta z Pełnego ładowania, możesz ustawić harmonogram oparty na czasie lub uruchamianie zadania po zakończeniu zadania wejściowego umieszczania danych.

  InformacjaPodczas uruchamiania harmonogramu opartego na czasie z zadaniem wejściowym umieszczania danych przy użyciu Pełnego obciążenia należy wziąć pod uwagę, że każda tabela ukończona podczas umieszczania jest dostępna, gdy zadanie umieszczania nadal działa. Pozwala to na jednoczesne uruchamianie umieszczania i przechowywania, co może skrócić całkowity czas ładowania.

Kliknij ... na zadaniu danych i wybierz Planowanie, aby utworzyć harmonogram. Domyślne ustawienie planowania jest dziedziczone z ustawień w projekcie danych. Więcej informacji na temat ustawień domyślnych zawiera temat Wartości domyślne pamięci masowej. Aby włączyć harmonogram, należy zawsze ustawić opcję Planowanie na Wł.

Harmonogramy oparte na czasie

Możesz użyć harmonogramu opartego na czasie, aby uruchomić zadanie pamięci masowej niezależnie od typu umieszczania.

• Wybierz O określonym czasie w Uruchom zadanie danych.

Możesz ustawić harmonogram godzinowy, dzienny, tygodniowy lub miesięczny.

Harmonogramy oparte na zdarzeniach

• Wybierz Po pomyślnym ukończeniu jakiegokolwiek zadania wprowadzania danych w Uruchom zadanie danych.

Zadanie pamięci masowej będzie uruchamiane za każdym razem, gdy zadanie wejściowe umieszczania danych zakończy się pomyślnie.

Monitorowanie zadania pamięci masowej

Możesz monitorować stan i postęp zadania pamięci masowej, klikając Monitoruj.

Aby uzyskać więcej informacji, zobacz temat Monitorowanie indywidualnego zadania danych.

Rozwiązywanie problemów z zadaniem pamięci masowej danych

W przypadku problemów z jedną lub większą liczbą tabel w zadaniu pamięci masowej danych może być konieczne przeładowanie bądź odtworzenie danych. Istnieje kilka opcji umożliwiających wykonanie tej czynności. Rozważ użycie tych opcji w następującej kolejności:

1. Możesz przeładować zestaw danych podczas umieszczania. Przeładowywanie zestawu danych podczas umieszczania wywoła proces porównania w pamięci masowej, a prawidłowe dane zachowają historię typu 2. Tę opcję warto rozważyć także wtedy, gdy:

   • Pełnego ładowania dokonano dawno temu i jest dużo zmian.

   • Jeżeli rekordy podlegające pełnemu ładowaniu i rekordy tabeli zmian, które zostały przetworzone, zostały usunięte w ramach konserwacji obszaru umieszczania.

   Umieszczanie danych ze źródeł danych

2. Możesz przeładować dane w zadaniu pamięci masowej danych.

   Jeżeli dane historyczne są włączone, przeładowanie w pamięci może spowodować utratę danych historycznych. Jeśli jest to problem, rozważ zamiast tego przeładowanie umieszczania ze źródła.

   Ładowanie danych

3. Możesz odtworzyć tabele. Odtwarza zbiory danych ze źródła.

   • Kliknij ..., a następnie kliknij opcję Odtwórz tabele. Podczas odtwarzania tabeli zadanie podrzędne zareaguje tak, jakby w źródłowych zestawach danych wykonano operację obcinania i przeładowania.

Ładowanie danych

Możesz wykonać ręczne przeładowanie tabel. Jest to przydatne, gdy występują problemy z jedną lub większą liczbą tabel.

1. Otwórz zadanie danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

3. Kliknij przycisk Przeładuj tabele.

Przeładowanie nastąpi przy następnym uruchomieniu zadania i jest wykonywane przez:

1. Obcinanie tabel.

2. Ładowanie danych umieszczania do tabel.

3. Ładowanie zmian zgromadzonych od czasu przeładowania.

Zadania podrzędne zostaną przeładowane w celu zastosowania zmian i uniknięcia datowania wstecznego. Jeśli przeładowanie polega na obcięciu i przeładowaniu, wszystkie obiekty na dalszych etapach również zostaną przeładowane przez obcięcie i przeładowanie.

Wpływ na dalsze etapy zależy od rodzaju wykonanej operacji przeładowania i rodzaju bezpośrednio następującego zestawu danych. Przetwarzanie standardowe oznacza, że zestaw danych będzie reagował i przetwarzał dane przy użyciu metody skonfigurowanej dla określonego zbioru danych.

• W zadaniach transformacji na dalszych etapach:

  Transformacje zestawu danych są przeładowywane przez obcinanie i ładowanie.

  Transformacje SQL i przepływy transformacji są przeładowywane przez porównanie z pełnym ładowaniem i zastosowanie zmian.

• Zadania data mart bezpośrednio następujące po zadaniu pamięci masowej są przeładowywane przez obcinanie i ładowanie.

Możesz anulować przeładowanie tabel oczekujących na przeładowanie, klikając Anuluj przeładowanie. Nie wpłynie to na tabele już przeładowane, a trwające przeładowania zostaną ukończone.

Ustawienia pamięci masowej

Możesz ustawić właściwości zadania pamięci masowej danych, gdy platformą danych jest hurtownia danych w chmurze. Jeśli używasz Qlik Cloud jako platformy danych, zobacz temat Ustawienia pamięci masowej dla projektów danych z Qlik Cloud jako platformą danych.

• Kliknij Ustawienia.

Ustawienia ogólne

• Baza danych

  Baza danych, która ma być użyta w źródle danych.

• Schemat zadania

  Możesz zmienić nazwę schematu zadania pamięci masowej danych. Domyślna nazwa to nazwa zadania pamięci masowej.

• Schemat wewnętrzny

  Możesz zmienić nazwę schematu zasobu danych wewnętrznej pamięci masowej. Domyślną nazwą jest nazwa zadania pamięci masowej z dodatkiem _internal.

• Sufiks dla wszystkich tabel i widoków

  Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania.

  InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu.

• Historia

  Aby łatwo odtworzyć dane w postaci z konkretnego momentu, można zachować dane historyczne zmian. Do wyświetlania danych historycznych służą widoki historii i widoki historii na żywo. Wybierz opcję Zachowaj zapisy historyczne i archiwizuj zapisy zmian, aby włączyć dane historyczne zmian.

• Podczas porównywania pamięci masowej z lokalizacją umieszczania, możesz wybrać jak zarządzać rekordami, których nie ma w lokalizacji umieszczania.

  • Oznacz jako usunięte

    Spowoduje to miękkie usunięcie rekordów, które nie istnieją w obszarze umieszczania.

  • Zachowaj

    Spowoduje to zachowanie wszystkich rekordów, które nie istnieją w obszarze umieszczania

  InformacjaZestawy danych w zadaniu danych pamięci masowej muszą mieć zestaw kluczy głównych. W przeciwnym razie przy każdym przeładowaniu danych do umieszczania zostanie wykonane wstępne ładowanie zadania danych pamięci masowej.

Ustawienia widoków

• Widoki na żywo

  Odczytaj tabele z najmniejszym opóźnieniem za pomocą widoków na żywo.

  Więcej informacji o widokach na żywo zawiera temat Korzystanie z widoków na żywo.

  InformacjaWidoki na żywo są mniej wydajne niż standardowe widoki i wymagają więcej zasobów, ponieważ zastosowane dane muszą zostać ponownie obliczone.

Ustawienia czasu działania

• Wykonanie równoległe

  Możesz ustawić maksymalną liczbę połączeń dla pełnego ładowania w zakresie od 1 do 5.

• Hurtownia

  Nazwa hurtowni danych w chmurze. To ustawienie dotyczy tylko Snowflake.

Ustawienia katalogu

• Opublikuj w katalogu

  Wybierz tę opcję, aby opublikować tę wersję danych w Katalogu jako zbiór danych. Zawartość Katalogu zostanie zaktualizowana przy następnym przygotowywaniu zadania.

Aby uzyskać więcej informacji na temat Katalogu, zobacz Rozumienie danych za pomocą narzędzi katalogu.

Ustawienia pamięci masowej dla projektów danych z Qlik Cloud jako platformą danych

Możesz ustawić folder, który ma być używany w pamięci masowej, gdy platformą danych jest Qlik Cloud.

1. Kliknij Ustawienia.

2. Wybierz folder, który ma być używany do zapisywania w pamięci masowej.

3. Po zakończeniu kliknij OK.

Operacje na zadaniu danych pamięci masowej

Z menu zadania można wykonać następujące operacje na zadaniu pamięci masowej danych.

• Otwórz

  Powoduje to otwarcie zadania danych pamięci masowej. Umożliwia przeglądanie struktury tabeli i szczegółów dotyczących zadania danych oraz monitorowanie statusu pełnego załadowania i partii zmian.

• Edytuj

  Umożliwia edycję nazwy i opisu zadania oraz dodawanie znaczników.

• Usuń

  Możesz usunąć zadanie danych.

• Przygotuj

  Przygotowuje to zadanie do wykonania. Obejmuje to następujące czynności:

  • Weryfikację poprawności projektu.

  • Tworzenie lub modyfikowanie fizycznych tabel i widoków w celu dopasowania do projektu.

  • Generowanie kodu SQL dla zadania danych

  • Tworzenie lub modyfikowanie pozycji katalogu dla wyjściowych zestawów danych zadania.

  Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

• Sprawdź poprawność zestawów danych

  Powoduje to sprawdzenie poprawności wszystkich zestawów danych uwzględnionych w zadaniu danych.

  Aby zobaczyć wszystkie błędy wykryte podczas sprawdzania poprawności i zmiany w projekcie, rozwiń pozycję Sprawdź poprawność i dostosuj.

• Odtwarzanie tabel

  Odtwarza zbiory danych ze źródła. Podczas odtwarzania tabeli zadanie podrzędne zareaguje tak, jakby w źródłowych zestawach danych wykonano operację obcinania i przeładowania. Rozwiązywanie problemów z zadaniem pamięci masowej danychWięcej informacji zawiera temat .

• Zatrzymaj

  Powoduje zatrzymanie działania zadania danych. Zadanie danych nie będzie już aktualizować tabel.

  InformacjaTa opcja jest dostępna, gdy zadanie danych jest uruchomione.

• Wznów

  Umożliwia wznowienie działania zadania danych od momentu, w którym zostało zatrzymane.

  InformacjaTa opcja jest dostępna, gdy zadanie danych jest zatrzymane.

• Przekształć dane

  Tworzenie przeznaczonych do wielokrotnego użytku transformacji danych na poziomie wiersza na podstawie reguł i niestandardowych instrukcji SQL. Spowoduje to utworzenie zadania danych Transformacja.

  Przekształcanie danych

• Utwórz data mart

  Utwórz data mart, aby wykorzystać zadania danych. Spowoduje to utworzenie zadania danych Data mart.

  Tworzenie data martów (tematycznych hurtowni danych) i zarządzanie nimi

Ograniczenia

• Jeśli zadanie danych zawiera zestawy danych i zmienisz jakiekolwiek parametry połączenia, na przykład nazwę użytkownika, bazę danych lub schemat, zakłada się, że dane istnieją w nowej lokalizacji. W przeciwnym razie można:

  • Przenieść dane ze źródła do nowej lokalizacji.

  • Utwórz nowe zadanie danych z tymi samymi ustawieniami.

• Nie można zmienić kluczy podstawowych w zadaniach pamięci masowej w projektach z Qlik Cloud (QVD) jako obiektem docelowym. Zaktualizuj klucze podstawowe w zadaniu umieszczania, utwórz ponownie zadanie umieszczania, a następnie utwórz ponownie zadanie pamięci masowej.