Rejestrowanie danych, które już istnieją na platformie danych

Możesz rejestrować dane już istniejące na platformie danych, aby dobierać i przekształcać dane oraz tworzyć data marty. Umożliwia to używanie danych dołączonych przy użyciu innych narzędzi niż Integracja danych Qlik Cloud, na przykład Qlik Replicate.

Podczas rejestrowania danych są tworzone dwa zadania danych.

• Zarejestrowane dane

  Rejestracja danych obejmuje tworzenie widoków w celu przygotowania danych do tworzenia zestawów danych.

• Pamięć masowa

  Wiąże się to z generowaniem i przechowywaniem zestawów danych na podstawie zarejestrowanych danych.

  Przechowywanie zestawów danych

Po zarejestrowaniu danych możesz wykorzystać wygenerowane zestawy danych na kilka sposobów.

• Tych zestawów danych można używać w aplikacji analitycznej.

• Możesz tworzyć transformacje.

• Możesz utworzyć data mart.

Zarejestruj dane

Możesz rejestrować dane, które istnieją w hurtowni danych w chmurze zdefiniowanej w projekcie danych. Wygenerowane zestawy danych będą przechowywane w tej samej hurtowni danych w chmurze.

Więcej informacji na temat projektów danych, patrz Tworzenie potoku danych w projekcie danych.

1. Kliknij Dodaj nowe, a następnie Zarejestruj dane.

2. Dodaj Nazwę i Opis do zadania danych.

   Kliknij przycisk Dalej.

3. Wybierz dane do rejestracji.

   Wybieranie danych do uwzględnienia

   Kliknij przycisk Dalej.

   Wyświetlone zostaną Ustawienia.

4. Wybierz sposób aktualizacji danych w obszarze Metoda aktualizacji.

   • Użyj opcji Porównaj z bieżącą pamięcią masową, gdy dane zostały załadowane tylko raz lub jeśli są aktualizowane przy użyciu pełnych przeładowań.

   • Użyj opcji Przyrostowo przy użyciu progu górnego, aby przyrostowo przetwarzać zmiany danych przy użyciu wzorca progu górnego.

     Jeśli dane są replikowane przez zadanie Data Movement gateway z pełnym ładowaniem i zachowywaniem zmian, wybierz Data Movement gatewayUstawienia domyślne jako Ustawienia ładowania przyrostowego.

     W przeciwnym razie ustaw Ustawienia ładowania przyrostowego na Domyślne ustawienia projektu danych. Ustawienia domyślne można zmienić. Więcej informacji zawiera temat Metoda aktualizacji.

5. Przejrzyj dwa zadania danych, które zostały utworzone w Podsumowaniu, i zmień ich nazwę, jeśli chcesz.

   WskazówkaNazwy te są używane podczas nazywania schematów baz danych w zadaniu danych pamięci masowej. Ponieważ schemat może być przypisany tylko do jednego zadania, rozważ użycie unikatowych nazw, aby uniknąć konfliktów z zadaniami danych w innych projektach wykorzystujących tę samą platformę danych.

6. Wybierz, czy chcesz otworzyć zadanie zarejestrowanych danych, czy wrócić do projektu danych.

   Kiedy wszystko będzie gotowe, kliknij Zakończ.

Zostały utworzone dwa zadania danych. Aby rozpocząć replikację danych:

• Przygotuj zadanie zarejestrowanych danych.

  Kliknij Przygotuj w zadaniu danych.

  Po utworzeniu artefaktów stan zadania danych zmienia się na Zarejestrowane.

• Przygotuj i uruchom zadanie pamięci masowej danych.

  Więcej informacji zawiera temat Przechowywanie zestawów danych.

Wybieranie danych do uwzględnienia

Podczas wybierania danych do uwzględnienia możesz wybrać określone tabele lub widok albo użyć reguł wyboru w celu uwzględnienia lub wykluczenia grup tabel.

Użyj % jako symbolu wieloznacznego, aby określić kryteria wyboru schematów i tabel.

• %.% określa wszystkie tabele we wszystkich schematach.

• Public.% definiuje wszystkie tabele w schemacie Publiczny.

Kryteria wyboru dają podgląd na podstawie Twoich wyborów.

Możesz teraz:

• Utwórz regułę, aby włączyć lub wykluczyć grupę tabel na podstawie kryteriów wyboru.

  Kliknij przycisk Dodaj regułę spośród kryteriów wyboru, aby utworzyć regułę, a następnie wybierz opcjęUwzględnij lub Wyklucz.

  Regułę można zobaczyć w sekcji Reguły selekcji.

• Zaznacz jeden lub więcej zestawów danych, a następnie kliknij Dodaj wybrane zestawy danych.

  Dodane zestawy danych możesz zobaczyć w sekcji Jawnie wybrane zestawy danych.

Reguły wyboru dotyczą tylko aktualnego zestawu tabel i widoków, a nie tabel i widoków dodanych w przyszłości.

Ustawienia zarejestrowanych danych

Możesz ustawić właściwości zadania zarejestrowanych danych.

• Kliknij Ustawienia.

Ogólne

• Baza danych

  Baza danych, która ma być użyta w celu.

• Schemat zadania dotyczącego danych

  Możesz zmienić nazwę schematu zadania danych.

• Sufiks dla wszystkich tabel i widoków

  Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania.

  InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu.

Metoda aktualizacji

Wykrywanie zmian

• Użyj opcji Porównaj z bieżącą pamięcią masową, gdy dane zostały załadowane tylko raz lub jeśli są aktualizowane przy użyciu pełnych przeładowań.

• Użyj opcji Przyrostowo przy użyciu progu górnego, aby przyrostowo przetwarzać zmiany danych przy użyciu metody progu górnego.

Ustawienia obciążenia przyrostowego

Te ustawienia są dostępne po wybraniu Przyrostowo przy użyciu progu górnego.

Jeśli dane są replikowane przez zadanie Data Movement gateway z pełnym ładowaniem i zachowywaniem zmian, wybierz Data Movement gatewayustawienia jako Ustawienia ładowania przyrostowego. W przeciwnym razie ustaw Ustawienia ładowania przyrostowego na Niestandardowe i samodzielnie zdefiniuj ustawienia.

• Tabele zmian

  Jeżeli zmiany są w tej samej tabeli, wybierz opcję Zmiany są w tej samej tabeli.

  Jeśli nie, usuń zaznaczenie opcji Zmiany są w tej samej tabeli i określ wzorzec tabeli zmian w obszarze Wzorzec tabeli zmian.

• Kolumna progu górnego

  Ustaw nazwę kolumny progu górnego w obszarze Nazwa.

• Kolumna „Data od”

  Możesz wskazać „Datę od” na podstawie godziny rozpoczęcia operacji wsadowej lub za pomocą wybranej kolumny.

  Jeżeli wybierzesz Wybrana kolumna „Data od”, musisz zdefiniować Wzór „daty od”.

• Usunięcia nietrwałe

  Możesz uwzględnić w zmianach usunięcia nietrwałe, wybierając Zmiany obejmują usunięcia nietrwałe i definiując wyrażenie wskazania.

  Wynikiem wyrażenia wskazania powinna być prawda, jeśli zmiana polega na usunięciu nietrwałym.

  Przykład: ${is_deleted} = 1

• Obraz przed

  Rekordy obrazów sprzed zmian możesz odfiltrować w tabelach zmian, wybierając Obraz przed i definiując wyrażenie wskazania.

  Wynikiem wyrażenia wskazania powinna być prawda, jeśli wiersz zawiera obraz sprzed aktualizacji.

  Przykład: ${header__change_oper} = 'B'

Zalecana konfiguracja Qlik Replicate

Te ustawienia zadania Qlik Replicate są zalecane podczas rejestrowania danych, które są replikowane przy użyciu zadania Qlik Replicate przechowującego zmiany.

• Zadanie Qlik Replicate należy skonfigurować z opcjami Pełne ładowanie i Zapisz zmiany.

• Wybierz Ustawienia przechowywania zmian > Tabele zmian i sprawdź, czy uwzględniono następujące kolumny tabeli zmian, używając ich nazw domyślnych:

  • [header__]change_seq

  • [header__]change_oper

  • [header__] timestamp

• Wybierz Ustawienia przechowywania zmian > Tabele zmian i ustaw Po operacji UPDATE na Przechowuj tylko obraz wynikowy.

  Zmniejsza to miejsce zajmowane przez każdą aktualizację, ponieważ poprzedni obraz nie jest uwzględniany. Użyj tej opcji, jeśli nie planujesz używać obrazu poprzedniego.

• Wybierz Ustawienia przechowywania zmian > Tabele zmian i ustaw Sufiks na wartość domyślną __ct.

• Nie stosuj następujących przekształceń globalnych:

  • Zmiana nazwy tabeli

  • Schemat Zmiany nazw tabeli

• Jeśli można zaktualizować klucz podstawowy w tabeli źródłowej, włącz operacje DELETE i INSERT podczas aktualizowania opcji kolumny klucza podstawowego w obszarze Optymalizacja przetwarzania zmian.

  Historia starego rekordu nie zostanie zachowana w nowym rekordzie.

  InformacjaTa opcja jest obsługiwana od Qlik Replicate z listopada 2022 r.

Operacje na zadaniu zarejestrowanych danych

Z menu zadania można wykonać następujące operacje na zadaniu zarejestrowanych danych.

• Otwórz

  Powoduje otwarcie zadania danych. Możesz wyświetlić strukturę tabeli i szczegóły dotyczące zadania danych.

• Edytuj

  Umożliwia edycję nazwy i opisu zadania oraz dodawanie znaczników.

• Usuń

  Możesz usunąć zadanie danych.

  Dane źródłowe nie są usuwane.

• Synchronizowanie zestawów danych

  W ten sposób synchronizowane są zmiany w projekcie, które nie mogą być dostosowane automatycznie.

• Odtwarzanie tabel

  Odtwarza zbiory danych ze źródła.

  Należy też ponownie utworzyć wszystkie zadania danych podrzędnych, które korzystają z tego zadania danych.

• Przechowaj dane

  Możesz utworzyć zadanie przechowywania danych, które wykorzystuje dane z tego zadania umieszczania danych.

Uwagi dotyczące pojemności danych

• Jeśli zarejestrowana tabela nie ma klucza podstawowego, w przypadku każdego uruchomienia zostanie wykonane pełne przeładowanie. Zostanie to wliczone do Twojego miesięcznego limitu pojemności zarejestrowanych danych. Jest tak dlatego, że pamięć masowa będzie musiała porównać wszystkie rekordy, aby znaleźć zmiany.

• Pojemność zarejestrowanych danych jest liczona w pamięci. Oznacza to, że usunięcie zarejestrowanych danych jest interpretowane jako wstawienie lub aktualizacja pamięci (usunięcie nietrwałe) i jest uwzględniane w liczeniu pojemności danych.

• Usunięcia nietrwałe, wstawienia i aktualizacje są liczone dwukrotnie na poczet pojemności danych, jeśli tabela z zarejestrowanych danych jest używana w dwóch zadaniach pamięci masowej danych.