Tworzenie data martów (tematycznych hurtowni danych) i zarządzanie nimi

Po dołączeniu danych można utworzyć data mart (tematyczną hurtownię danych) przy użyciu danych z zadań Pamięć masowa lub Transformacja. W zależności od potrzeb biznesowych można utworzyć dowolną liczbę data martów. Najlepiej, aby tematyczna hurtownia danych zawierała podsumowane dane zbierane na potrzeby analizy w konkretnej sekcji lub jednostce organizacji, na przykład dziale sprzedaży.

Procedura tworzenia data martu (tematycznej hurtowni danych) jest identyczna niezależnie od tego, czy podstawą jest zadanie Pamięć masowa, czy Transformacja. Na potrzeby instrukcji w tej sekcji przyjęto, że data mart jest oparty na zadaniu Pamięć masowa.

Wymagania wstępne

Przed przystąpieniem do tworzenia data martu należy wykonać następujące czynności:

• Wypełnienie pamięci masowej danymi (z umieszczania), które zostaną użyte w data marcie. Więcej informacji zawiera temat Dołączanie danych.

• Utworzenie relacyjnego modelu zestawu danych w celu zdefiniowania relacji między źródłowymi zestawami danych. Więcej informacji zawiera temat Tworzenie modelu danych.

  OstrzeżenieWszystkie źródłowe zestawy danych muszą mieć klucze.

Tworzenie data martu (tematycznej hurtowni danych)

Aby utworzyć data mart:

1. Otwórz projekt.

2. Wykonaj jedną z poniższych czynności:

   • Kliknij przycisk Utwórz w prawym górnym rogu i wybierz polecenie Utwórz data mart.

   • W zadaniu pamięci masowej kliknij w prawym dolnym rogu, a następnie wybierz Utwórz data mart.

   Zostanie otwarte okno dialogowe Tworzenie data martu.

   

3. Podaj nazwę data martu i opcjonalnie opis.

4. Aby skonfigurować data mart (tematyczną hurtownię danych) później, wyczyść pole wyboru Otwórz i następnie kliknij przycisk Utwórz. W przeciwnym razie po prostu kliknij przycisk Utwórz.

   Tematyczna hurtowania danych zostanie otwarta na karcie Data mart.

   

5. Wybierz źródło danych zgodnie z opisem w temacie Wybieranie źródła danych
6. Aby data mart zawierał wymiary, dodaj je zgodnie z opisem w temacie Dodawanie wymiarów i faktów do data martu
7. Aby data mart zawierał fakt, dodaj go zgodnie z opisem w temacie Dodawanie faktu
8. Jeśli tematyczna hurtownia danych zawiera zarówno wymiary, jak i fakt, dodaj wymiary do schematu gwiazdy zgodnie z opisem w temacie Tworzenie schematu gwiazdy
9. Utwórz zestawy danych w data marcie (tematycznej hurtowni danych) i wypełnij je danymi zgodnie z opisem w temacie Wypełnianie data martu

Wybieranie źródła danych

Źródło danych wybiera się z zadania danych w pamięci masowej.

Wykonaj następujące czynności:

1. Kliknij przycisk Wybierz źródło danych na środku karty lub przycisk Wybierz źródło danych na pasku narzędzi.

   Zostanie otwarte okno dialogowe Wybieranie źródła danych.

   

2. Z listy rozwijanej Zasoby danych wybierz zadanie Pamięć masowa lub zadanie Transformacja, jeśli utworzono transformacje.

3. Aby wyszukiwać we wszystkich zestawach danych, pozostaw wartość domyślną %. Aby znaleźć konkretny zestaw danych, wpisz nazwę. Następnie kliknij przycisk Wyszukaj.

4. Wybierz odpowiednie zestawy danych i następnie kliknij przycisk Dodaj wybrane tabele.

5. Kliknij przycisk OK w celu zamknięcia okna dialogowego, a następnie dodaj fakt i (lub) dodaj wymiary.

Dodawanie wymiarów i faktów do data martu

Po wybraniu źródła danych można przejść do budowania data martu (tematycznej hurtowni danych). Tematyczna hurtownia danych może zawierać zestaw danych faktów, zestawy danych wymiarów lub ich połączenie (gdy zestawy danych wymiarów są logicznie powiązane z zestawem danych faktów).

Dodawanie wymiarów

Aby dodać wymiar:

1. Kliknij przycisk Dodaj wymiar.

   Zostanie otwarte okno dialogowe Dodawanie wymiaru.

2. Dostępne są następujące ustawienia:

   • Najbardziej szczegółowy zestaw danych: wybierz zestaw danych.
   • Nazwa: podaj nazwę wyświetlaną wymiaru. Wartością domyślną jest nazwa najbardziej szczegółowego zestawu danych.
   • Opis: opcjonalnie podaj opis.
   • Typ historii: wybierz jedną z następujących opcji:
     • Typ 1: Rekordy w wymiarze będą aktualizowane za każdym razem, gdy nastąpi aktualizacja odpowiadających im rekordów w pamięci masowej.
     • Typ 2: Nowy rekord zostanie dodany do wymiaru za każdym razem, gdy nastąpi aktualizacja odpowiadającego mu rekordu w pamięci masowej.

   • Powiązany zestaw danych do denormalizacji: do wyboru będą dostępne wszystkie zestawy danych, które podlegają denormalizacji w zestawie danych wymiaru (zgodnie z relacjami w modelu źródłowego zasobu danych).

      

     

3. Kliknij przycisk OK, aby zapisać ustawienia.

   Wymiar zostanie dodany do listy Wymiary po lewej.

Zobacz także Wymiary odgrywające role.

Wyświetlanie informacji o wymiarze

Po wybraniu wymiaru w środkowym panelu zostanie wyświetlona karta Model relacyjny źródła. Na karcie są wyświetlane źródłowe zestawy danych skonsolidowane w wymiarze. Zestawy danych wybrane do denormalizacji podczas dodawania wymiaru zostaną wyświetlone jako wybrane (i wyszarzone).

Dodawanie faktu

Aby dodać fakt:

1. Kliknij przycisk Dodaj fakt.

   Zostanie otwarte okno dialogowe Dodaj fakt.

2. Dostępne są następujące ustawienia:

   • Fakt: wybierz zestaw danych, który będzie faktem. Zestaw danych powinien definiować szczegółowość tworzonego faktu.
   • Nazwa: podaj nazwę wyświetlaną faktu. Wartością domyślną jest nazwa faktu.
   • Opis: opcjonalnie podaj opis.
   • Powiązane zestawy danych do denormalizacji: do wyboru będą dostępne wszystkie zestawy danych, które można denormalizować w zestawie danych faktów.
   • Zaawansowane
     • Użyj bieżących danych: Po wybraniu (domyślnie) fakt nie będzie zawierał kolumny daty transakcji.

     • Wybierz datę transakcji: Aby zlokalizować dane według określonej daty transakcji, wybierz tę opcję, a następnie wybierz kolumnę daty. Przydaje się to, gdy schemat gwiaździsty zawiera wymiary typu 2 i musisz znaleźć prawidłowe dane dla określonej transakcji. Jeżeli na przykład klient ma wiele adresów, być może uda się znaleźć właściwy adres na podstawie daty zamówienia.

       Przykładowe zastosowanie:

       Sprzedawca musi utworzyć data mart, aby analizować relacje między zamówieniami a klientami. Data mart powinien dawać odpowiedzi na pytania takie jak: Który stan USA miał największą sumę zamówień w IV kwartale 2022 r.?

        

       Jeśli sprzedawca wybierze opcję Użyj bieżących danych, w obliczeniach uwzględniona zostanie tylko najbardziej aktualna wersja rekordu w tabeli Customers.

       Zignorowanie daty transakcji spowoduje niedokładność danych, jak pokazano poniżej:

        

       

        

       Jeśli jednak sprzedawca wybierze opcję Wybierz datę transakcji, zamówienia klienta zostaną skojarzone z prawidłową wersją rekordu w tabeli Customers.

       Pozwoli to sprzedawcy dokładnie obliczyć całkowitą sumę zamówień na stan w IV kwartale 2022 r.

        

       

       WskazówkaNależy pamiętać, że data transakcji może być różnie wykorzystywana w poszczególnych data martach, w zależności od potrzeb biznesowych. Na przykład w jednym data marcie można jej użyć do analizy dat zamówień, podczas gdy w innym data marcie można jej użyć do analizy dat wysyłki.

3. Kliknij przycisk OK, aby zapisać ustawienia.

   Fakt zostanie dodany do listy Fakty po lewej stronie.

Wyświetlanie informacji o fakcie

Po wybraniu faktu w środkowym panelu są wyświetlane następujące karty:

• Model schematu gwiazdy model (domyślnie): przedstawia graficzną reprezentację relacji zestawu danych w ramach data martu (tematycznej hurtowni danych).

• Model faktów: przedstawia zestawy danych powiązane z zestawem danych faktów. Zestawy danych wybrane do denormalizacji podczas dodawania faktu zostaną wyświetlone jako wybrane (i wyszarzone).

   

  

• Data transakcji: Nazwa kolumny transakcji w przypadku wybrania opcji Wybierz datę transakcji podczas dodawania faktu.

Obsługa nieznanych i opóźnionych wymiarów

Każdy wymiar zawiera wiersze -1 i 0, które stanowią klucz biznesowy wymiaru (identyfikator obiektu). Wiersz -1 jest zarezerwowany dla opóźnionych wymiarów, podczas gdy wiersz 0 jest zarezerwowany dla nieznanych wymiarów.

Nieznane wymiary

„Nieznane” to dane, które były niedostępne w momencie pierwotnego utworzenia wymiaru. Załóżmy na przykład, że masz fakt ORDER (Zamówienie) z kolumną SHIPPER (Spedytor), która jest kluczem biznesowym dla wymiaru SHIPPER. Jeśli zamówienie z wiersza faktu ORDER nie zostało jeszcze wysłane — a zatem ma wartość NULL dla kolumny SHIPPER — zostanie powiązane z rekordem 0 (oznaczającym Nieznany dla wymiaru). Gdy fakt ORDER zostanie później zaktualizowany o wartość SHIPPER (na przykład USPS), powiązany identyfikator wymiaru (0) zostanie z kolei zaktualizowany.

Opóźnione wymiary

Opóźniony wymiar ma klucz, który istnieje w nowych danych faktów, ale który jeszcze nie istnieje w wymiarze. Na przykład, jeśli SHIPPER w fakcie ORDER ma wartość „NEWSHIP” dla nowego spedytora, a ten klucz biznesowy nie istnieje jeszcze w wymiarze DIM_SHIPPER, przetwarzanie data mart odniesie ten fakt do wiersza -1. Oznacza to brak elementu wymiaru w tabeli wymiarów. Gdy klucz biznesowy „NEWSHIP” pojawi się dla wymiaru DIM_SHIPPER, jego wiersz wymiaru zostanie utworzony, a rekord faktu zostanie zaktualizowany w celu dostosowania do wcześniej brakującego wymiaru.

Tworzenie schematu gwiazdy

Po dodaniu wymiarów do data martu (tematycznej hurtowni danych) można połączyć je z zestawem danych faktów, tym samym tworząc schemat gwiazdy.

Wykonaj następujące czynności:

1. Wybierz fakt z listy Fakty po lewej stronie.

2. Z listy Zalecane wymiary po prawej wybierz wymiary do dodania.

   Zalecane wymiary są wyświetlane jako połączone z zestawem danych faktów przy użyciu linii kropkowanej.

   Na poniższej ilustracji niektóre wymiary zostały dodane wcześniej i dlatego są połączone ciągłą szarą linią.

   

3. Kliknij przycisk Zastosuj, aby dodać wymiary.

   Wymiary zostaną wyświetlone jako połączone z zestawem danych faktów przy użyciu szarej linii ciągłej.

4. Aby zamknąć panel Zalecane wymiary, kliknij .

Wypełnianie data martu

Po zaprojektowaniu data martu (tematycznej hurtowni danych) można go wypełnić.

Wykonaj następujące czynności:

1. Kliknij przycisk paska narzędzi Przygotuj w prawym górnym rogu.

   Proces przygotowania obejmuje utworzenie zestawów danych i widoków w data marcie oraz aktualizację katalogu.

   Postęp można śledzić w obszarze Postęp przygotowania w dolnej części ekranu.

   Po ukończeniu przygotowywania przycisk Przygotuj zmienia się na Uruchom.

2. Opcjonalnie sprawdź poprawność data martu zgodnie z tematem Weryfikacja poprawności i synchronizacja data martu poniżej.

3. Kliknij przycisk Uruchom.

   Okno przełączy się do widoku Monitorowanie, w którym jest widoczny postęp ładowania i status zestawów danych w tematycznej hurtowni danych.

   

Data mart przetworzy każdy rekord źródłowy, nawet rekordy usunięte. Powodem jest konieczność zachowania informacji historycznych.

Weryfikacja poprawności i synchronizacja data martu

Sprawdzenie poprawności data martu zapewnia, że metadane data martu są identyczne z odpowiadającymi im metadanymi w pamięci masowej (lub transformacji, jeśli ją zdefiniowano). Sprawdzenie poprawności data martu polega również na porównaniu utworzonych metadanych z bieżącym projektem schematu gwiazdy. Na przykład, jeśli uruchomisz sprawdzanie poprawności po dodaniu wymiaru do już utworzonego data martu, sprawdzanie poprawności zakończy się niepowodzeniem.

Aby sprawdzić poprawność data martu:

1. Wybierz opcję Sprawdź poprawność zestawów danych z menu po prawej stronie przycisku Uruchom lub kliknij przycisk Sprawdź poprawność zestawów danych w prawym dolnym rogu okna.

   Zostanie wyświetlony komunikat Ukończono sprawdzanie poprawności.

2. Jeśli metadane nie będą zsynchronizowane lub wystąpią konflikty w projekcie schematu gwiazdy, panel Sprawdź poprawność i dostosuj u dołu okna otworzy się automatycznie wraz z raportem ze sprawdzania poprawności.

   Przykład data martu z konfliktem projektu schematu gwiazdy:

   

   Przykład data martu z błędami sprawdzania poprawności:

   

3. Aby rozwiązać wszelkie problemy typu Oczekujące zmiany projektu, kliknij przycisk w prawym górnym rogu i wybierz opcję Przygotuj. Jeśli wartość kolumny Można zmodyfikować bez utraty danych jest ustawiona na Tak, zostanie wykonana operacja ALTER. W przeciwnym razie tabele data martu zostaną odtworzone.

   Należy pamiętać, że wszystkie Błędy sprawdzania poprawności trzeba rozwiązać ręcznie.

Zarządzanie data martami

W tej sekcji opisano różne opcje dostępne do zarządzania zestawami danych i data martami (tematycznymi hurtowaniami danych).

Doprecyzowanie faktów lub wymiarów

Na karcie Zestawy danych można wykonać różne operacje udoskonalenia faktów i wymiarów, takie jak utworzenie reguł transformacji (na przykład zastąpienie wartości kolumn) i dodanie wyrażeń na poziomie kolumn. Karta Zestawy danych znajduje się z prawej strony karty Data mart:

Dodawanie reguł

Wyjaśnienie sposobu dodawania reguł globalnych zawiera temat Tworzenie reguł przekształcania zestawów danych

Dodawanie nowych kolumn

Możesz dodać nowe kolumny do docelowego zestawu danych.

• Dodawanie nowej kolumny od podstaw

  Kliknij + Dodaj.

  Podaj nazwę kolumny i ustaw wyrażenie, aby zdefiniować dane kolumny.

  Więcej informacji zawiera temat Dodawanie kolumn do zestawu danych.

• Dodawanie kolumny ze źródła

  Kliknij obok pozycji Dodaj i wybierz Dodaj kolumnę ze źródła.

  Wybierz kolumnę ze źródłowego zestawu danych.

Zmiana kolejności kolumn

Możesz zmienić kolejność kolumny.

1. Wybierz kolumnę.

2. Kliknij , a następnie Zmień kolejność.

3. Użyj strzałek, aby przenieść kolumnę w górę lub w dół.

4. Zamknij Zmień numer kolumny, gdy wszystko będzie gotowe.

Wymiary odgrywające role

Wymiar odgrywający role to ten sam wymiar używany wielokrotnie w ramach tego samego schematu gwiazdy, ale z różnymi znaczeniami. Jest to często widoczne w przypadku wymiarów Data i Klient. Na przykład schemat gwiazdy może mieć dwa elementy Data — jeden reprezentujący datę zamówienia, a drugi reprezentujący datę odebrania.

Aby dodać lub edytować nazwę roli wymiaru:

1. Kliknij ikonę w węźle wymiaru i wybierz Edytuj rolę.

2. W oknie dialogowym Edytuj rolę wprowadź nazwę (lub edytuj istniejącą) w polu Nazwa roli w schemacie gwiazdy i kliknij OK.

   Nazwa roli pojawi się pod nazwą wymiaru.

Dodatkowe opcje zarządzania

W poniższej tabeli opisano dodatkowe opcje zarządzania:

Planowanie zadania data martu

Możesz zaplanować okresową aktualizację zadania data martu. Możesz ustawić harmonogram oparty na czasie lub ustawić uruchamianie zadania po zakończeniu wykonywania zadań danych wejściowych.

Kliknij ... na zadaniu danych i wybierz Planowanie, aby utworzyć harmonogram. Domyślne ustawienie planowania jest dziedziczone z ustawień w projekcie. Więcej informacji na temat ustawień domyślnych zawiera temat Domyślne wartości data mart.

Aby włączyć harmonogram, należy ustawić opcję Planowanie na Wł.

Harmonogramy oparte na czasie

Harmonogramu opartego na czasie można użyć, aby uruchomić zadanie niezależnie od tego, kiedy zostaną zaktualizowane różne źródła danych wejściowych.

• Wybierz O określonym czasie w Uruchom zadanie danych.

Możesz ustawić harmonogram godzinowy, dzienny, tygodniowy lub miesięczny.

Harmonogramy oparte na zdarzeniach

Harmonogramu opartego na zdarzeniach można użyć, aby uruchomić zadanie po zakończeniu wykonywania zadań danych wejściowych.

• Wybierz Po wystąpieniu określonego zdarzenia w Uruchom zadanie danych.

Możesz wybrać, czy chcesz uruchomić zadanie, gdy którekolwiek z zadań wejściowych zakończy się pomyślnie, czy też gdy zostanie pomyślnie zakończone dowolne z wybranych zadań wejściowych.

Ładowanie danych

Możesz wykonać ręczne przeładowanie danych. Jest to przydatne, gdy występują problemy z jedną lub większą liczbą tabel.

1. Otwórz zadanie danych i wybierz kartę Monitoruj.

2. Wybierz tabele, które chcesz załadować.

   Gdy wymiar zostanie wybrany do przeładowania, wszystkie fakty korzystające z tego wymiaru również zostaną przeładowane, aby zachować integralność.

3. Kliknij przycisk Przeładuj tabele.

Możesz anulować przeładowanie tabel oczekujących na przeładowanie, klikając Anuluj przeładowanie. Nie wpłynie to na tabele już przeładowane, a trwające przeładowania zostaną ukończone.

Przeładowania dokonuje się przez:

1. Obcięcie wybranych wymiarów i faktów.

2. Ładowanie wybranych tabel wymiarów z nadrzędnego zadania danych.

3. Ładowanie tabel faktów z nadrzędnego zadania danych. Obejmuje to następujące czynności:

   • Jawnie wybrane tabele faktów.

   • Tabele faktów powiązane z wymiarem, który jest przeładowywany.

Ustawienia tematycznej hurtowni danych

Kliknij przycisk paska narzędzi Ustawienia, aby otworzyć okno dialogowe Ustawienia: <nazwa-data-martu>.

Ustawienia ogólne

Na karcie Ogólne są dostępne następujące ustawienia:

• Baza danych: baza danych, w której zostanie utworzona tematyczna hurtownia danych
• Schemat zadania danych: schemat, w którym zostaną utworzone zestawy danych
• Schemat wewnętrzny: schemat, w którym zostaną utworzone wewnętrzne zestawy danych
• Sufiks dla wszystkich tabel i widoków

  Możesz ustawić prefiks dla wszystkich tabel i widoków utworzonych za pomocą tego zadania.

  InformacjaJeśli chcesz użyć schematu bazy danych w kilku zadaniach danych, musisz użyć unikatowego prefiksu.

Ustawienia czasu działania

Na karcie Środowisko uruchomienia są dostępne następujące ustawienia:

• Wykonanie równoległe: wpisz maksymalną liczbę połączeń z bazą danych, jaką Qlik Cloud może otworzyć dla zadania. Liczbą domyślną jest 10.
• Hurtownia danych: ma zastosowanie tylko w przypadku Snowflake. Nazwa hurtowni danych Snowflake.

Ustawienia katalogu

• Opublikuj w katalogu

  Wybierz tę opcję, aby opublikować tę wersję danych w Katalogu jako zbiór danych. Zawartość Katalogu zostanie zaktualizowana przy następnym przygotowywaniu zadania.

Aby uzyskać więcej informacji na temat Katalogu, zobacz Rozumienie danych za pomocą narzędzi katalogu.