Wskaźniki wartości subskrypcji

Obliczanie objętości danych do analizy i zarządzanie nią

Rozumienie sposobu obliczania danych do analizy może pomóc w maksymalnym wykorzystaniu pojemności danych do analizy w Qlik Cloud. W tej sekcji przyjrzymy się bliżej sposobom pomiaru szczytu miesięcznego, ładowania danych, przeładowań aplikacji i tworzenia danych, a także najlepszym praktykom w zakresie zarządzania danymi.

Szczyt miesięczny

Szczyt dzienny reprezentuje całkowitą pojemność danych do analizy w danym dniu. Maksymalny szczyt dzienny w miesiącu to szczyt miesięczny, który jest mierzony w odniesieniu do zakupionej pojemności Danych do analizy.

Szczyt dzienny oblicza się jako sumę wszystkich rozmiarów plików w formatach takich jak QVD, CSV lub pliki tekstowe oraz maksymalnej liczby bajtów pobranych ze źródeł zewnętrznych w celu przeładowania aplikacji w tym dniu.

Spójrzmy na następujący przykład:

W ciągu miesiąca dzienne wykorzystanie danych jest różne. Pierwszego dnia osiąga wartość szczytową 3 GB, drugiego dnia już 6 GB i tak dalej, aż do końca miesiąca. Największe dzienne wykorzystanie, odnotowane drugiego dnia, wyniosło 6 GB. Daje nam to szczyt miesięczny na poziomie 6 GB. W dni, w które nie odbywa się przeładowanie aplikacji, jak widać w dniu 3 w naszym przykładzie, jest przenoszona wartość z poprzedniego dnia.

Ładowanie danych do Qlik Cloud

Do szczytu dziennego wliczane są dane ładowane do Qlik Cloud ze źródeł zewnętrznych. Gdy ładujesz dane do dzierżawy, są liczone raz, a można je analizować i wykorzystywać wielokrotnie. Dane załadowane do wielu dzierżaw są liczone wielokrotnie.

Dane wpływające na szczyt dzienny są mierzone w następujący sposób:

• Dane plikowe ładowane za pośrednictwem aplikacji Qlik Sense są mierzone na podstawie rozmiaru pliku.

• Przeładowanie aplikacji przy użyciu zapytań lub łączników jest liczone jako maksymalna liczba bajtów pobranych ze źródła danych. Jeśli tego samego dnia występuje wiele przeładowań, do szczytu dziennego będzie się wliczać największy rozmiar aplikacji. Na przykład, jeśli w ciągu dnia aplikacja zostanie przeładowana z pojemnością odpowiednio 0,75 GB, 1,25 GB i 1 GB, wartością użytą dla tego dnia będzie 1,25 GB.

  Przez cały okres istnienia aplikacji w dzierżawie Qlik Cloud, oceniana jest dla niej maksymalna ilość pobranych bajtów.

• Dane ładowane do Qlik Cloud za pośrednictwem Brama danych Qlik — ruch danych są mierzone na podstawie rozmiaru wynikowego pliku QVD.

• Aplikacje przesyłane lub ładowane przez import plików w centrum aktywności Analytics lub przy użyciu qlik-cli są mierzone na podstawie statycznego rozmiaru aplikacji w bajtach.

• Przesłane pliki QVD są mierzone na podstawie ich rozmiaru.

W następujących sytuacjach dane nie są uwzględniane przy obliczaniu szczytu dziennego:

• Dane załadowane do przestrzeni prywatnej użytkownika nie są liczone, o ile są ograniczone do tej przestrzeni. Jeśli użytkownik przeniesie dane do przestrzeni współdzielonej, aby współpracować z innymi użytkownikami, zostaną one wliczone.

• Jeśli przeładowanie się nie powiedzie, pobrane bajty nie będą wliczane. Wszelkie wynikowe pliki QVD są jednak uwzględniane.

• Gdy ładujesz aplikację z danymi, które już znajdują się w Qlik Cloud, ładowanie danych nie jest wliczane. Na przykład skopiowane lub załadowane binarnie aplikacje (ładowanie danych z innej aplikacji Qlik Sense) nie mają wpływu na szczyt dzienny, pod warunkiem że nie zostaną przeładowane ze źródła zewnętrznego.

Pomiar bajtów pozyskanych w celu przeładowania aplikacji

W przypadku przeładowania aplikacji Qlik Sense ze źródła zewnętrznego obowiązują następujące zasady:

• Możesz przeładować aplikację wielokrotnie z tego samego źródłowego zestawu danych bez wpływu na szczyt dzienny, jeżeli ilość danych pozostanie niezmieniona.

• Jeśli źródłowy zestaw danych się powiększy, będzie to mieć wpływ na szczyt dzienny. Każdy dodatkowy gigabajt danych dodany do zestawu danych stanowi równoważną ilość danych pozyskanych podczas przeładowania.

• I na odwrót: jeżeli rozmiar zestawu danych źródłowych się zmniejszy, zmniejszenie to zostanie również odzwierciedlone w szczycie dziennym. Jeżeli na przykład rozmiar zestawu danych zostanie zmniejszony o 0,25 GB, rozmiar przeładowania zmniejszy się o tę samą wartość. Jeśli jednak wcześniej tego dnia nastąpi przeładowanie 1 GB, szczyt dzienny w tym dniu wyniesie 1 GB. Spadek zostanie odzwierciedlony dopiero w szczycie dziennym na następny dzień.

• Zmiany zawartości źródłowego zestawu danych bez zmiany jego wielkości nie wpływają na szczyt dzienny. Na szczyt dzienny wpływa wyłącznie ilość danych.

• Jeśli w ramach jednego skryptu ładowania wielokrotnie wysyłasz zapytania do tego samego zestawu danych, wszystkie te zapytania są liczone osobno, a ich ilości danych są sumowane. Jeżeli na przykład masz skrypt ładowania zawierający trzy zapytania z tego samego zestawu danych o rozmiarze po 1 GB każde, wszystkie trzy zapytania są liczone indywidualnie. W związku z tym łączna ilość danych wliczana do szczytu dziennego wynosi 3 GB.

• Załadowanie aplikacji, a następnie usunięcie tabeli nie zmniejsza szczytu dziennego, ponieważ szczyt dzienny opiera się na maksymalnym rozmiarze przeładowania aplikacji w ciągu dnia.

• Jeśli załadujesz aplikację, a następnie usuniesz ją tego samego dnia, nadal będzie ona miała udział w szczycie dziennym dla tego dnia. Zmniejszy to jednak szczyt dzienny na następny dzień, gdy aplikacja już nie będzie istnieć.

Pomiar danych ładowanych do plików QVD za pomocą Qlik Talend Data Integration

W przypadku ładowania danych do pliku QVD ze źródła zewnętrznego przy użyciu Brama danych Qlik — ruch danych obowiązują następujące zasady:

• Można wielokrotnie przesyłać, importować lub generować zestaw danych bez wpływu na szczyt dzienny, jeżeli ilość danych pozostaje niezmieniona.

• Jeśli źródłowy zestaw danych się powiększy, będzie to mieć wpływ na szczyt dzienny. Każdy dodatkowy gigabajt danych dodany do zestawu danych stanowi równowartość rozmiaru wynikowego pliku QVD.

• I na odwrót: jeżeli rozmiar zestawu danych źródłowych się zmniejszy, zmniejszenie to zostanie również odzwierciedlone w szczycie dziennym. Jeżeli na przykład rozmiar zestawu danych zostanie zmniejszony o 0,25 GB, rozmiar wynikowego pliku QVD zmniejszy się o tę samą wartość.

• Zmiany zawartości źródłowego zestawu danych bez zmiany jego wielkości nie wpływają na szczyt dzienny. Na szczyt dzienny wpływa wyłącznie ilość danych.

Ładowanie aplikacji ze źródeł zewnętrznych i wewnętrznych

Ważne jest, aby zrozumieć, jak dane ładowane do aplikacji wpływają na szczyt dzienny w zależności od źródła danych. Rozważmy następujące sytuacje, w których dane są ładowane z różnych źródeł.

• Aplikacja jest ładowana ze źródła zewnętrznego

  Gdy ładujesz do aplikacji dane ze źródła zewnętrznego, są one liczone jako pobrane bajty. Jeżeli na przykład załadujesz 10 GB, udział w szczycie dziennym wyniesie 10 GB.

• Aplikacja jest ładowana z pliku QVD w Qlik Cloud

  Ładowanie danych do aplikacji z pliku QVD znajdującego się w Qlik Cloud nie wlicza się do szczytu dziennego. Jeśli do aplikacji zostanie załadowanych 10 GB danych z pliku QVD, żadne dane nie zostaną uwzględnione, ponieważ nie nastąpi pobranie danych zewnętrznych. Udział w szczycie dziennym wynosi 0 GB.

• Z pliku QVD w Qlik Cloud jest generowany nowy plik QVD

  Dane załadowane do aplikacji generatora QVD z pliku QVD opartego na Qlik Cloud nie są wliczane do szczytu dziennego. Wliczany jest jednak wynikowy plik QVD wygenerowany z aplikacji. Jeżeli na przykład plik QVD o rozmiarze 10 GB zostanie przekształcony w nowy plik QVD o rozmiarze 5 GB, udział w dziennym szczycie będzie sumą wielkości obu plików, czyli 15 GB. Ponieważ nie występuje pozyskiwanie danych z zewnątrz, ładowanie aplikacji generatora QVD (dedykowanej aplikacji, która tworzy model danych i generuje plik QVD) nie jest wliczane.

• Aplikacja jest ładowana ze źródeł zarówno zewnętrznych, jak i wewnętrznych

  Jeśli aplikacja ładuje 10 GB ze źródła zewnętrznego i 5 GB z pliku QVD w Qlik Cloud, całkowity udział aplikacji w szczycie dziennym wynosi 10 GB, ponieważ liczone są tylko dane załadowane ze źródła zewnętrznego.

Tworzenie danych w Qlik Cloud

Kiedy tworzysz nowe dane w Qlik Cloud, kopiując pliki danych lub uzyskując je przez łączenie i przetwarzanie istniejących nieprzetworzonych danych, wlicza się to do szczytu dziennego. Dane są mierzone jako całkowity rozmiar plików wygenerowanych podczas procesu tworzenia danych. Utworzone dane są liczone tylko raz, niezależnie od tego, ile aplikacji z nich korzysta.

Rozważ następujące przykłady tworzenia danych:

• Utworzenie pliku QVD o wielkości 1 GB za pomocą instrukcji STORE powoduje dodanie 1 GB do szczytu dziennego.

• Skopiowanie pliku QVD o rozmiarze 1 GB powoduje dodanie 1 GB do szczytu dziennego, ponieważ obie kopie są wliczane do sumy.

• Utworzenie pliku QVD o rozmiarze 0,5 GB przez transformację powoduje dodanie 0,5 GB do szczytu dziennego. Wliczany jest tylko wynikowy plik QVD; aplikacja generatora QVD nie jest liczona, ponieważ ładuje dane, które są już w Qlik Cloud.

Najlepsze praktyki zarządzania danymi

Właściwe zarządzanie danymi poprawia wydajność i umożliwia maksymalne wykorzystanie pojemności danych do analizy. Z tej sekcji dowiesz się, jak efektywnie posługiwać się danymi w Qlik Cloud.

• Tworzenie plików QVD w celu ponownego wykorzystania danych

  Jeśli masz dane, które będą używane w wielu aplikacjach Qlik Sense, rozważ utworzenie plików QVD. Pliki QVD umożliwiają jednorazowe załadowanie danych i ponowne wykorzystywanie ich w wielu aplikacjach bez zwiększania szczytu dziennego. Może to znacznie obniżyć koszty pozyskiwania i przechowywania danych.

  Jeżeli na przykład załadujesz 10 GB danych zewnętrznych i utworzysz plik QVD o wielkości 5 GB, będziesz mieć w sumie 15 GB danych składających się na szczyt dzienny. Ładowanie tych samych danych bezpośrednio do dwóch aplikacji daje 20 GB.

  

  Tworzenie plików QVD do ponownego wykorzystywania danych przy użyciu Brama danych Qlik — ruch danych jest zasadniczo wydajniejsze niż przeładowywanie danych bezpośrednio za pośrednictwem aplikacji.

• Stosowanie wydajnych metod ładowania danych

  Aby zoptymalizować ładowanie danych, skorzystaj z transformacji typu przekazywanie (pushdown) SQL. Technika ta polega na wypychaniu transformacji i operacji danych bezpośrednio do źródła danych. Filtrując i przekształcając dane u źródła, zmniejsza się ilość przesyłanych danych i poprawia efektywność ładowania.

  Na przykład w tym zapytaniu przekazującym klauzula WHERE jest przetwarzana bezpośrednio na danych źródłowych. Przesyłany jest tylko podzestaw danych spełniający określone kryteria, co zmniejsza ilość danych ładowanych do pamięci.

  Select * from my-external-database-table where my_column = 10

  Należy pamiętać, że w przypadku ładowania plików QVD klauzula WHERE jest przetwarzana po odczytaniu pliku ze źródła, a wliczany jest cały plik.

• Używanie aplikacji On-demand w przypadku dużych zbiorów danych

  Aplikacje On-demand (ODAG) przydają się do dużych zestawów danych. Aplikacje ODAG umożliwiają ładowanie zagregowanych danych dla aplikacji nadrzędnej i pobieranie bardziej szczegółowych danych tylko w miarę potrzeb. Użytkownicy uzyskują zagregowane widoki magazynów danych big data, które umożliwiają identyfikację oraz ładowanie istotnych podzestawów tych danych w celu przeprowadzania szczegółowych analiz. Więcej informacji zawiera temat Aplikacje On-demand.

• Posługiwanie się dużymi zestawami danych za pomocą Direct Query i widoków dynamicznych

  W przypadku dużych zestawów danych rozważ użycie Direct Query i widoków dynamicznych. Dzięki tym funkcjom można wykonywać zapytania i przeglądać odpowiednie podzestawy dużych zestawów danych bez konieczności importowania lub ładowania wszystkich danych do pamięci. Chociaż istnieją pewne ograniczenia w porównaniu z aplikacjami przechowywanymi w pamięci, jest to skuteczny sposób pracy z dużymi zestawami danych. Więcej informacji zawierają tematy Aplikacje Direct Query oraz Zarządzanie danymi za pomocą widoków dynamicznych.

• Regularnie czyść nieużywane aplikacje i pliki danych

  Aby zoptymalizować wykorzystanie zasobów i poprawić ogólną wydajność lokacji, regularnie identyfikuj i usuwaj nieużywane aplikacje oraz pliki danych. W czyszczeniu mogą pomóc następujące czynności:

  • Zidentyfikuj nieużywane aplikacje i pliki danych w Katalogu, sortując i sprawdzając kolumny Ostatnia aktualizacja, Element wyświetlany przez i Element używany w. Dzięki temu możesz sprawdzić, czy element był otwierany w ciągu ostatnich 28 dni i w ilu aplikacjach używany jest plik danych. Więcej informacji zawiera temat Wskaźniki wyświetlania i używania elementów.

  • Funkcje Analiza wpływu i Pochodzenie pomagają się dowiedzieć, gdzie jest używany plik danych i jakie pliki danych są używane w konkretnej aplikacji. Więcej informacji zawierają tematy Analizowanie wpływu aplikacji, skryptów i zestawów danych i Analizowanie pochodzenia aplikacji, skryptów i zestawów danych.

  • Aplikacje i pliki można usunąć z centrów aktywności. Administratorzy mogą także usuwać aplikacje z centrum aktywności Administrowanie.

Przykład: Obliczanie objętości przeniesionych danych

W tym przykładzie mamy zestaw danych kategorii produktów. Zestaw danych ma 100 wierszy i następujące kolumny:

Istnieje stały rozmiar dla każdego typu danych:

Możemy teraz obliczyć szacowany rozmiar wiersza jako sumę rozmiarów kolumn: 4 + 7,5 + 200 + 200 = 411,5 bajta. Pomnożone przez 100 wierszy daje nam to całkowity wolumen danych wynoszący 41 150 bajtów.

Użytkownicy z pełnymi uprawnieniami

Użytkownicy z pełnymi uprawnieniami mogą przeglądać, edytować i tworzyć treści w aplikacjach, eksportować wykresy i aplikacje, pracować z integracjami danych, automatyzacjami i uczeniem maszynowym oraz wykonywać różne inne zadania, pod warunkiem że pozwalają na to uprawnienia użytkownika i uprawnienia w przestrzeni. Więcej informacji zawiera temat Zarządzanie uprawnieniami użytkowników.

Użytkownicy z uprawnieniami Basic Users

Bezpłatne uprawnienia Basic User są dostępne w ramach subskrypcji Qlik Cloud Analytics Premium i Qlik Cloud Enterprise. Są przeznaczone tylko do ograniczonego dostępu wyłącznie do odczytu. Użytkownicy Basic User nie mogą tworzyć ani edytować aplikacji i innych zasobów, ani pracować z Integracja danych. Nadanie dodatkowych uprawnień spowoduje automatycznie awansowanie ich na użytkowników Full User. Więcej informacji zawiera temat Zarządzanie uprawnieniami użytkowników.