Najlepsze praktyki dla architektury QVD podczas migracji do Qlik Cloud
Ostatnia aktualizacja: 14.10.2026Qlik Cloud obsługuje duże pliki, a natywna pamięć masowa DataFiles może obsługiwać duże pliki QVD. Rozważania architektoniczne różnią się jednak, gdy używa się dużych plików w Qlik Cloud w porównaniu do Qlik Sense Enterprise on Windows.
Wydajność ładowania QVD różni się między Qlik Sense Enterprise on Windows i Qlik Cloud:
-
W Qlik Sense Enterprise on Windows, silnik Qlik odczytuje QVD bezpośrednio z lokalnej pamięci dyskowej. Gdy pliki są przechowywane na lokalnym serwerze, występuje również minimalne opóźnienie podczas ładowania danych.
-
W Qlik Cloud, silnik Qlik wykonuje wywołanie sieciowe, aby odczytać zawartość pliku z magazynu plików sieciowych. To wydłuża czas ładowania na dwa sposoby. Po pierwsze, odczyt z sieciowej pamięci plików przez sieć dodaje opóźnienie transferu, którego odczyty z dysku lokalnego unikają. Po drugie, szyfrowanie wymagane do certyfikacji zgodności, takich jak SOC 2/3 i HIPAA, dodaje narzut przetwarzania.
InformacjaAby uzyskać więcej szczegółów na temat bezpieczeństwa i zgodności, zobacz Zaufanie i bezpieczeństwo w Qlik.
Podczas przechowywania plików QVD w Qlik Cloud, uwzględnij czas odczytu i zapisu pliku w swojej strategii ponownego ładowania. Rozważ następujące podejścia podczas planowania architektury QVD w Qlik Cloud:
-
Utrzymuj optymalne rozmiary QVD
-
Optymalizacja operacji ładowania QVD
Więcej informacji na temat pracy z plikami QVD można znaleźć w:
Aby dowiedzieć się więcej o wydajności QVD, zobacz następujące Qlik kursy Learning:
-
Podstawy wydajności QVD (Bezpłatne)
-
Podstawy wydajności QVD (Tylko subskrypcja)
Utrzymuj optymalne rozmiary QVD
Chociaż Qlik Cloud może obsługiwać duże pliki, utrzymuj pliki QVD na tyle małe, aby spełniały Twoje wymagania wydajnościowe. Nie ma ustalonego rozmiaru docelowego, więc zweryfikuj wydajność w ramach projektowania danych i optymalizuj dalej, aby osiągnąć swoje potrzeby. Poniższe podejścia mogą pomóc utrzymać pliki QVD w optymalnych zakresach rozmiarów dla terminowego ładowania.
Więcej informacji na temat optymalizacji wydajności aplikacji przy dużych wolumenach danych można znaleźć w:
Segmentuj swoje dane
Utrzymuj niskie rozmiary poszczególnych plików, segmentując dane według naturalnych wymiarów, takich jak:
-
Ramy czasowe: Segmentuj swoje dane według ram czasowych, takich jak lata lub miesiące. Na przykład, możesz podzielić plik QVD zawierający wszystkie Twoje dane na dwa pliki QVD:
-
QVD zawierający dane z dwóch ostatnich lat.
-
Plik QVD zawierający dane historyczne starsze niż dwa lata.
-
-
Kategoria: Segmentuj dane według kategorii logicznych, takich jak:
-
Kraje lub regiony.
-
Grupy produktów.
-
Działy.
Na przykład, możesz podzielić plik QVD zawierający wszystkie Twoje dane według kraju lub drugiego poziomu obszarów administracyjnych, takich jak stany lub prowincje.
-
-
Poziom agregacji: Agreguj swoje dane do wyższego poziomu, aby utworzyć mniejszy zbiór danych. Na przykład:
-
Agreguj dane dzienne w miesięczne podsumowania.
-
Agreguj indywidualne dane klientów w regionalne podsumowania.
-
Zmniejsz kardynalność danych
Zmniejszenie kardynalności danych w plikach QVD poprawia kompresję i zmniejsza rozmiar pliku QVD. Rozważ następujące podejścia:
-
Zaokrąglanie: Zaokrąglaj wartości liczbowe o wysokiej kardynalności, gdy ma to sens analityczny. To zmniejsza liczbę unikalnych wartości, co prowadzi do mniejszych zbiorów danych i szybszego przetwarzania tabel symboli.
-
Dzielenie znaczników czasu: Podziel pola znacznika czasu na oddzielne pola Daty i Godziny. To znacząco obniża liczność i poprawia kompresję.
-
Optymalizacja pól tekstowych: Pola tekstowe mogą mieć wysoką kardynalność, zwłaszcza pola zawierające długie opisy. Aby zoptymalizować pliki QVD, unikaj uwzględniania tych pól tekstowych w wielu plikach QVD. Przenieś je do dedykowanych plików QVD, aby podstawowe pliki QVD z danymi były lekkie. Jeśli pojedynczy tekstowy plik QVD nadal nie jest wydajny, podziel go na mniejsze części.
Przejrzyj strategię warstwy QVD
Pliki QVD mogą rosnąć z czasem i mogą już nie być zoptymalizowane dla ich pierwotnych zastosowań. Przejrzyj swoją strategię warstw i określ, czy możesz przyjąć bardziej szczegółową strukturę. Używanie większej liczby mniejszych plików może ograniczyć wpływ ładowania plików.
Na przykład, podział danych sprzedażowych na pliki QVD według roku może przyspieszyć czasy przeładowania i umożliwić aplikacjom odczytywanie mniejszej ilości danych, gdy wymagają one jedynie punktów danych z ostatnich lat.
Aby uzyskać więcej informacji na temat tworzenia i przechowywania warstw QVD, zobacz:
Optymalizacja operacji ładowania QVD
Podczas ładowania danych z plików QVD w Qlik Cloud, zoptymalizuj operacje ładowania. Poniższe podejścia mogą pomóc skrócić czasy ładowania podczas odczytywania plików QVD.
Minimalizuj odczyty z pamięci masowej
Unikaj ładowania tych samych plików QVD wielokrotnie w ramach jednego skryptu ładowania. Aby zmniejszyć narzut, załaduj dane raz do tabeli tymczasowej i wykorzystaj je ponownie poprzez ładowania RESIDENT.
Aby uzyskać więcej informacji na temat ładowania danych i tabel rezydentnych, zobacz:
Wykorzystaj zoptymalizowane obciążenia
Dla niezoptymalizowanych scenariuszy, takich jak ładowanie z złożonymi klauzulami WHERE lub transformacje danych, rozważ najpierw załadowanie pliku QVD w jego zoptymalizowanym formacie do tabeli tymczasowej. Można wtedy wykonać niezbędne manipulacje i filtrowanie za pomocą ładowania RESIDENT do końcowej tabeli docelowej, przenosząc obciążenie przetwarzania z ładowania QVD do pamięci silnika.
Aby uzyskać więcej informacji na temat zoptymalizowanych i standardowych trybów ładowania QVD, zobacz:
Alternatywne rozwiązania do przechowywania plików
Jeśli narzut zarządzania związany z przechowywaniem plików QVD w Qlik Cloud powoduje problemy z wydajnością odczytu i zapisu, rozważ przetestowanie alternatywnych rozwiązań do przechowywania plików z konfigurowalnymi opcjami poziomu bezpieczeństwa.
Dla Qlik Cloud-obsługiwanych rozwiązań do przechowywania plików, zobacz Qlik łączniki dostawcy pamięci masowej w sieci Web (tylko w języku angielskim). Aby zminimalizować problemy z opóźnieniami, upewnij się, że Twoje alternatywne rozwiązanie do przechowywania plików jest wdrożone jak najbliżej dzierżawy Twojego regionu Qlik Cloud.
Więcej informacji na temat zarządzania plikami danych można znaleźć w: