Krok 2: Utwórz klaster lakehouse

Klaster lakehouse definiuje środowisko obliczeniowe do uruchamiania zadań pamięci masowej Qlik Open Lakehouse. Każdy klaster określa ustawienia, które obejmują liczbę instancji, typ maszyny i strategię skalowania.

Podczas tworzenia integracji sieciowej dla projektu potoku Qlik Open Lakehouse automatycznie tworzony jest klaster z pojedynczą instancją AWS Spot. Można jednak utworzyć dodatkowe klastry w centrach aktywności Administracja i Integracja danych.

Klastry lakehouse łączą potoki z grupą instancji AWS, umożliwiając optymalizację obciążeń poprzez przypisywanie krytycznych zadań do wysokowydajnych klastrów, a niekrytycznych obciążeń do opłacalnych maszyn.

Podczas gdy klaster jest powiązany z jednym VPC, wiele klastrów może działać w ramach tego samego VPC. Dodatkowo jeden klaster może uruchamiać wiele zadań. Przed utworzeniem klastra lakehouse dobrze jest zdefiniować wymagania obliczeniowe obciążeń roboczych. Ustawienia klastra, w tym strategię skalowania, można modyfikować w razie potrzeby, choć niektóre zmiany mogą wymagać zwinięcia klastra. Więcej informacji na temat edycji tych ustawień zawiera temat Zarządzanie klastrami lakehouse

Podczas tworzenia klastra lakehouse użytkownik określa liczbę instancji Spot i na żądanie, które są udostępniane przez Qlik. Aby uzyskać więcej informacji na temat tego, jak Qlik wykorzystuje instancje Spot i na żądanie w klastrze, zobacz Klaster lakehouse (grupa automatycznego skalowania EC2)

Możliwości klastra

Podczas tworzenia klastra należy wybrać typ obciążenia, które będzie obsługiwał klaster: strumieniowe, CDC lub mieszane. Ogólnie rzecz biorąc, najlepszą praktyką jest używanie oddzielnych klastrów dla źródeł strumieniowych i CDC (baza danych i SaaS). Zapewnia to dokładne i minimalne opłaty za rozliczenia. Istnieją jednak przypadki użycia, w których mieszane obciążenie jest odpowiednie i może współdzielić klaster:

• Do testowania lub oceny małych projektów o nieistotnych wolumenach rozliczeniowych.

• Jeśli użycie niestrumieniowe jest minimalne i nie chcesz konfigurować ani utrzymywać oddzielnego klastra.

Wymagania wstępne

Do utworzenia klastra lakehouse potrzebne są:

• Integracja sieci w ramach obecnej dzierżawy.

• Zezwolenie na dostęp do integracji sieciowej.

Tworzenie klastra lakehouse

Aby dodać klaster do bieżącej dzierżawy, wykonaj następujące czynności:

1. W centrum aktywności Administracja kliknij Klastry Lakehouse. Wybierz kartę Klastry Lakehouse, kliknij Utwórz nowy, a następnie wybierz Klaster Lakehouse i skonfiguruj go:

• Nazwa: wprowadź nazwę klastra.

• Integracja sieciowa: wybierz integrację sieciową, w której klaster zostanie wdrożony.

2. Przestrzeń integracji: wybierz przestrzeń, do której będzie należeć klaster, ponieważ nie jest ona dziedziczona po integracji sieci.

3. Wybierz możliwości klastra dla obciążenia:

   • Obciążenia strumieniowe: Wybierz tę opcję podczas pozyskiwania danych ze strumieniowego źródła danych.

   • Obciążenia CDC: Wybierz tę opcję podczas pozyskiwania danych ze źródeł baz danych i aplikacji SaaS.

   • Mieszane obciążenia: Wybierz mieszane obciążenia podczas testowania, gdy użycie źródeł strumieniowych jest minimalne, a obciążenia składają się głównie ze źródeł CDC.

4. Skonfiguruj typ rodziny:

   • Typ: Wybierz typ instancji.

   • Rozmiar: Wybierz rozmiar instancji.

5. Konfiguracja instancji:

• Instancja AWS na żądanie: wprowadź liczbę instancji AWS na żądanie dla tego klastra.

• Instancje AWS Spot: wprowadź minimalną i maksymalną liczbę instancji Spot do użycia.

6. Wybierz odpowiednią strategię dla swojego obciążenia pracą spośród następujących opcji:

• Niski koszt – optymalizuje pod kątem niższych kosztów, choć może czasami powodować okresy większych opóźnień.

• Krótki opóźnienie – dąży do utrzymania niskiego opóźnienia, pozwalając jednocześnie na krótkie, niezbędne skoki.

• Konsekwentne krótki opóźnienie – proaktywne skalowanie w celu zapewnienia niskiego poziomu opóźnień.

• Skalowanie ręczne – zachowuje statyczną liczbę wystąpień bez automatycznego skalowania.

7. Wybierz sposób otrzymywania aktualizacji oprogramowania przez klaster:

• Wczesne wdrażanie: idealne rozwiązanie dla klastrów programistycznych i testowych do sprawdzania nowych wersji pod kątem niestandardowych konfiguracji i kodu przed rozpoczęciem produkcji.

• Późniejsze wdrożenie: aktualizacje są stosowane po pomyślnym wczesnym wdrożeniu i są zalecane dla środowisk produkcyjnych.

8. Dodaj klucz i wartość dla dowolnych tagów, które chcesz dołączyć, aby ułatwić identyfikację, organizowanie i zarządzanie zasobami.