Krok 2: Tworzenie klastra lakehouse

Klaster lakehouse definiuje środowisko obliczeniowe do uruchamiania zadań przechowywania Qlik Open Lakehouse. Każdy klaster określa ustawienia, które obejmują liczbę instancji, typ maszyny i strategię skalowania.

Po utworzeniu integracji sieciowej dla projektu potoku Qlik Open Lakehouse automatycznie tworzony jest klaster z pojedynczą instancją AWS Spot. Można jednak utworzyć dodatkowe klastry w centrach aktywności Administracja i Integracja danych.

Klastry lakehouse łączą potoki z grupą instancji AWS, umożliwiając optymalizację obciążeń poprzez przypisywanie krytycznych zadań do klastrów o wysokiej wydajności, a mniej ważnych obciążeń do maszyn opłacalnych kosztowo.

Chociaż klaster jest powiązany z pojedynczą siecią VPC, w tej samej sieci VPC może działać wiele klastrów. Ponadto pojedynczy klaster może uruchamiać wiele zadań. Przed utworzeniem klastra lakehouse warto zdefiniować wymagania obliczeniowe swoich obciążeń. Ustawienia klastra, w tym strategię skalowania, można modyfikować w razie potrzeby, chociaż niektóre zmiany mogą wymagać zrolowania klastra. Aby uzyskać więcej informacji na temat edytowania ustawień klastra, zobacz Zarządzanie klastrami lakehouse

Podczas tworzenia klastra lakehouse określa się liczbę instancji Spot i On-Demand, które udostępnia Qlik. Aby uzyskać więcej informacji na temat tego, jak Qlik wykorzystuje instancje Spot i On-Demand w klastrze, zobacz Klaster lakehouse (grupa Auto-Scaling EC2)

Używanie niestandardowych obrazów jest opcjonalne. W przypadku korzystania z niestandardowych obrazów wymagany jest obraz x86, ale zaleca się używanie zarówno obrazów arm, jak i x86, aby zmaksymalizować dostępność instancji spot. Aby uzyskać więcej informacji, zobacz Wymagania dotyczące AMI .

Możliwości klastra

Podczas tworzenia klastra należy wybrać typ obciążenia, które klaster uruchamia: strumieniowe, CDC lub mieszane. Ogólnie rzecz biorąc, najlepszą praktyką jest używanie oddzielnych klastrów dla źródeł strumieniowych i CDC (bazy danych i SaaS). Zapewnia to dokładne i minimalne opłaty rozliczeniowe. Istnieją jednak przypadki użycia, w których obciążenie mieszane jest odpowiednie i może współdzielić klaster:

• Do testowania lub oceny projektów na małą skalę, które mają nieznaczne wolumeny rozliczeniowe.

• Jeśli użycie niestrumieniowe jest minimalne i nie chcesz konfigurować i utrzymywać oddzielnego klastra.

Wymagania wstępne

Aby utworzyć klaster lakehouse, potrzebujesz:

• Integracji sieciowej w ramach bieżącej dzierżawy.

• Uprawnień dostępu do integracji sieciowej.

Tworzenie klastra lakehouse

Aby dodać klaster do bieżącej dzierżawy, wykonaj następujące czynności:

1. W centrum aktywności Administracja kliknij Klastry lakehouse. Wybierz kartę Klastry lakehouse, kliknij Utwórz nowy, a następnie Klaster lakehouse i skonfiguruj go:

• Nazwa: Wprowadź nazwę klastra.

• Integracja sieciowa: Wybierz integrację sieciową, w której zostanie wdrożony klaster.

2. Przestrzeń integracji: Wybierz przestrzeń, do której będzie należał klaster, ponieważ nie jest to dziedziczone z integracji sieciowej.

3. Wybierz możliwości klastra dla obciążenia:

   • Obciążenia strumieniowe: Wybierz tę opcję podczas pozyskiwania ze strumieniowego źródła danych.

   • Obciążenia CDC: Wybierz tę opcję podczas pozyskiwania ze źródeł bazy danych i aplikacji SaaS.

   • Obciążenia mieszane: Wybierz obciążenia mieszane podczas testowania lub gdy użycie źródeł strumieniowych jest minimalne, a obciążenia składają się głównie ze źródeł CDC.

4. Skonfiguruj typ rodziny:

   • Typ: Wybierz typ instancji.

   • Rozmiar: Wybierz rozmiar instancji.

5. Skonfiguruj instancje:

• Instancje AWS On-Demand: Wprowadź liczbę instancji AWS On-Demand dla tego klastra.

• Instancje AWS Spot: Wprowadź Minimalną i Maksymalną liczbę instancji Spot do użycia.

6. Wybierz odpowiednią strategię dla swojego obciążenia z następujących opcji:

• Niski koszt – Optymalizuje pod kątem niskich kosztów, chociaż może prowadzić do sporadycznych okresów wysokich opóźnień.

• Niskie opóźnienie - Dąży do utrzymania niskiego opóźnienia, jednocześnie pozwalając na krótkie, niezbędne skoki.

• Stałe niskie opóźnienie - Proaktywnie skaluje w górę, aby zapewnić, że opóźnienie pozostanie niskie.

• Skalowanie ręczne - Utrzymuje statyczną liczbę instancji bez automatycznego skalowania.

7. Wybierz, w jaki sposób klaster otrzymuje aktualizacje oprogramowania:

• Wczesne wdrożenie: Idealne dla klastrów programistycznych i przejściowych do sprawdzania nowych wydań pod kątem niestandardowych konfiguracji i kodu przed wdrożeniem na produkcję.

• Późniejsze wdrożenie: Aktualizacje są stosowane po pomyślnym wczesnym wdrożeniu i są zalecane dla środowisk produkcyjnych.

8. Dodaj Klucz i Wartość dla wszelkich tagów, które chcesz uwzględnić, a które pomogą Ci identyfikować, organizować i zarządzać zasobami.