Stap 2: een lakehouse-cluster maken

Een lakehouse-cluster definieert de rekenomgeving om Qlik Open Lakehouse-opslagtaken uit te voeren. Elk cluster specificeert instellingen zoals het aantal exemplaren, het machinetype en de schaalstrategie.

Wanneer u een netwerkintegratie maakt voor een Qlik Open Lakehouse-pijplijnproject, wordt er automatisch een cluster met één AWS Spot Instance gemaakt. U kunt echter extra clusters maken in het Beheer- en Gegevensintegratie-activiteitencentrum.

Lakehouse-clusters koppelen pijplijnen aan een groep AWS-exemplaren, zodat u werklasten kunt optimaliseren door kritieke taken toe te wijzen aan krachtige clusters en niet-kritieke taken aan kosteneffectieve machines.

Hoewel een cluster aan één VPC is gekoppeld, kunnen er meerdere clusters binnen dezelfde VPC worden uitgevoerd. Bovendien kan een enkel cluster meerdere taken uitvoeren. Het is handig om de rekenvereisten van uw werklasten te definiëren voordat u een lakehouse-cluster aanmaakt. Clusterinstellingen, inclusief de schaalstrategie, kunnen naar behoefte worden gewijzigd, hoewel het bij sommige wijzigingen nodig kan zijn om het cluster te vervangen. Ga voor meer informatie over het bewerken van clusterinstellingen naar Lakehouse-clusters beheren.

Wanneer u een lakehouse-cluster aanmaakt, geeft u het aantal Spot- en On-Demand-exemplaren op die Qlik inricht. Voor meer informatie over hoe Qlik Spot- en On-Demand-exemplaren in uw cluster gebruikt, zie Lakehouse-cluster (EC2 Auto-Scaling-groep)

Clustermogelijkheden

Wanneer u een cluster maakt, moet u het workloadtype kiezen dat het cluster uitvoert: streaming, CDC of gemengd. Over het algemeen is het een best practice om afzonderlijke clusters te gebruiken voor streaming- en CDC-bronnen (database en SaaS). Dit zorgt voor nauwkeurige en minimale factureringskosten. Er zijn echter use cases waarbij een gemengde workload geschikt is en een cluster kan delen:

• Voor het testen of evalueren van kleinschalige projecten met onbeduidende factureringsvolumes.

• Als niet-streaminggebruik minimaal is en u geen afzonderlijk cluster wilt configureren en onderhouden.

Vereisten

Om een lakehouse-cluster maken, hebt u het volgende nodig:

• Een netwerkintegratie binnen de huidige tenant.

• Machtiging voor toegang tot de netwerkintegratie.

Een lakehouse-cluster maken

Om een cluster aan de huidige tenant toe te voegen, doet u het volgende:

1. Klik in het Beheer-activiteitencentrum op Lakehouse-clusters. Selecteer het tabblad Lakehouse-clusters, klik op Nieuwe maken, dan op Lakehouse-cluster, en configureer het:

• Naam: voer de naam van het cluster in.

• Netwerkintegratie: selecteer de netwerkintegratie waar het cluster zal worden geïmplementeerd.

2. Integratieruimte: selecteer de ruimte waartoe het cluster zal behoren, aangezien deze niet wordt overgenomen van de netwerkintegratie.

3. Selecteer de clustermogelijkheden voor de workload:

   • Streaming-workloads: Selecteer deze optie bij het opnemen van gegevens uit een streaming-gegevensbron.

   • CDC-workloads: Selecteer deze optie bij het opnemen van gegevens uit database- en SaaS-applicatiebronnen.

   • Gemengde workloads: Selecteer gemengde workloads bij het testen, of wanneer het gebruik van streamingbronnen minimaal is en workloads voornamelijk bestaan uit CDC-bronnen.

4. Configureer het familietype:

   • Type: Selecteer het exemplaartype.

   • Grootte: Selecteer de exemplaargrootte.

5. Configureer de exemplaren:

• AWS On-Demand Instances: voer het aantal AWS On-Demand Instances voor dit cluster in.

• AWS Spot Instances: voer het minimum en maximum aantal Spot Instances in dat u wilt gebruiken.

6. Kies een geschikte strategie voor uw werkbelasting uit de volgende opties:

• Lage kosten – geoptimaliseerd voor lagere kosten, maar kan leiden tot perioden met hogere latentie.

• Lage latentie – streeft ernaar lage latentie te behouden en staat korte noodzakelijke pieken toe.

• Consistente lage latentie – schaalt proactief omhoog om de latentie laag te houden.

• Handmatig schalen – behoudt een statisch aantal exemplaren zonder automatisch schalen.

7. Selecteer hoe uw cluster software-updates ontvangt:

• Vroege implementatie: ideaal voor ontwikkelclusters en gefaseerde clusters om nieuwe releases te valideren met aangepaste instellingen en code, voorafgaand aan de productie.

• Latere implementatie: updates worden toegepast na een succesvolle vroege implementatie en aanbevolen voor productieomgevingen.

8. Voeg een sleutel en waarde toe voor alle tags die u wilt toevoegen en die u helpen bij het identificeren, organiseren en beheren van resources.