Passaggio 2: Creare un cluster lakehouse

Un cluster lakehouse definisce l'ambiente di calcolo per eseguire le attività di archiviazione di Qlik Open Lakehouse. Ogni cluster specifica impostazioni che includono il numero di istanze, il tipo di macchina e la strategia di ridimensionamento.

Quando si crea un'integrazione di rete per un progetto di pipeline Qlik Open Lakehouse, viene creato automaticamente un cluster con una singola istanza Spot AWS. Tuttavia, è possibile creare cluster aggiuntivi nei centri attività Amministrazione e Integrazione dati.

I cluster lakehouse collegano le pipeline a un gruppo di istanze AWS, consentendo di ottimizzare i carichi di lavoro assegnando i processi critici a cluster ad alte prestazioni e i carichi di lavoro non critici a macchine convenienti.

Sebbene un cluster sia associato a un singolo VPC, più cluster possono essere eseguiti all'interno dello stesso VPC. Inoltre, un singolo cluster può eseguire più processi. È utile definire i requisiti di calcolo dei carichi di lavoro prima di creare un cluster lakehouse. Le impostazioni del cluster, inclusa la strategia di ridimensionamento, possono essere modificate in base alle necessità, sebbene alcune modifiche possano richiedere il riavvio (roll) del cluster. Per ulteriori informazioni sulla modifica delle impostazioni del cluster, vedere Gestione dei cluster lakehouse

Quando si crea un cluster lakehouse, si specifica il numero di istanze Spot e On-Demand di cui Qlik esegue il provisioning. Per ulteriori informazioni su come Qlik utilizza le istanze Spot e On-Demand nel cluster, vedere Cluster lakehouse (gruppo Auto-Scaling EC2)

L'utilizzo di immagini personalizzate è facoltativo. Quando si utilizzano immagini personalizzate, è richiesta un'immagine x86, ma si consiglia di utilizzare sia immagini arm che x86 per massimizzare la disponibilità delle istanze spot. Per ulteriori informazioni, vedereRequisiti AMI .

Funzionalità del cluster

Quando si crea un cluster, è necessario scegliere il tipo di carico di lavoro eseguito dal cluster: streaming, CDC o misto. In generale, è consigliabile utilizzare cluster separati per le sorgenti di streaming e CDC (database e SaaS). Ciò garantisce addebiti di fatturazione accurati e minimi. Tuttavia, ci sono casi d'uso in cui un carico di lavoro misto è appropriato e può condividere un cluster:

• Per il test o la valutazione di progetti su piccola scala che hanno volumi di fatturazione insignificanti.

• Se l'utilizzo non in streaming è minimo e non si desidera configurare e mantenere un cluster separato.

Requisiti preliminari

Per creare un cluster lakehouse, è necessario:

• Un'integrazione di rete all'interno del tenant corrente.

• Autorizzazione per accedere all'integrazione di rete.

Creazione di un cluster lakehouse

Per aggiungere un cluster al tenant corrente, procedere come segue:

1. Nel centro attività Amministrazione, fare clic su Cluster lakehouse. Selezionare la scheda Cluster lakehouse, fare clic su Crea nuovo, quindi su Cluster lakehouse e configurarlo:

• Nome: Inserire il nome del cluster.

• Integrazione di rete: Selezionare l'integrazione di rete in cui verrà distribuito il cluster.

2. Spazio di integrazione: Selezionare lo spazio a cui apparterrà il cluster, poiché questo non viene ereditato dall'integrazione di rete.

3. Selezionare le funzionalità del cluster per il carico di lavoro:

   • Carichi di lavoro in streaming: Selezionare questa opzione durante l'inserimento da una sorgente dati in streaming.

   • Carichi di lavoro CDC: Selezionare questa opzione durante l'inserimento da database e sorgenti di applicazioni SaaS.

   • Carichi di lavoro misti: Selezionare carichi di lavoro misti durante i test, oppure se l'uso di sorgenti in streaming è minimo e i carichi di lavoro sono costituiti principalmente da sorgenti CDC.

4. Configurare il tipo di famiglia:

   • Tipo: Selezionare il tipo di istanza.

   • Dimensione: Selezionare la dimensione dell'istanza.

5. Configurare le istanze:

• Istanze On-Demand AWS: Inserire il numero di istanze On-Demand AWS per questo cluster.

• Istanze Spot AWS: Inserire il numero Minimo e Massimo di istanze Spot da utilizzare.

6. Scegliere una strategia appropriata per il proprio carico di lavoro tra le seguenti opzioni:

• Basso costo – Ottimizza per un basso costo, sebbene possa portare a periodi occasionali di latenza elevata.

• Bassa latenza - Cerca di mantenere una bassa latenza, pur consentendo brevi e necessari picchi.

• Bassa latenza costante - Aumenta in modo proattivo per garantire che la latenza rimanga bassa.

• Ridimensionamento manuale - Mantiene un numero statico di istanze senza ridimensionamento automatico.

7. Selezionare come il cluster riceve gli aggiornamenti software:

• Implementazione anticipata: Ideale per i cluster di sviluppo e staging per convalidare le nuove versioni rispetto a configurazioni e codice personalizzati, prima della produzione.

• Implementazione successiva: Gli aggiornamenti vengono applicati dopo un'implementazione anticipata riuscita e sono consigliati per gli ambienti di produzione.

8. Aggiungere una Chiave e un Valore per eventuali tag che si desidera includere per aiutare a identificare, organizzare e gestire le risorse.