Passaggio 4: creare un progetto Lakehouse aperto Qlik

Creare un progetto di pipeline Lakehouse aperto Qlik per ingerire i dati da qualsiasi sorgente. Archiviare i dati nel formato di tabella aperto Iceberg.

Prerequisiti

Per creare un progetto Lakehouse aperto Qlik, sono necessari:

• Un'integrazione di rete per consentire a Qlik di fornire e gestire le risorse di calcolo per suo conto.

• Un cluster lakehouse configurato per eseguire l'attività di archiviazione dei dati all'interno del progetto Iceberg.

• Una connessione a un catalogo dati da utilizzare come destinazione dati per il progetto, oppure i dettagli necessari per creare una nuova connessione.

Attività supportate

Le seguenti attività sono supportate in un progetto Lakehouse aperto Qlik:

• Attività dati di trasferimento su data lake

  Trasferire i dati in formato CSV in S3, da qualsiasi sorgente supportata da Qlik, compresi i flussi di dati ad alto volume.

• Attività dati di archiviazione

  L'attività dati di archiviazione consuma i dati che sono stati trasferiti nel cloud da un'attività di trasferimento su data lake. L'attività scrive i dati nelle tabelle Iceberg per operazioni di archiviazione ed esecuzione delle query efficienti.

• Mirroring delle attività dati

  Mirroring delle tabelle Iceberg da Lakehouse aperto Qlik su Snowflake. Gli utenti possono eseguire query sui dati tramite tabelle esterne senza dover migrare i dati su Snowflake.

Esempio di creazione di un progetto Lakehouse aperto Qlik

L'esempio che segue crea un progetto di pipeline Lakehouse aperto Qlik, esegue l'onboarding dei dati e li memorizza in tabelle formato Iceberg. Questo esempio crea una semplice pipeline che è possibile espandere mediante l'onboarding di altre sorgenti dati. È possibile aggiungere un'attività di mirroring dei dati per rispecchiare le tabelle in Snowflake senza duplicare i dati, oppure utilizzare questo progetto come sorgente per un progetto che richiede di completare trasformazioni in Snowflake.

Per creare un progetto Lakehouse aperto Qlik, fare quanto segue:

1. Nella home di Data Integration, fare clic su Crea pipeline e configurarla:

• Nome: inserire il nome del progetto.

• Spazi selezionare lo spazio a cui apparterrà il progetto.

• Descrizione: facoltativamente, inserire una descrizione per il progetto.

2. In Caso di utilizzo, selezionare Pipeline di dati.

3. Configurare la Piattaforma dati:

• Piattaforma dati: selezionare Lakehouse aperto Qlik dall'elenco.

• Connessione al catalogo dati: nell'elenco, selezionare una connessione esistente o fare clic su Crea nuovo per aggiungere una nuova connessione al catalogo dati.

• Trasferimento della connessione di destinazione: selezionare il bucket S3 per il trasferimento dei dati o fare clic su Crea nuovo per aggiungere una nuova posizione per il bucket.

• Cluster di elaborazione archiviazione: selezionare il cluster lakehouse che eseguirà l'attività di archiviazione.

4. Creare il progetto.

5. Seguire i passaggi nella procedura guidata per l'onboarding dei dati. Per ulteriori informazioni, vedere Inserimento dati.