Creazione di una pipeline di dati in un progetto dati

È possibile creare una pipeline di dati per eseguire tutta l'integrazione dei dati all'interno di un progetto dati utilizzando le attività di dati. L'operazione di onboarding o inserimento sposta i dati nel progetto da sorgenti dati locali o nel cloud e archivia i dati in set di dati pronti per il consumo. È possibile anche eseguire trasformazioni e creare data mart per sfruttare i set di dati generati e trasformati. La pipeline di dati può essere semplice e lineare oppure può essere una pipeline complessa che utilizza diverse sorgenti dati e genera molti output.

Queste sono le attività principali che si possono eseguire in un progetto dati. È possibile combinarli come meglio si crede.

1. Inserire i dati.

   Ciò include il trasferimento dei dati in un'area di staging e quindi l'archiviazione delle serie di dati in un data warehouse cloud. Le attività dei dati di trasferimento e archiviazione vengono creati in un unico passaggio. Se necessario, è possibile eseguire il trasferimento e l'archiviazione anche con attività separate.

   Inserimento dati

2. Trasformare i dati inseriti con onboarding.

   Creare trasformazioni riutilizzabili a livello di riga basate su regole e SQL personalizzato. Ciò crea un'attività dati Trasforma.

   Trasformazione dei dati

3. Permette di creare un data mart per sfruttare i propri set di dati. Ciò crea un'attività dati Data mart.

   Creazione e gestione di data mart

Il progetto dati è associato a una piattaforma dati che viene utilizzata come destinazione per tutti gli output. Sono supportate le seguenti piattaforme:

• Google BigQuery

• Snowflake

• Microsoft Azure Synapse Analytics

• Databricks

• Amazon Redshift

• Qlik Cloud

  L'utilizzo di questa piattaforma richiede il trasferimento dei dati in un bucket. Amazon S3. È possibile generare tabelle QVD nell'archiviazione gestita da Qlik Cloud, oppure nell'archiviazione Amazon S3 gestita dall'utente.

Per ulteriori informazioni sulla connessione alle piattaforme dati, vedere Connessione di a piattaforme dati cloud nei propri progetti dati

Tutte le attività di dati verranno create nello stesso spazio del progetto dati a cui appartengono.

Esempio di creazione di un progetto dati

L'esempio seguente esegue l'onboarding dei dati, la trasformazione dei dati e la creazione di un data mart. Ciò creerà una semplice pipeline di dati lineare che è possibile espandere integrando più sorgenti dati, creando più trasformazioni e aggiungendo le attività di dati generati al data mart.

1. Creare un nuovo progetto dati.

   Fare clic su Aggiungi nuovo e quindi su Crea progetto dati nella Home Integrazione dati Qlik Cloud.

   1. Immettere un nome e una descrizione per il progetto dati e selezionare uno spazio in cui creare il progetto dati. Tutte le attività di dati verranno create nello spazio del progetto dati a cui appartengono.

   2. Selezionare quale piattaforma dati utilizzare nel progetto.

   3. Selezionare una connessione dati al data warehouse cloud che si desidera utilizzare nel progetto. Questo verrà utilizzato per trasferire file di dati e archiviare serie di dati e viste. Se non si è già preparato una connessione dati, crearne una con Aggiungi connessione.

      Se la piattaforma dati selezionata è Google BigQuery, Databricks o Microsoft Azure Synapse Analytics, è necessario connettersi anche a un'area di staging.

   4. Se piattaforma dati selezionata è Qlik Cloud:

      È possibile archiviare i dati nell'archiviazione gestita da Qlik o nel proprio bucket S3 gestito da Amazon. Se si desidera utilizzare il bucket Amazon S3, è necessario selezionare una connessione dati a quel bucket.

      In entrambi i casi, occorre selezionare anche una connessione dati a un'area di staging di Amazon S3. Se si utilizza lo stesso bucket definito nel passaggio precedente, assicurarsi di utilizzare un'altra cartella nel bucket per lo staging.

   5. Fare clic su Crea.

      Il progetto dati viene creato ed è possibile creare la pipeline di dati aggiungendo attività di dati.

2. Inserire i dati

   Fare clic su Aggiungi nuovo e poi Inserisci dati.

   Per ulteriori informazioni, vedere Inserimento dati.

   Ciò creerà un'attività per i dati di trasferimento e un'attività per i dati di archiviazione. Per iniziare a replicare i dati è necessario:

   • Preparare ed eseguire l'attività per i dati di trasferimento.

     Per ulteriori informazioni, vedere Trasferimento dati da sorgenti dati.

   • Preparare ed eseguire l'attività per i dati di archiviazione.

     Per ulteriori informazioni, vedere Generazione e archiviazione di set di dati

3. Trasformazione dei dati

   Una volta creata l'attività per i dati di archiviazione, tornare al progetto dati. È ora possibile eseguire trasformazioni sulle serie di dati create.
   

   Fare clic su ... sull'attività di dati di archiviazione e selezionare Trasforma dati per creare un'attività di dati di trasformazione basata su questa attività di dati di archiviazione. Per istruzioni sulle trasformazioni, vedere Trasformazione dei dati.

4. Creazione di un data mart

   È possibile creare un data mart basato su un'attività di dati di archiviazione o su un'attività di dati di trasformazione.

   Fare clic su ... sull'attività di dati e selezionare Crea data mart per creare un'attività di dati di data mart. Per istruzioni sulla creazione di un data mart, vedere:

   Creazione e gestione di data mart

Dopo aver eseguito il primo caricamento completo delle serie di dati e dei data mart archiviati e trasformati, è possibile utilizzarli, ad esempio, in un'app analitica. Per ulteriori informazioni sulla creazione di app di analisi, vedere Creazione di un'app di analisi usando serie di dati generate da Integrazione dati Qlik Cloud .

È possibile anche espandere la pipeline di dati inserendo in onboarding più sorgenti dati e combinandole nella trasformazione o nel data mart.

Pianificazione delle attività dati

È possibile pianificare attività dati per organizzare la pipeline dei dati. È possibile utiizzare una pianificazione basata sul tempo, oppure usare una pianificazione basata su un evento per aggiungere i dati a cascata nella pipeline dei dati non appena diventano disponibili. Per ulteriori informazioni, vedere:

• Pianificazione di un'attività dati di trasferimento Caricamento completo

• Pianificazione di un'attività di archiviazione

• Pianificazione di un'attività di trasformazione

• Pianificazione di un'attività data mart

Modifica della visualizzazione di un progetto dati

Sono disponibili due visualizzazioni differenti per i progetti dati. È possibile passare da una visualizzazione all'altra facendo clic suVisualizzazione pipeline.

• La visualizzazione pipeline mostra il flusso di dati delle attività di dati.

  È possibile scegliere quali informazioni mostrare per le attività di dati facendo clic su Livelli. Attivare o disattivare le seguenti informazioni:

  • Stato

  • Aggiornamento dei dati

  • Pianificazione

• La visualizzazione a schede mostra una scheda con le informazioni sulle attività di dati.

  È possibile filtrare la visualizzazione per tipo di risorsa e proprietario.

Esportazione e importazione di progetti dati

È possibile esportare un progetto dati in un file JSON che contiene tutto ciò che è necessario per ricostruire il progetto dati. Il file JSON esportato può essere importato sullo stesso tenant o su un altro tenant. È possibile usarlo, ad esempio, per spostare i progetti dati da un tenant all'altro o per eseguire copie di backup dei progetti dati.

Per ulteriori informazioni, vedere Esportazione e importazione di progetti dati.

Impostazioni di progetti dati

È possibile impostare proprietà comuni al progetto e a tutte le attività di dati incluse.

• Fare clic su Impostazioni.

Per ulteriori informazioni, vedere Impostazioni di progetti dati.