Qualità dei dati per i set di dati Snowflake

Per trarre vantaggio dall'individuazione dei tipi semantici e dalla lettura della qualità dei dati nei set di dati Snowflake, è importante impostare un importante prerequisito con le connessioni dati nel contesto dei prodotti dati.

Impostazioni connessione Snowflake

Per poter creare set di dati da Snowflake, e in seguito disporre di accesso al loro schema e alla loro qualità nella panoramica del set di dati e nella panoramica del prodotto dati, è necessario configurare la stessa connessione nell'hub di Qlik Talend Data Integration hub e nell'hub dei servizi di analisi di Qlik.

Supponiamo che si desideri di acquisire i dati archiviati in un database Snowflake, aggiungerli al Catalogo come set di dati e raggrupparli in un prodotto dati che sarà possibile utilizzare in un'app analitica.

1. In Qlik Talend Data Integration, fare clic su Aggiungi nuovo e quindi su Connessione dati.

2. Configurare l'accesso al database Snowflake utilizzando le credenziali di un utente che ha autorizzazioni di scrittura (WRITE) e accesso alle tabelle che si desidera importare.

3. In Servizi di analisi Qlik, fare clic su Aggiungi nuovo, e quindi su Connessione dati.

4. Configurare l'accesso allo stesso database di Snowflake come in precedenza, utilizzando le credenziali dello stesso utente, se possibile, oppure delle credenziali che abbiano almeno le autorizzazioni di lettura (READ) per le tabelle.

5. Nel campo Ruolo, è necessario inserire un ruolo che corrisponde a un ruolo esistente creato nel database di Snowflake e che disponga dei seguenti privilegi su tali oggetti.

   • UTILIZZO sul WAREHOUSE

   • UTILIZZO sul DATABASE

   • UTILIZZO sullo SCHEMA

   • CREA TABELLA sullo SCHEMA

   • CREA FUNZIONE sullo SCHEMA

   • CREA VISTA sullo SCHEMA

   • SELEZIONA sulla TABELLA

6. Tornare alla pagina home di Qlik Talend Data Integration, quindi fare clic su Aggiungi nuovo e quindi su Crea progetto dati.

7. Utilizzare la connessione Snowflake dal passaggio 2 come sorgente del progetto e iniziare a creare una pipeline. Vedere Creazione di una pipeline di dati per ulteriori informazioni.

8. In qualsiasi punto della pipeline, selezionare l'attività dati, andare a Impostazioni, quindi alla scheda Catalogo, dove è possibile selezionare la casella di selezione Pubblica nel Catalogo.

   Ciò significa che questa versione del set di dati verrà pubblicata nel Catalogo una volta che il progetto dati viene preparato ed eseguito. È anche possibile selezionare questa opzione a livello del progetto.

9. Eseguire il progetto dati.

Dopo aver eseguito il progetto dati, il nuovo set di dati viene aggiunto al Catalogo e si potrà accedere agli indicatori di qualità e altri dettagli sul contenuto. Questa configurazione consente anche di utilizzare i set di dati di Snowflake come sorgente per le app analitiche.

È possibile aggiungere tutti i set di dati necessario prima di creare un prodotto dati. Poiché si può accedere al Catalogo sia dall'hub di Qlik Talend Data Integration sia dall'hub di Servizi di analisi Qlik, è possibile aprire i set di dati nella posizione preferita e verrà utilizzata la connessione adeguata a seconda del contesto.

Calcolo della qualità in pushdown

L'utilizzo dei pulsanti Calcola o Aggiorna nella Panoramica del set di dati attiva il calcolo della qualità su un campione di 1.000 righe del database. Questa operazione viene eseguita in pushdown, sul lato Snowflake.

Un campione di 100 righe viene quindi rinviato a Qlik Cloud, dove è possibile visualizzarlo come un'anteprima con tipi semantici e statistiche di validità e completezza aggiornati. Questo campione viene quindi archiviato su MongoDB.

Il seguente diagramma riassume l'operazione di elaborazione della qualità dei dati.