Qualità dati per i set di dati basati sulla connessione

Ultimo aggiornamento: 2026-11-10

Per sfruttare l'individuazione dei tipi semantici e le letture della qualità dei dati nei set di dati basati sulla connessione, è importante impostare un prerequisito fondamentale con le connessioni dati nel contesto dei prodotti dati.

File, connessioni e database supportati

Sono supportati i seguenti tipi di file:

• File Excel: XLS/XLSX
• File di testo delimitati: CSV/TXT
• File JSON: JSON
• File XML: XML
• Qlik file di dati: QVD (QlikView Data)/QVX (QlikView Exchange)
• File Parquet: PARQUET
• File KML: KML (Dati geografici)

Quando aggiungi un dataset da uno spazio di archiviazione cloud, il file non può superare 1 GB. Questo limite di archiviazione cloud è separato dai limiti per il calcolo della qualità dei dati descritti di seguito.

Al momento, i tipi supportati per il calcolo della qualità sono CSV, TXT, Parquet, QVD, XLS e XLSX, entro questi limiti:

• CSV/TXT fino a 1 GB
• Parquet fino a 1 GB
• QVD fino a 100 GB
• XLS/XLSX fino a 100 MB

Per i file Parquet, la qualità dei dati è supportata solo per gli schemi flat. I campi nidificati (LIST, MAP, STRUCT) non sono supportati.

La qualità dei dati non è supportata per i set di dati basati su file che superano questi limiti. Se il file Excel contiene più fogli, il calcolo della qualità verrà eseguito solo sul primo foglio.

• La qualità dei dati è supportata sia in modalità pullup sia in modalità pushdown per i set di dati Snowflake e Databricks.

• La qualità dei dati è supportata in modalità pullup per i set di dati basati sulle seguenti connessioni:

  • Amazon Athena

  • Amazon Redshift

  • Amazon S3 V2

  • Apache Hive

  • Apache Phoenix

  • Apache Spark

  • Database SQL Azure

  • Archiviazione di Azure

  • Azure Synapse Analytics

  • Cassandra

  • Cloudera Impala

  • Couchbase

  • DynamoDB

  • Dropbox

  • Google BigQuery

  • Google Cloud Storage
  • Google Drive

  • Marketo

  • Microsoft SQL Server

  • MongoDB

  • MySQL Enterprise Edition

  • Office 365 SharePoint
  • OneDrive

  • Oracle

  • PostgreSQL

  • Presto

  • SAP HANA

  • SFTP

  • Snowflake

Creazione di dataset da una tabella

Quando si crea un set di dati, si sceglie un database dalla sorgente dati e si selezionano le tabelle di quel database. Per ogni tabella selezionata viene creato un set di dati.

1. Dal Catalogo, fai clic su Crea nuovo > Dataset.
2. Selezionare la connessione e fare clic su Avanti.
3. Seleziona il database e lo schema dall'elenco a discesa.
4. Seleziona le tabelle e fai clic su Avanti.
5. Selezionare lo spazio e fare clic su Crea set di dati. Vieni reindirizzato al Catalogo e visualizzi i nuovi set di dati nell'elenco.

Ora è possibile calcolare la qualità dei dati e aggiungere i dataset ai prodotti dati. Per ulteriori informazioni, vedere Configurazione del calcolo della qualità dei dati.

Creazione di dataset da un file

1. Dal Catalogo, fai clic su Crea nuovo > Dataset.
2. Selezionare la connessione e fare clic su Avanti.
3. Selezionare il file e fare clic su Avanti.
4. Selezionare lo spazio e fare clic su Crea set di dati. Vieni reindirizzato al Catalogo e visualizzi i nuovi set di dati nell'elenco.

Ora è possibile calcolare la qualità dei dati e aggiungere i dataset ai prodotti dati. Per ulteriori informazioni, vedere Configurazione del calcolo della qualità dei dati.

Creazione di set di dati basati sulla connessione

È possibile creare dataset basati su connessione dal Catalogo, ma è anche possibile utilizzare progetti di pipeline.

La creazione di set di dati da un progetto pipeline consente di eseguire tutta l'integrazione dei dati all'interno di un progetto utilizzando le attività dati. Per ulteriori informazioni, vedere Creazione di un progetto di pipeline di dati.

Creazione di dataset dal Catalogo

Quando non è necessario utilizzare un progetto di pipeline, è possibile creare dataset per calcolare la qualità dei dati e utilizzare i dataset tramite prodotti di dati.

1. In Qlik Talend Data Integration > Catalogo, fai clic su Crea nuovo > Set di dati.
2. Selezionare la connessione e fare clic su Avanti.
3. Seleziona i set di dati e fai clic su Avanti.

   Quando un set di dati non è presente nell'elenco, significa che non è in uno dei formati supportati:

   • File Excel:.xls, .xlsx
   • File di testo delimitati:.csv, .txt
   • File Excel:.xls, .xlsx
   • File JSON:.json
   • File XML:.xml
   • Qlik file di dati:.qvd (QlikView Data), .qvx (QlikView Exchange)
   • File Parquet:.parquet
   • File KML:.kml (Geographic data)

   Per il calcolo della qualità, si applicano limiti di dimensione ai set di dati basati su file: CSV, TXT e Parquet fino a 1 GB, QVD fino a 100 GB e XLS/XLSX fino a 100 MB.

4. Selezionare lo spazio e fare clic su Crea set di dati. Vieni reindirizzato al Catalogo e visualizzi i nuovi set di dati nell'elenco.

Ora è possibile calcolare la qualità dei dati e aggiungere i dataset ai prodotti dati. Per ulteriori informazioni, vedere Configurazione del calcolo della qualità dei dati.

Creazione di dataset da un progetto pipeline

1. In Qlik Talend Data Integration > Connessioni, fare clic su Crea connessione.

2. Configurare l'accesso al database utilizzando le credenziali di un utente che ha autorizzazioni sufficienti e accesso alle tabelle che si desidera importare.

3. In Qlik Cloud Analytics, fare clic su Crea, quindi su Connessione dati.

4. Configurare l'accesso allo stesso database come in precedenza, utilizzando le credenziali dello stesso utente, se possibile, oppure delle credenziali che abbiano almeno le autorizzazioni di lettura (READ) per le tabelle.

5. (solo per Snowflake) Nel campo Ruolo, è necessario inserire un ruolo che corrisponde a un ruolo esistente creato nel database di Snowflake e che disponga dei seguenti privilegi su tali oggetti.

   • UTILIZZO sul WAREHOUSE

   • UTILIZZO sul DATABASE

   • UTILIZZO sullo SCHEMA

   • CREA TABELLA sullo SCHEMA

   • CREA FUNZIONE sullo SCHEMA

   • CREA VISTA sullo SCHEMA

   • SELEZIONA sulla TABELLA

6. (solo per Databricks) In Databricks, è necessario definire i seguenti privilegi sul database:

   • Crea tabella

   • CREA VOLUME

   • MODIFY

   • VOLUME DI LETTURA

   • SELECT

   • USE SCHEMA

   • VOLUME DI SCRITTURA

7. Tornando alla home page di Qlik Talend Data Integration, fai clic su Crea nuovo e poi su Progetto pipeline.

8. Utilizzare la connessione dal passaggio 2 come sorgente del progetto e iniziare a creare una pipeline. Vedere Creazione e gestione di progetti di pipeline di dati per ulteriori informazioni.

9. In qualsiasi punto della pipeline, selezionare l'attività dati, andare a Impostazioni, quindi alla scheda Catalogo, dove è possibile selezionare la casella di selezione Pubblica nel Catalogo.

   Ciò significa che questa versione del set di dati verrà pubblicata nel Catalogo una volta che il progetto pipeline viene preparato ed eseguito. È anche possibile selezionare questa opzione a livello del progetto.

10. Eseguire il progetto dati.

Dopo aver eseguito il progetto pipeline, il nuovo set di dati viene aggiunto al Catalogo e si potrà accedere agli indicatori di qualità e altri dettagli sul contenuto. Questa configurazione consente anche di utilizzare i set di dati come sorgente per le applicazioni di analisi.

È possibile aggiungere tutti i set di dati necessario prima di creare un prodotto dati. Poiché è possibile accedere al Catalogo sia dall'hub Qlik Talend Data Integration sia dall'hub Qlik Cloud Analytics Services, puoi aprire i tuoi set di dati nella tua posizione preferita e verrà utilizzata la connessione corretta a seconda del contesto.

Elaborazione della qualità in pullup/pushdown

L'utilizzo dei pulsanti Calcola o Aggiorna nella Panoramica del set di dati attiva il calcolo della qualità su un campione di 1.000 righe.

Questa operazione avviene in modalità pullup (predefinita). Per i set di dati Snowflake e Databricks, questa operazione può avvenire sia in modalità pullup (predefinita) sia in modalità pushdown, sul lato database.

Dopo aver calcolato la qualità dei dati, viene recuperata e visualizzata un'anteprima di un massimo di 1.000 righe (valore predefinito) con tipi semantici aggiornati, statistiche di validità e completezza. Questo campione viene quindi archiviato su MongoDB. Per configurare le dimensioni dell'anteprima del dataset (100 o 1.000 righe), gli amministratori del tenant devono accedere alla pagina Impostazioni nel centro attività Amministrazione; per ulteriori informazioni, vedere Configurazione delle dimensioni dell'anteprima del dataset.

Prerequisiti per la qualità dei dati in modalità pushdown su Databricks

Per calcolare la qualità dei dati in modalità pushdown su Databricks, Qlik deve sincronizzare determinati dati di riferimento della qualità, come i tipi semantici, con la propria istanza Databricks. Sfrutta inoltre alcune funzionalità avanzate di Databricks.

Affinché questa funzionalità funzioni correttamente, sulla tua istanza Databricks devono essere soddisfatti i seguenti prerequisiti:

• Unity Catalog deve essere abilitato.

• Gli utenti associati alla connessione Databricks devono disporre delle autorizzazioni per creare una tabella, creare uno schema, creare un volume e scrivere in un volume.

  Qlik creerà uno schema denominato qlik_internal nel database specificato nella connessione. Questo schema non verrà rimosso automaticamente da Qlik. Dovrai eliminarlo manualmente se smetti di utilizzare Infrastruttura cloud SaaS.

• Le regole di confronto devono essere abilitate.

Per quanto riguarda le limitazioni, si noti che il riconoscimento delle date nelle colonne di tipo stringa è limitato al formato ISO-8601.