Store

Archiviazione nei file parquet

Parquet è un formato file fortemente tipizzato, in cui ogni campo contenente un singolo tipo di dati specifico (come ad esempio INT32, doppio, timestamp, o testo). Qlik Sense archivia i dati interni come doppi poco tipizzati, in cui i dati da sorgenti differenti possono essere mescolati negli stessi campi. Poiché nei file Parquet è possibile archiviare solo una parte dei doppi in ogni campo, è importante sapere cosa contiene ciascuno di essi. Per impostazione predefinita, Qlik Sense utilizza i campi per determinare come devono essere archiviati. Quando si archiviano dati nei file Parquet in un formato specifico, è necessario specificare qual è il tipo di dati dei campi al caricamento. Se si tenta di archiviare i dati in campi non compatibili in un file Parquet, come ad esempio dei numeri in un campo di testo o del testo in un campo timestamp, verranno generati valori null.

Quando si caricano dati che si desidera archiviare in Parquet, è possibile modificare il comportamento predefinito. È possibile formattarlo per modificare il tipo di dati o aggiungere tag per applicare forzatamente i tipi di colonna in Parquet.

Formattazione dei dati per l'archiviazione in Parquet

È possibile utilizzare le funzioni di formattazione di Qlik Sense per classificare i dati. Ad esempio, Text(), Num(), Interval() o Timestamp() possono applicare forzatamente i formati dati per l'archiviazione in Parquet. Qlik Sense può archiviare i dati in quasi 20 tipi di dati differenti, a seconda degli attributi del campo e dei tag di campo automatici. Per ulteriori informazioni, vedere Funzioni di interpretazione.

Esempio: Formattazione dei dati con Num() e Text()

Nel seguente esempio viene descritta la preparazione dati per l'archiviazione in Parquet. Il valore Num() è applicato ai campi numerici, mentre Text() è applicato ai campo di testo e misti. Nel caso dei campi misti, Text() impedisce che vengano trattati come campi numerici in Parquet e che i valori di testo vengano modificati in null.

Tagging dei dati per l'archiviazione in Parquet

È possibile applicare tag ai dati con i tag $parquet per forzare l'applicazione di tipi di colonne specifici durante l'archiviazione dei dati in Parquet. È possibile forzare ogni tipo di dati aggiungendo i corrispondenti tag di controllo. Per esempio, per archiviare un campo come INT32 in Parquet, aggiungere un tag utilizzando $parquet-int32 nello script di caricamento. A seconda del tipo di dati, verranno archiviate la stringa o la rappresentazione numerica dei dati doppi.

I seguenti tag di controllo Parquet possono essere utilizzati per taggare i campi per l'archiviazione nei file Parquet.

Esempio: Tagging dei dati per l'archiviazione in Parquet

In questo esempio, vengono utilizzati due tag per definiree i dati per Parquet. Il campo num è taggato come $parquet-int32 per definirlo come campo numerico che verrà impostato come INT32 in Parquet.

Archiviazione dei dati annidati in file Parquet

È possibile archiviare più tabelle in un file Parquet annidandole in dati strutturati. Store supporta nodi strutturati e nodi elenco in uno schema stella. È possibile anche archiviare singole tabelle in modalità annidata utilizzando l'identificatore Il delimitatore è.

Quando si archiviano le tabelle, specificare quelle che si desidera includere separate da virgole. Ad esempio: STORE Table1, Table2, Table3 INTO [lib://<file location>/<file name>.parquet] (parquet);. È possibile controllare i campi da archiviare utilizzando un elenco campo nell'istruzione Store. Ad esempio STORE Field1, Field2, FROM Table1, Table2 INTO [lib://<file location>/<file name>.parquet] (parquet);. Tutti i campi nell'elenco campo devono essere inclusi in una o più delle tabelle elencate. La prima tabella nell'istruzione Store verrà utilizzata come tabella dei fatti nello schema stella.

I nomi del campo sono utilizzati per controllare come i gruppi verranno creati e annidati. Per impostazione predefinita, i nomi del campo sono divisi in nodi con un periodo (.). Il delimitatore può essere modificato impostando la variabile di sistema FieldNameDelimiter o utilizzando l'identificatore Il delimitatore è. L'identificatore sovrascriverà la variabile di sistema. Per ulteriori informazioni, vedere Utilizzo delle variabili nell'editor caricamento dati.

I nomi dei campi sono divisi dal delimitatore e le parti sono utilizzate per creare lo schema con gruppi annidati. Per esempio, STORE Field1, Field1.Field2, Field1.Field3, Field1.Field4 FROM Table1 INTO [nested.parquet] (parquet, delimiter is '.'); creerà due gruppi (Gruppo1 e Gruppo2) con Campi1, Campi2 e Campi3, Campi4.

Quando si archiviano dati annidati in Parquet, le chiavi tra le tabelle sono trasformate in nodi di collegamento nello schema. Le tabelle vengono trasformate in nodi strutturati nello schema. È possibile sovrascrivere la trasformazione predefinita utilizzando i nomi di campo.

Esempio: Archiviazione dei dati annidati in un file Parquet

Il file Parquet risultante ha il seguente schema:

Limitazioni

L'archiviazione dei dati annidati in Parquet presenta le seguenti limitazioni:

• L'archiviazione non supporta i nodi mappa.

• L'archiviazione non include i campi chiave generati dal caricamento dei file parquet annidati.

• Non è possibile archiviare i dati da più tabelle insieme che non siano collegate con campi chiave.

• Il file annidato denormalizza il modello dati. I valori senza riferimento non verranno salvati e i valori con riferimenti multipli verranno copiati.

Quando si utilizza un'istruzione Store in uno script di caricamento in Qlik Cloud, è possibile fare riferimento alla cartella esatta in uno spazio in cui si desidera archiviare i file creati. Seguire le regole per i percorsi validi delle cartelle nello spazio. Inoltre, vengono applicati anche i seguenti comportamenti univoci per le istruzioni Store:

• Se lo spazio esiste ma il percorso della cartella specificato non esiste, il percorso verrà creato nello spazio. È possibile creare una o più cartelle, a seconda della struttura definita per le cartelle. Il file viene generato e archiviato lì.

• Se lo spazio esiste ma il percorso della cartella specificato utilizza delimitatori di cartella non validi (ad esempio, \, \\, //, /./, o /../), l'istruzione Store viene comunque eseguita. Il file di output viene invece salvato nel percorso di primo livello nello spazio di destinazione e avrà un nome che contiene il percorso completo, non solo il nome specificato.

• Se lo spazio non esiste, l'istruzione Store non può essere eseguita e restituisce un errore.

Gli esempi che seguono mostrano come fare riferimento a un percorso di cartella specifico nello spazio all'interno dell'istruzione Store.

Esempio: Archiviazione del file nel percorso di primo livello di uno spazio

In questo esempio, l'intera tabella mytable viene esportata in Qlik Cloud Analytics come un file denominato myfile.qvd. Il file viene aggiunto allo spazio condiviso TeamSharedSpace. Il file non si trova in una cartella specifica, ma è posizionato nel percorso di primo livello nello spazio.

Store * from mytable into [lib://TeamSharedSpace:DataFiles/myfile.qvd];

Esempio: Archiviazione del file nel percorso di una cartella specifica all'interno di uno spazio

In questo esempio, l'intera tabella mytable viene esportata in Qlik Cloud Analytics come un file denominato myfile.qvd. Il file viene aggiunto alla cartella SalesData all'interno dello spazio TeamSharedSpace.

Store * from mytable into [lib://TeamSharedSpace:DataFiles/SalesData/myfile.qvd];