Store

Armazenamento em arquivos Parquet

O Parquet é um formato de arquivo fortemente tipado, em que cada campo contém um único tipo específico de dados (como in32, double, timestamp ou texto). O Qlik Sense armazena dados internos como duplos livremente tipados, em que dados de fontes diferentes podem ser misturados nos mesmos campos. Como somente uma parte do duplo pode ser armazenada em cada campo no Parquet, é importante saber o que cada campo contém. Por padrão, o Qlik Sense usa o tipo de campo para determinar como o campo deve ser armazenado. Ao armazenar dados em arquivos Parquet em um formato específico, você deve especificar que tipo de dados são seus campos ao carregá-los. Se você tentar armazenar dados em campos incompatíveis em um arquivo Parquet, como números em um campo de texto ou texto em um campo de carimbo de data/hora, receberá valores nulos.

Ao carregar dados que você pretende armazenar no Parquet, é possível alterar o comportamento padrão. Você pode formatá-los para alterar seu tipo de dados ou marcá-los para forçar tipos de colunas específicos no Parquet.

Formatação de dados para armazenamento no Parquet

É possível usar funções de formatação do Qlik Sense para classificar dados. Por exemplo, Text(), Num(), Interval() ou Timestamp() pode impor formatos de dados ao armazenar dados no Parquet. O Qlik Sense pode armazenar dados em quase 20 tipos de dados, dependendo dos atributos de campo e das tags de campo automáticas. Para obter mais informações, consulte Funções de interpretação

Exemplo: Formatação de dados com Num() e Text()

O exemplo a seguir demonstra a preparação de dados para armazenamento no Parquet. Num() é aplicada ao campo numérico. Text() é aplicado a texto e conteúdo misto. No caso de conteúdo misto, Text() impede que ele seja tratado como um campo numérico no Parquet e que os valores de texto sejam alterados para valores nulos.

Marcação de dados para armazenamento no Parquet

Você marca seus dados com tags $parquet para forçar tipos de coluna específicos ao armazenar dados no Parquet. Cada tipo de dados pode ser aplicado adicionando a tag de controle correspondente. Por exemplo, para armazenar um campo como INT32 no Parquet, marque-o com $parquet-int32 no script de carregamento. Dependendo do tipo de dados, a string ou a representação numérica dos dados duais serão armazenadas.

As seguintes tags de controle do Parquet podem ser usadas para marcar campos para armazenamento em arquivos do Parquet.

Exemplo: Marcação de dados para armazenamento no Parquet

Neste exemplo, duas tags são usadas para definir os dados para o Parquet. O campo num é marcado com $parquet-int32 para defini-lo como um campo numérico que será definido como INT32 no Parquet.

Armazenando dados aninhados em arquivos Parquet

Você pode armazenar várias tabelas em arquivos Parquet aninhando-as em dados estruturados. O Store oferece suporte a nós estruturados e nós de lista em um esquema em estrela. Tabelas únicas também podem ser armazenadas no modo aninhado usando o especificador Delimiter is.

Ao armazenar tabelas, especifique as tabelas que deseja incluir separadas por vírgulas. Por exemplo: STORE Table1, Table2, Table3 INTO [lib://<file location>/<file name>.parquet] (parquet);. Você pode controlar quais campos são armazenados usando uma lista de campos no comando Store. Por exemplo STORE Field1, Field2, FROM Table1, Table2 INTO [lib://<file location>/<file name>.parquet] (parquet);. Todos os campos na lista de campos devem estar em uma ou mais tabelas listadas. A primeira tabela da instrução Store será usada como tabela de fatos no esquema em estrela.

Os nomes dos campos são usados para controlar como os grupos serão criados e aninhados. Por padrão, os nomes dos campos são divididos em nós com um ponto (.). O delimitador pode ser alterado definindo a variável de sistema FieldNameDelimiter ou usando o especificador Delimiter is. O especificador substituirá a variável do sistema. Para obter mais informações, consulte Trabalhando com variáveis no editor de carregamento de dados.

Os nomes dos campos são divididos pelo delimitador e as partes são usadas para criar o esquema com grupos aninhados. Por exemplo, STORE Field1, Field1.Field2, Field1.Field3, Field1.Field4 FROM Table1 INTO [nested.parquet] (parquet, delimiter is '.'); criará dois grupos (Grupo1 e Grupo2) com Campos1, Campo2 e Campo3, Campo4.

Ao armazenar dados aninhados no Parquet, as chaves entre as tabelas são transformadas em nós de link no esquema. As tabelas são transformadas em nós estruturados no esquema. Você pode substituir a transformação padrão usando nomes de campo.

Exemplo: Armazenando dados aninhados em um arquivo Parquet

O arquivo Parquet resultante possui o seguinte esquema:

Limitações

O armazenamento de dados aninhados no Parquet tem as seguintes limitações:

• O armazenamento não oferece suporte a nós de mapa.

• O armazenamento não inclui campos-chave gerados pelo carregamento de arquivos parquet aninhados.

• Você não pode armazenar dados de tabelas que não estejam vinculados a campos-chave.

• O arquivo aninhado desnormaliza o modelo de dados. Valores não referenciados não serão salvos e valores referenciados diversas vezes serão copiados.