Apache Parquet é um formato de armazenamento em colunas, altamente eficiente para armazenar e consultar conjuntos de dados grandes. No Qlik Sense, você pode ler dados de arquivos Parquet e armazenar tabelas como arquivos Parquet.
O Parquet permite a consulta eficiente de colunas específicas em uma tabela em vez de ler a tabela inteira. Isso o torna adequado para uso com processamento de big data. Além disso, o Parquet oferece suporte para compactação eficiente e codificação de dados. Isso pode reduzir ainda mais o espaço de armazenamento e melhorar o desempenho da consulta.
Criando arquivos Parquet
Você pode criar arquivos Parquet usando o comando Store no script. Indique no script que uma tabela lida anteriormente ou parte dela deve ser exportada para um arquivo nomeado de forma explícita em um local de sua escolha.
Para obter mais informações, consulte Store.
Lendo os dados de arquivos Parquet
Você pode ler dados de um arquivo Parquet como qualquer outro arquivo de dados aceito pelo Qlik Sense. Isso inclui o Gerenciador de dados, o Editor de carregamento de dados ou quando você adiciona dados a um novo aplicativo.
Para obter mais informações, consulte Carregando dados de arquivos.
Você também pode carregar dados de um arquivo Parquet no script de carregamento de dados com o comando LOAD. Por exemplo:
Para obter mais informações, consulte Load.
Limitações
-
Tipos de campos aninhados não são aceitos pelo Qlik Sense. Os campos serão carregados, mas o conteúdo será nulo.
-
Arquivos Parquet que contêm um campo de carimbo de data/hora int96 podem não ser carregados corretamente.
Int96 é um tipo de dados obsoleto que contém um carimbo de data/hora sem informações de fuso horário. Será feita uma tentativa de ler o campo como UTC, mas, como existem diferentes implementações de fornecedores, não há garantia de sucesso.
Verifique os dados carregados e ajuste-os para o fuso horário correto com um deslocamento, se necessário.