Ir para conteúdo principal Pular para conteúdo complementar

Trabalhando com arquivos Apache Parquet

Apache Parquet é um formato de armazenamento em colunas, altamente eficiente para armazenar e consultar conjuntos de dados grandes. No Qlik Sense, você pode ler dados de arquivos Parquet e armazenar tabelas como arquivos Parquet.

O Parquet permite a consulta eficiente de colunas específicas em uma tabela em vez de ler a tabela inteira. Isso o torna adequado para uso com processamento de big data. Além disso, o Parquet oferece suporte para compactação eficiente e codificação de dados. Isso pode reduzir ainda mais o espaço de armazenamento e melhorar o desempenho da consulta.

Nota informativaTodos os aplicativos existentes criados em uma versão do Qlik Sense anterior a August 2023 devem ser atualizados manualmente para ativar o suporte ao Parquet. Isso é necessário para implementações atualizadas para a versão August 2023 e ao importar aplicativos existentes para uma nova implementação. Para obter mais informações sobre como atualizar os aplicativos, consulte Habilitar suporte a arquivos Parquet para aplicativos existentes no Qlik Sense.

Criando arquivos Parquet

Você pode criar arquivos Parquet usando o comando Store no script. Indique no script que uma tabela lida anteriormente ou parte dela deve ser exportada para um arquivo nomeado de forma explícita em um local de sua escolha.

Para obter mais informações, consulte Store.

Lendo os dados de arquivos Parquet

Você pode ler dados de um arquivo Parquet como qualquer outro arquivo de dados aceito pelo Qlik Sense. Isso inclui o Gerenciador de dados, o Editor de carregamento de dados ou quando você adiciona dados a um novo aplicativo.

Para obter mais informações, consulte Carregando dados de arquivos.

Você também pode carregar dados de um arquivo Parquet no script de carregamento de dados com o comando LOAD. Por exemplo:

LOAD * from xyz.parquet (parquet);

Para obter mais informações, consulte Load.

Limitações

  • Tipos de campos aninhados não são aceitos pelo Qlik Sense. Os campos serão carregados, mas o conteúdo será nulo.

  • Arquivos Parquet que contêm um campo de carimbo de data/hora int96 podem não ser carregados corretamente.

    Int96 é um tipo de dados obsoleto que contém um carimbo de data/hora sem informações de fuso horário. Será feita uma tentativa de ler o campo como UTC, mas, como existem diferentes implementações de fornecedores, não há garantia de sucesso.

    Verifique os dados carregados e ajuste-os para o fuso horário correto com um deslocamento, se necessário.

Esta página ajudou?

Se você encontrar algum problema com esta página ou seu conteúdo - um erro de digitação, uma etapa ausente ou um erro técnico - informe-nos como podemos melhorar!