Apache Parquet is een opslagindeling met kolommen, wat zeer efficiënt is voor het opslaan en doorzoeken van grote gegevensverzamelingen. In Qlik Sense kunt u lezen vanuit Parquet-bestanden en tabellen opslaan als Parquet-bestanden.
Met Parquet kunnen specifieke kolommen in een tabel efficiënt worden doorzocht in plaats van dat de volledige tabel gelezen moet worden. Daarom is het zeer geschikt om te gebruiken voor de verwerking van big data. Parquet ondersteunt ook efficiënte compressie en versleuteling van gegevens. Dit vermindert de benodigde opslagruimte en verbetert de queryprestaties.
Parquet-bestanden maken
U kunt Parquet-bestanden maken met behulp van de opdracht Store in het script. U geeft in het script aan dat u een eerder gelezen tabel of deel ervan wilt exporteren naar een expliciet genoemd bestand op een locatie van uw keuze.
Ga voor meer informatie naar Store.
Gegevens uit Parquet-bestanden lezen
U kunt gegevens lezen vanuit een Parquet-bestand net als andere gegevensbestanden die door Qlik Sense worden ondersteund. Dit heeft betrekking op Gegevensbeheer, de editor voor laden van gegevens of als u gegevens toevoegt aan een nieuwe app.
Ga voor meer informatie naar Gegevens uit bestanden laden.
U kunt ook gegevens laden vanuit een Parquet-bestand in het load-script voor gegevens met de opdracht LOAD. Bijvoorbeeld:
Ga voor meer informatie naar Load.
Beperkingen
-
Geneste veldtypen worden niet ondersteund door Qlik Sense. De velden worden geladen, maar de inhoud is null.
-
Parquet-bestanden die een int96-tijdstempelveld bevatten worden mogelijk niet correct geladen.
Int96 is een verouderd gegevestype dat een tijdstempel zonder tijdzonegegevens bevat. Er wordt een poging gedaan om het veld als UTC te lezen, maar vanwege verschillende implementaties van de leverancier kan succes niet worden gegarandeerd.
Controleer de geladen gegevens en wijzig de tijdzone in de juiste tijdzone met indien nodig een marge.