Apache Parquetist ein Spalten-Speicherformat, das sehr effizient beim Speichern und Abfragen großer Datensätze ist. In Qlik Sense kann aus Parquet-Dateien gelesen werden, und Sie können Tabellen als Parquet-Dateien speichern.
Parquet ermöglicht effiziente Abfragen spezifischer Spalten in einer Tabelle, anstatt die ganze Tabelle zu lesen. Dadurch eignet sich das Format gut für die Big Data-Verarbeitung. Parquet unterstützt auch die effiziente Komprimierung und Verschlüsselung von Daten. Dadurch kann der Speicherplatz weiter reduziert und die Abfrageleistung gesteigert werden.
Erstellen von Parquet-Dateien
Sie können Parquet-Dateien mit dem Befehl Store im Skript erstellen. Dazu definieren Sie im Skript, dass eine bereits eingelesene Tabelle oder ein Teil davon in eine Datei exportiert werden soll, deren Namen und Speicherort Sie bestimmen.
Weitere Informationen finden Sie unter Store.
Daten aus Parquet-Dateien einlesen
Sie können Daten aus einer Parquet-Datei genau wie aus jeder anderen von Qlik Sense unterstützten Datendatei lesen. Dies umfasst Datenmanager, Dateneditor oder das Hinzufügen von Daten zu einer neuen App.
Weitere Informationen finden Sie unter Laden von Daten aus Dateien.
Sie können auch Daten aus einer Parquet-Datei mit dem Befehl LOAD in das Datenladeskript laden. Hier ein Beispiel:
Weitere Informationen finden Sie unter Load.
Beschränkungen
-
Verschachtelte Feldtypen werden von Qlik Sense nicht unterstützt. Die Felder werden geladen, aber der Inhalt ist null.
-
Parquet-Dateien mit einem int96-Zeitstempelfeld werden möglicherweise nicht korrekt geladen.
Int96 ist ein veralteter Datentyp, der einen Zeitstempel ohne Zeitzoneninformationen enthält. Es wird ein Versuch unternommen, das Feld als UTC zu lesen, aber da es verschiedene Anbieterimplementierungen gibt, kann der Erfolg nicht garantiert werden.
Prüfen Sie die geladenen Daten und passen Sie sie an die korrekte Zeitzone an, bei Bedarf mit einem Versatz.