Mellanlagring av strömmande data till Qlik Open Lakehouse
Du kan mellanlagra data från en strömmande källa i Amazon S3, redo för Streaming Transform-uppgiften att konvertera dem till Icebergs öppna tabellformat.
Mellanlagring av strömmande data till en Qlik Open Lakehouse kräver en förkonfigurerad Amazon S3 bucket. Qlik Open Lakehouse är särskilt optimerat för datakällor med stora volymer och är kompatibelt med alla strömmande datakällor som stöds av Qlik. Mer information om strömmande källor som stöds finns i Ansluta till dataströmmar.
Rådata hamnar i Avro-format i S3 och uppgiften Streaming Transform konverterar data till Iceberg-format. Iceberg-specifikationen gör det möjligt att ställa frågor om data från alla motorer som har inbyggt stöd för Trino SQL, till exempel Amazon Athena, Ahana eller Starburst Enterprise. Som tillval kan tabeller speglas till ditt molndatalager där de kan användas utan att data kopieras.
Förberedelser
-
Se till att du har konfigurerat Qlik Open Lakehouse. Detta inkluderar att skapa en nätverksintegration, ett lakehouse-kluster samt käll- och målkopplingar. Mer information finns i Konfigurera Qlik Open Lakehouse.
-
För att spegla data till ditt molndatalager måste du först skapa ett Qlik Open Lakehouse-projekt för att ta in dina data och lagra dem med hjälp av Icebergs öppna tabellformat. Du kan lägga till en speglad datauppgift efter Streaming Transformation-uppgiften. Mer information finns i Spegling av data till ett molndatalager.
Skapa en Streaming mellanlagringsuppgift
För att skapa en Streaming mellanlagringsuppgift, gör följande för att först skapa projektet:
-
Skapa ett projekt och välj Datapipeline i Användningsfall.
-
Välj Qlik Open Lakehouse i dataplattformen och upprätta en koppling till datakatalogen.
-
Sätt upp en lagringsplats i Koppling till mål för mellanlagring.
-
Klicka på Skapa för att skapa projektet.
När du introducerar data eller skapar en mellanlagringsuppgift i projektet, skapas en Strömmande mellanlagringsuppgift i stället för en Mellanlagringsuppgift. Strömmande mellanlagringsuppgifter fungerar och beter sig på liknande sätt som en Mellanlagringsuppgift, förutom att de mellanlagrar data till molnlagring från strömmande källor. Mer information finns i Ansluta till dataströmmar.
Alla filer mellanlagras i Avro-format. När mellanlagringsdata har uppdaterats, konsumerar den Strömmande transformationsuppgiften mellanlagringsdata och uppdaterar de externa tabellerna.
Visa uppgiftsinformation
Klicka på 
i menyraden för att visa uppgiftsinformation, till exempel:
-
Ägare
-
Utrymme
-
Dataplattform
-
Projekt-id
-
Körnings-ID för datauppgift
Drift
Följande åtgärder är tillgängliga i en strömmande mellanlagringsuppgift:
-
Släppa en kolumn
Välj kolumnen och klicka på Ta bort.
Detta lägger till en transformeringsregel som tar bort kolumnen från nyligen inlästa data efter att uppgiften har förberetts och körts. Du kan återställa kolumnen för nya poster genom att ta bort transformationsregeln.
-
Hasha en kolumn, till exempel för att maskera känslig information.
Välj Hash i kolumnen.
Detta genererar en SHA-256-hash av indatakolumnen efter att ha sammanfogat den med Hash salt string. Hash salt string är en projektinställning, tillgänglig i Qlik Open Lakehouse projekt.
Datatypen ändras till Sträng när en kolumn hash-krypteras. Om du vill behålla icke-hash-krypterade data även för privilegierade användare, utför hash-krypteringen senare i en Transform-uppgift.
-
Filtrera data
Mer information finns i Filtrera en datauppsättning.
-
Byta namn på en datauppsättning
Klicka på
datauppsättningen och välj Byt namn.
Inställningar
Se Inställningar för mellanlagring av strömmande datasjö för mer information om uppgiftsinställningar