Processer för Iceberg-optimering

Anpassad optimerare för Apache Iceberg är en intelligent agent som kontinuerligt granskar dina datafiler och optimerar hur de organiseras och lagras för snabbare sökningar och lägre lagringskostnader.

Qlik använder optimeringsprocesser för att förbättra prestanda och hanterbarhet för Iceberg-tabellerna i ditt Qlik Open Lakehouse. Dessa processer är utformade för att upprätthålla effektiv lagring och säkerställa bästa möjliga prestanda för sökningar. Genom att automatiskt optimera ditt sjöhus i bakgrunden minskar de operativa omkostnaderna för manuell övervakning, felsökning och underhåll.

Anpassad optimerare

Anpassad optimerare genomför algoritmisk analys för att avgöra hur du optimerar dina Iceberg-tabeller så att de ger störst effekt. Agenten bestämmer när och hur du ska optimera dina Iceberg-data och beräknar när filer ska raderas baserat på faktorer som dataprofil, tabellegenskaper, frekvensen av ändringar på radnivå, kostnads- och prestandaegenskaper.

Med hjälp av avancerade algoritmer utvärderar och kombinerar Anpassad optimerare kontinuerligt dessa faktorer för att ta fram bästa möjliga optimeringar för varje tabell, så att sökhastigheterna förblir höga och lagringskostnaderna låga. Under inläsning och komprimering samlar Anpassad optimerare in och uppdaterar tabellstatistik utan att varje tabell behöver analyseras. Denna statistik hjälper sökmotorer att planera och utföra sökningar på Iceberg-tabeller.

Intelligenta optimeringar anpassar sig unikt till dina data för att förbättra mellanlagringshygien och sökprestanda. Alla datatabeller i ditt sjöhus är inte lika så en Anpassad optimerare anpassar sig till de individuella egenskaperna hos rådata. Den strukturerar, organiserar och optimerar varje tabell på ett unikt sätt.

De följande viktiga optimeringsprocesserna utförs automatiskt av Qlik och kräver ingen åtgärd:

Kontinuerlig komprimering

Komprimeringsprocessen är pågående och specifikt optimerad för strömmande data men stöder alla arbetsbelastningar. Komprimering innebär:

• Övervakning och urval: regelbunden kontroll av potentiella komprimeringsmöjligheter.

• Optimeringskriterier: Val av komprimeringar som ger de högsta förväntade vinsterna i fråga om prestanda och kostnadsminskning. Detta beslut är relaterat till kostnaden för att utföra komprimeringen, ett tillvägagångssätt som säkerställer att Iceberg-tabellerna förblir optimerade för frågeprestanda utan att ådra sig onödiga beräkningskostnader.

Utgång av ögonblicksbild

Iceberg-operationer genererar nya ögonblicksbilder som är tillgängliga för användarförfrågningar. Ögonblicksbilder möjliggör funktioner som tidsresor. Lagring av dessa ögonblicksbilder kan dock leda till ökade lagringsbehov. För att hantera detta tar Qlik automatiskt bort gamla ögonblicksbilder. Rensningen körs med några timmars mellanrum och ser till att endast nödvändiga ögonblicksbilder sparas för att optimera lagringsanvändningen.

Rensning av kvarhängande filer

Filer kan ibland bli utan referens eller "hängande" under Iceberg-operationer. Hängande filer kan ackumuleras, vilket leder till ökade lagringskostnader. Qlik utför en daglig rensning av upptäckta hängande filer för att minska ytterligare lagringskostnader. Städfunktionen hittar och tar automatiskt bort hängande filer från tabellens lagringsplats, vilket ger en städad och kostnadseffektiv miljö.