Iceberg-optimalisatieprocessen

Adaptieve optimalisatie voor Apache Iceberg is een intelligente agent die voortdurend uw gegevensbestanden controleert en optimaliseert hoe ze georganiseerd en opgeslagen worden voor snellere zoekopdrachten en lagere opslagkosten.

Qlik maakt gebruik van optimalisatieprocessen om de prestaties en beheerbaarheid van de Iceberg-tabellen in uw Qlik Open Lakehouse te verbeteren. Deze processen zijn ontworpen om een efficiënte opslag te handhaven en om eersteklas queryprestaties te garanderen. Door uw lakehouse automatisch op de achtergrond te optimaliseren, vermindert dit de operationele overhead van het handmatig bewaken, oplossen van problemen en onderhouden van taken.

Adaptieve optimalisatie

Adaptieve optimalisatie voert algoritmische analyses uit om te bepalen hoe uw Iceberg-tabellen geoptimaliseerd kunnen worden om de meeste impact te hebben. De agent beslist wanneer en hoe uw Iceberg-gegevens geoptimaliseerd worden en berekent wanneer bestanden verwijderd moeten worden op basis van factoren zoals gegevensprofiel, tabeleigenschappen, frequentie van wijzigingen op rijniveau, kosten en prestatiekenmerken.

Met behulp van geavanceerde algoritmen evalueert en combineert Adaptieve optimalisatie deze factoren voortdurend om de best mogelijke optimalisaties voor elke tabel te produceren, zodat de querysnelheden hoog blijven en de opslagkosten laag. Tijdens de opname en compressie verzamelt en vernieuwt Adaptieve optimalisatie tabelstatistieken zonder dat elke tabel geanalyseerd hoeft te worden. Deze statistieken helpen query-engines bij het plannen en uitvoeren van query's over Iceberg-tabellen.

Intelligente optimalisaties past zich op unieke wijze aan uw gegevens aan om de opschoning van het lake en de queryprestaties te verbeteren. Niet alle tabellen zijn gelijk in uw datalakehouse, dus de Adaptieve optimalisatie past zich aan de individuele kenmerken van de ruwe gegevens aan. Het structureert, organiseert en optimaliseert elke tabel op unieke wijze.

De volgende belangrijke optimalisatieprocessen worden automatisch uitgevoerd door Qlik en vereisen geen tussenkomst:

Continue compressie

Het compressieproces wordt voortdurend uitgevoerd en is specifiek geoptimaliseerd voor streaminggegevens, maar ondersteunt alle werklasten. Compressie houdt in:

• Controle en selectie: regelmatig controleren op potentiële mogelijkheden voor compressie.

• Optimalisatiecriteria: soorten compressie selecteren die de hoogste voorspelde prestatiewinst bij query's en kostenreductie bieden. Deze beslissing is afhankelijk van de kosten van het uitvoeren van de compressie, een aanpak die ervoor zorgt dat de Iceberg-tabellen geoptimaliseerd blijven voor queryprestaties zonder onnodige rekenkosten.

Vervaldatum snapshot

Iceberg-bewerkingen genereren nieuwe snapshots die beschikbaar zijn voor zoekopdrachten door gebruikers. Snapshots maken functies zoals tijdreizen mogelijk. Het opslaan van deze snapshots kan echter leiden tot hogere opslagvereisten. Om dit te beheren, verwijdert Qlik automatisch oude snapshots. Het opschoonproces wordt om de paar uur uitgevoerd en zorgt ervoor dat alleen noodzakelijke snapshots worden bewaard om het opslaggebruik te optimaliseren.

Opschonen van bestanden die blijven hangen

Er wordt soms niet naar bestanden verwezen worden of ze kunnen 'blijven hangen' tijdens Iceberg-bewerkingen. Hangende bestanden kunnen zich ophopen, wat leidt tot hogere opslagkosten. Qlik voert dagelijks een opschoning uit van gedetecteerde hangende bestanden om extra opslagkosten te beperken. De opschoonactie vindt en verwijdert automatisch hangende bestanden van de opslaglocatie van de tabel, wat zorgt voor een opgeruimde en kosteneffectieve opslagomgeving.