Icerberg optimizasyon süreçleri

Apache Iceberg için Uyarlamalı Optimize Edici, veri dosyalarınızı sürekli olarak denetleyen ve daha hızlı sorgular ve daha düşük depolama maliyetleri için düzenlenme ve saklanma şekillerini optimize eden akıllı bir ajandır.

Qlik, size ait Qlik Açık Göl Evi içindeki Iceberg tablolarının performansını ve yönetilebilirliğini artırmak için optimizasyon süreçlerini kullanır. Bu süreçler verimli depolamayı sürdürmek ve üstün sorgu performansı sağlamak için tasarlanmıştır. Göl evinizi arka planda otomatik olarak optimize ederek, manuel olarak izleme, sorun giderme ve bakım görevlerinin operasyonel yükünü azaltır.

Uyarlamalı Optimize Edici

Uyarlamalı Optimize Edici, Iceberg tablolarınızı en fazla etkiyi yaratacak şekilde nasıl optimize edeceğinizi belirlemek için algoritmik analiz yapar. Ajan, Iceberg verilerinizin ne zaman ve nasıl optimize edileceğine karar verir ve veri profili, tablo özellikleri, satır düzeyinde değişikliklerin sıklığı, maliyet ve performans özellikleri gibi faktörlere göre dosyaların ne zaman silineceğini hesaplar.

Gelişmiş algoritmalar kullanan Uyarlamalı Optimize Edici, her tablo için mümkün olan en iyi optimizasyonları üretmek üzere bu faktörleri sürekli olarak değerlendirir ve birleştirir, böylece sorgu hızlarının yüksek ve depolama maliyetlerinin düşük kalmasını sağlar. Alma ve sıkıştırma sırasında Uyarlamalı Optimize Edici, her bir tabloyu analiz etmeye gerek kalmadan tablo istatistiklerini toplar ve yeniler. Bu istatistikler, Iceberg tablolarındaki sorguların planlanması ve yürütülmesinde sorgu altyapılarına yardımcı olur.

Akıllı optimizasyonlar, göl hijyenini ve sorgu performansını iyileştirmek için verilerinize benzersiz bir şekilde uyum sağlar. Veri gölünüzde tüm tablolar aynı değildir, bu nedenle Uyarlamalı Optimize Edici, ham verilerin ayrı özelliklerine göre ayarlanır. Her tabloyu benzersiz bir şekilde yapılandırır, düzenler ve optimize eder.

Aşağıdaki temel optimizasyon işlemleri Qlik tarafından otomatik olarak gerçekleştirilir ve müdahale gerektirmez:

Sürekli sıkıştırma

Sıkıştırma işlemi devam etmektedir ve özellikle veri akışı için optimize edilmiştir ancak tüm iş yüklerini destekler. Sıkıştırma şunları içerir:

• İzleme ve seçim: Potansiyel sıkıştırma fırsatlarının düzenli olarak kontrol edilmesi.

• Optimizasyon kriterleri: Tahmin edilen en yüksek sorgu performansı kazanımlarını ve maliyet azaltımını sunan sıkıştırmaların seçilmesi. Bu karar, Iceberg tablolarının gereksiz hesaplama maliyetlerine maruz kalmadan sorgu performansı için optimize edilmesini sağlayan bir yaklaşım olan sıkıştırma işlemini gerçekleştirme maliyetiyle ilgilidir.

Anlık görüntünün süresinin sona ermesi

Iceberg işlemleri, kullanıcı sorguları için kullanılabilir olan yeni anlık görüntüler oluşturur. Anlık görüntüler zaman yolculuğu gibi özellikleri mümkün kılar. Ancak bu anlık görüntülerin depolanması depolama gereksinimlerinin artmasına neden olabilir. Bunu yönetmek için Qlik eski anlık görüntüleri otomatik olarak kaldırır. Temizleme işlemi birkaç saatte bir çalışır ve depolama kullanımını optimize etmek için yalnızca gerekli anlık görüntülerin tutulmasını sağlar.

Askıda dosya temizleme

Iceberg işlemleri sırasında dosyalar bazen referanssız veya "askıda" olabilir. Askıda dosyalar birikerek depolama maliyetlerinin artmasına neden olabilir. Qlik, ek depolama maliyetlerini azaltmak için tespit edilen askıda dosyaları günlük olarak temizler. Temizleme işlemi, askıda dosyaları otomatik olarak bulur ve tablo depolama konumundan kaldırarak düzenli ve uygun maliyetli bir depolama ortamı sağlar.