Anomali tespiti ve yönetimi

Akıllı model optimizasyonu kullanılırken anomali tespiti ve yönetimi sağlanır. Bu yetenekler sayesinde Qlik AutoML, eğitim verilerinizdeki aykırı değerleri belirli işlemlerle otomatik olarak yönetebilir. Eğitim sırasında, eğitim verilerinizdeki aykırı veriler tamamen kaldırılmaz, bunun yerine algoritma destekli bir ağırlıklandırma sistemi kullanılarak işlenir.

Çalışabileceğiniz hemen hemen her tür veride aykırı değerler veya anomaliler gözlemlemek yaygındır. Anomaliler, geleneksel olarak beklenen aralığın dışında gerçekleşen veri değerleridir. Makine öğrenimi modellerini eğitirken, belirli bir oranda anomali tolere edilebilir ve hatta gerçek dünyadaki sapmanın bir yansıması olarak istenen bir şey olabilir. Ancak aşırı durumlarda, anomaliler ve aykırı değerler bir modele yanlılık katarak güvenilirliğini ve kullanışlılığını azaltır.

Örnekler

Tüm anomaliler eşit şekilde ele alınmalı ve her zaman verilerinizden çıkarılması gereken şeyler olarak görülmemelidir. Örneğin, bir veri anomalisi doğal olarak mümkün olan ancak veri toplarken gözlemlenebilen nadir bir durumsa bunun eğittiğiniz modellerde kullanılmasını istemeniz mantıklı olabilir. Bunun en güzel örneği, finansal işlemlerdeki dolandırıcılık vakalarıdır. Milyonlarca işlemden yalnızca bir avuç kadarı dolandırıcılıkla ilgili olabilir. Modelinizle analiz etmek ve gidermek istediğiniz soruna bağlı olarak, günlük işlemlerde dolandırıcılık olasılığı, tahminler oluştururken hesaba katmak isteyeceğiniz bir şey olabilir.

Muhtemelen kaldırmak isteyeceğiniz bir anomali örneği, veri toplarken meydana gelen kasıtsız bir hatadır. Örneğin, hava durumu modellerini tahmin etmek için kullanılacak bir model oluşturduğunuzu varsayalım. Modeliniz hava durumu ölçümlerini izleyen bir sensörden gelen verilerle eğitiliyor ve alakasız bir elektrik kesintisi, sensörden hatalı veri toplanmasına neden oluyor. Bu hatalı veriler, model eğitimini tamamlamadan önce kaldırmak isteyeceğiniz anomali verileri olarak kabul edilebilir.

Qlik AutoML anomalileri nasıl ele alır?

Anomali tespiti ve yönetimi, modelleri yeni deneylerde varsayılan olarak açık olan akıllı model optimizasyonu ile eğittiğinizde gerçekleştirilir.

Anomalilerin ele alınmasının genellikle iki ayrı süreçte gerçekleştiği düşünülebilir: tespit ve gerçek model eğitimi.

Anormallikte tespiti

Eğitimin bir sürümünü çalıştırdığınızda, AutoML, model eğitimi başlamadan önce birkaç adımı tamamlar. Bu, veri sınıflandırması, null değer ataması ve bir dizi başka işlemi içerir. Anomali tespiti bu aşamada ve yalnızca akıllı model optimizasyonu açıldığında tamamlanır.

Teknik açıdan Qlik AutoML, eğitim verilerinizdeki anomalileri ve aykırı değerleri tespit etmek için ağacı tabanlı bir karar algoritması olan izolasyon ormanı algoritmasını kullanır. Akıllı model optimizasyonunda veri işleme aşamasında, veri kümesindeki her bir veri noktasına (genellikle kayıt olarak bilinir) bir anomali puanı atanır ve anomali olduğuna dair kesinlik derecesine göre ağırlıklandırılır.

Model eğitiminde anomali yönetimi

Verileriniz işlendikten ve gerektiği gibi dönüştürüldükten sonra AutoML, modelleri eğitmeye başlar. Bu işlem sırasında, her bir satırın model üzerindeki etkisini ayarlamak için daha önce oluşturulan ağırlıklı anomali puanları kullanılır. Örneğin, anomali içerme olasılığı yüksek olduğu düşünülen bir satıra model eğitimi üzerinde daha düşük bir etki atanır.

Bu ağırlıklı puanlama sistemi, AutoML'in verileri atmaktan kaçınmasına ve bunun yerine aykırı verilerin model üzerindeki etkisini azaltmasına olanak tanır.

Dikkat edilmesi gereken noktalar

Qlik AutoML ile kullanılabilen anomali tespit yeteneklerine rağmen bu, yüksek kaliteli bir modeli eğitmek için herhangi bir verinin kullanılabileceği anlamına gelmez. Verileriniz alışılmadık derecede büyük oranlarda hatalı veya bozuk bilgi içeriyorsa anomali tespiti tüm bu sorunları çözemez.

Bu senaryolarda, elinizdeki verilerin en yüksek kalitede ve gerçekçi olduğundan emin olmak için veri toplama sürecine geri dönmeniz önerilir. Bu, makine öğrenimi modelinizin güvenilirliğini ve başarısını optimize etmenize yardımcı olacaktır.