Anormallik algılama ve işleme

Akıllı model optimizasyonu kullanıldığında anormallik algılama ve işleme sağlanır. Bu yeteneklerle Qlik Predict, eğitim verilerinizdeki aykırı değerleri belirli bir işlemle otomatik olarak işleyebilir. Eğitim sırasında, eğitim verilerinizdeki aykırı değer verileri tamamen kaldırılmaz, bunun yerine algoritma destekli bir ağırlıklandırma sistemi kullanılarak işlenir.

Çalışabileceğiniz hemen hemen her tür veride aykırı değerler veya anormallikler gözlemlemek yaygındır. Anormallikler, bekleyebileceğiniz geleneksel olarak beklenen aralığın dışında meydana gelen veri değerleridir. Makine öğrenimi modellerini eğitirken, belirli bir oranda anormallik tolere edilebilir ve hatta gerçek dünya sapmasının bir yansıması olarak arzu edilebilir. Ancak aşırı durumlarda, anormallikler ve aykırı değerler bir modele yanlılık katarak modelin güvenilirliğini ve kullanışlılığını azaltır.

Örnekler

Tüm anormalliklere eşit davranılmamalıdır ve her zaman verilerinizden çıkarılacak şeyler olarak görülmemelidir. Örneğin, bir veri anormalliği, veri toplarken gözlemlenebilen doğal olarak olası ancak nadir görülen bir durumsa, eğittiğiniz modellerde bunun kullanılmasını istemeniz mantıklı olabilir. Bunun harika bir örneği, finansal işlemlerdeki dolandırıcılık vakalarıdır. Milyonlarca işlem üzerinden sadece birkaçı dolandırıcılıkla ilgili olabilir. Modelinizle analiz etmek ve ele almak istediğiniz soruna bağlı olarak, günlük işlemlerdeki dolandırıcılık olasılığı, tahminler oluştururken hesaba katmak isteyeceğiniz bir şey olabilir.

Muhtemelen kaldırmak isteyeceğiniz bir anormallik örneği, veri toplarken meydana gelen kasıtsız bir hatadır. Örneğin, hava durumu modellerini tahmin etmek için kullanılacak bir model oluşturduğunuzu varsayalım. Modeliniz, hava durumu metriklerini izleyen bir sensörden gelen veriler üzerinde eğitiliyor ve ilgisiz bir elektrik kesintisi, sensörden hatalı verilerin toplanmasına neden oluyor. Bu hatalı veriler, model eğitimini bitirmeden önce kaldırmak isteyeceğiniz anormallik verileri olarak kabul edilebilir.

Qlik Predict anormallikleri nasıl işler?

Anormallik algılama ve işleme, yeni deneylerde varsayılan olarak açık olan akıllı model optimizasyonu ile modelleri eğittiğinizde gerçekleştirilir.

Anormalliklerin işlenmesinin genel olarak iki ayrı süreçte gerçekleştiği düşünülebilir: algılama ve asıl model eğitimi.

Anormallik algılama

Eğitimin bir sürümünü çalıştırdığınızda, Qlik Predict model eğitimi başlamadan önce birkaç adımı tamamlar. Buna veri sınıflandırması, boş değer atama ve bir dizi başka süreç dahildir. Anormallik algılama bu aşamada ve yalnızca akıllı model optimizasyonu açık olduğunda tamamlanır.

Teknik terimlerle ifade etmek gerekirse, Qlik Predict eğitim verilerinizdeki anormallikleri ve aykırı değerleri algılamak için karar ağacı tabanlı bir algoritma olan izolasyon ormanı algoritmasını kullanır. Akıllı model optimizasyonundaki veri işleme aşamasında, veri kümesindeki her veri noktası (genellikle kayıt olarak bilinir) bir anormallik puanı alır ve bunun bir anormallik olduğuna dair kesinlik derecesine göre ağırlıklandırılır.

Model eğitiminde anormallik işleme

Verileriniz işlendikten ve gerektiği gibi dönüştürüldükten sonra, Qlik Predict modelleri eğitmeye başlar. Bu süreçte, daha önce oluşturulan ağırlıklı anormallik puanları, her satırın model üzerindeki etkisini ayarlamak için kullanılır. Örneğin, bir anormallik içerme olasılığı yüksek kabul edilen bir satıra, model eğitiminde daha düşük bir etki atanır.

Bu ağırlıklı puanlama sistemi, Qlik Predict'in verileri atmaktan kaçınmasına ve bunun yerine aykırı değer verilerinin model üzerindeki etkisini basitçe azaltmasına olanak tanır.

Dikkate alınacak hususlar

Qlik Predict ile sunulan anormallik algılama yeteneklerine rağmen, bu, yüksek kaliteli bir modeli eğitmek için herhangi bir verinin kullanılabileceği anlamına gelmez. Verileriniz karakteristik olmayan şekilde büyük oranlarda hatalı veya bozuk bilgi içeriyorsa, anormallik algılama tüm bu sorunları çözemez.

Bu senaryolarda, sizin için mevcut olan en yüksek kaliteli ve gerçekçi verilere sahip olduğunuzdan emin olmak için veri toplama sürecine dönmeniz önerilir. Bu, makine öğrenimi modelinizin güvenilirliğini ve başarısını optimize etmenize yardımcı olacaktır.