Dağıtılan modellerde veri kaymasını izleme
ML dağıtımınızdaki Veri kayması izleme bölmesinde, dağıtılan kaynak model için veri kaymasını analiz edebilirsiniz. Veri kayması izleme, modeli eğitmek için kullanılan bir veya daha fazla özelliğin dağılımlarındaki değişiklikleri belirlemenizi sağlar.
Bir özellik için hesaplanan sapma 0,25 değerini aştığında, modeli en son verilerle yeniden eğitmeniz veya orijinal makine öğrenimi sorusu önemli ölçüde değiştiyse yeni bir model yapılandırmanız önerilir.
AutoML'de veri kayması hesaplamaları
Qlik AutoML'de veri kayması, popülasyon kararlılık endeksi (PSI) olarak hesaplanır.
PSI değerine bakarak bir özellik için önemli veri kaymasını belirleyebilirsiniz. PSI değeri 0,25 veya daha büyükse modeli yeniden eğitmeyi ya da yeni bir deney oluşturmayı düşünün.
PSI değeri | Tanım |
---|---|
0,1'in altında | Düşük kayma |
0,1'den büyük ancak 0,25'ten küçük | Küçük kayma |
0,25 veya daha büyük | Önemli kayma |
Bir veri kaymak analizi başlatma
Aşağıdakileri yapın:
-
Bir ML dağıtımı açın.
-
Sol panelden Veri kayması izleme öğesini seçin.
-
Eklenmiş bir analiz oluşturulur. Veri kayma analizi yapmak için Feature Drift sayfasında kalın.
Analizin kullanılabilirliği
Bir analizi açtığınızda veri kayması için yeni hesaplamalar hemen oluşturulmaz. Veri kayması hesaplamaları günde bir kez 16.30'da (UTC) oluşturulur.
Eklenmiş analizlerde gezinme
Eklenmiş analizler ile dağıtılan modeli analiz etmek için etkileşimli arayüzü kullanın.
Sayfalar arasında geçiş yapma
Sayfalar paneli, analizdeki sayfalar arasında geçiş yapmanıza izin verir. Her sayfanın belirli bir odağı vardır. Panel gereken şekilde genişletilebilir ve daraltılabilir.
Feature Drift sayfası, veri kayması ile ilgili tüm bilgileri içerir. Operations sayfasına geçmek, ML dağıtımınızın kullanımını izlemenizi sağlar. Daha fazla bilgi için bk. Dağıtılan model işlemlerini izleme.
Seçimler yapma
Verileri geliştirmek için seçimleri kullanın. Özellikleri ve bunların ilgili değerlerini veya aralıklarını seçebilir ve belirli tarihler ve önem aralıkları için filtreleme yapabilirsiniz. Bazı durumlarda, görselleştirmelerin görüntülenmesi için bir veya daha fazla seçim yapmanız gerekebilir. Seçim yapmak için görselleştirmelerde veri değerlerine tıklayın.
Seçimlerle şu şekilde çalışabilirsiniz:
-
İçeriklere tıklayarak, aralıkları tanımlayarak ve çizerek değer seçebilirsiniz.
-
Değer seçmek için grafiklerin içinde arama yapabilirsiniz.
-
Eklenmiş analizin üstündeki araç çubuğunda seçilmiş bir alana tıklayabilirsiniz. Bu, mevcut seçimlerde arama yapmanıza, bunları kilitlemenize veya kilitlerini açmanıza ve daha ayrıntılı bir şekilde değiştirmenize olanak tanır.
-
Eklenmiş analizin üstündeki araç çubuğunda, bir seçimi kaldırmak için seçeneğine tıklayabilirsiniz. simgesine tıklayarak tüm seçimleri temizleyebilirsiniz.
-
ve seçeneğine tıklayarak seçimlerinizde ileri ve geri gidebilirsiniz.
Önemin yanı sıra özellik kaymasını analiz etme
Özellik kaymasını ve permütasyon önemini birlikte analiz etmek için Feature drift vs importance grafiğini kullanın. Kaymadaki değişikliklerin, önemdeki değişen desenlere paralel olarak ne zaman gerçekleştiğini belirleyebilirsiniz. Bu iki metriği birlikte görüntüleyerek, yeni ortaya çıkan desenleri ortaya çıkarabilir ve verilerinizi etkileyen eğilimler hakkında daha derin bir anlayış geliştirebilirsiniz.
Modelinizin performansı için kayma puanlarının ne anlama geldiğini anlamak için bkz. AutoML'de veri kayması hesaplamaları.
Zaman içinde özellik kaymasını izleme
Feature drift over time grafiğinde, her sapma hesaplaması için zaman çizelgesini görüntüleyin ve yeni tahminler üretildikçe zaman içinde meydana gelen değişiklikleri analiz edin.
Bir özelliğin önemli ölçüde kayma gösterdiğini belirtmek için 0,25 PSI değerinde bir referans çizgisi eklenmiştir. Modelinizin performansı için kayma puanlarının ne anlama geldiği hakkında daha fazla bilgi almak üzere bkz. AutoML'de veri kayması hesaplamaları.
Özellik dağılımını görüntüleme
Value distribution grafiği, eğitim veri kümesi ile modelle oluşturulan en son tahminde kullanılan veri kümesi arasında bir özelliğin değer dağılımını karşılaştırmak için yararlıdır. Bir özellikte, kaymadan en çok ve en az hangi aralıkların etkilendiğini belirleyebilirsiniz.
Mavi sütunlar, en son uygulama veri kümesindeki her bir aralığa giren değerlerin yüzdesini göstermektedir. Mor daire şeklindeki işaretler, eğitim veri kümesindeki her bir aralığa giren değerlerin yüzdesini göstermektedir. Sütunların yüksekliği ile işaretleyicilerin konumu arasında büyük bir fark görürseniz aralığın kaymadan etkilenmiş olması muhtemeldir.