Hızlı model analizi yapma

Modellerin bir deney sürümüne yönelik eğitimi bittiğinde en önemli model metriklerinin analizini yapın ve eğitim verilerinin nasıl işlendiğine dair bir özete erişin. Hızlı analiz, Veri ve Modeller sekmelerinde gerçekleştirilir.

Eğitim sonuçlarınıza genel bakış için Modeller sekmesini kullanın. Bir deney sürümü çalıştırdığınızda Modeller sekmesine otomatik olarak geçiş yaparsınız. Verilerin nasıl önceden işlendiğini ve yönetildiğini incelemek için Veri sekmesini yeniden ziyaret etmeniz de önerilir.

Modelleri daha ayrıntılı değerlendirmek için ek seçenekler kullanılabilir. Modeller arasında ek metrikleri ve hiperparametreleri karşılaştırabilir veya ayrıntılı analiz için belirli bir modele odaklanabilirsiniz. Bu seçenekler Karşılaştır ve Analiz sekmelerinde mevcuttur. Daha fazla bilgi için şuraya bakın:

• Modelleri karşılaştırma

• Ayrıntılı model analizi yapma

Kavramları anlama

Modellerinizi değerlendirmeden önce model analizi arkasındaki kavramları temel düzeyde anlamak faydalı olabilir. Daha fazla bilgi için şuraya bakın: Model inceleme kavramlarını anlama.

Optimizasyon ayarlarının analiz üzerindeki etkisi

Sınıflandırma ve regresyon deneyleri için, analiz deneyiminiz, akıllı model optimizasyonu kullanıp kullanmadığınıza bağlı olarak biraz farklı olabilir. Akıllı model optimizasyonu, yeni sınıflandırma ve regresyon deneyleri için varsayılan olarak açıktır.

Akıllı optimizasyonla eğitilmiş modelleri analiz etme

Varsayılan olarak, yeni sınıflandırma ve regresyon deneyleri akıllı model optimizasyonuyla çalıştırılır.

Akıllı model optimizasyonu, çok az geliştirme yaparak veya hiç geliştirme yapmadan ideal olarak dağıtıma hazır bir model oluşturan daha güçlü bir eğitim süreci sağlar. Üretim kullanım durumları için dağıtılan bu modellerin performansı hala bunların alakalı özellikler ve veriler içeren, yüksek kaliteli bir veri kümesiyle eğitilmesine bağlıdır.

Sürümünüz akıllı model optimizasyonuyla eğitilmişse şunları göz önünde bulundurun:

• Sürümdeki her bir model, algoritmanın verileri nasıl analiz ettiğine bağlı olarak farklı özellik setine sahip olabilir.

• Ayrıntılı analizleri detaylı bir şekilde incelemeden önce Modeller sekmesinden modelin Model eğitim özetini okuyun. Model eğitim özeti, Qlik Predict modelinin özellik seçimi üzerinde yineleme yaparak ve gelişmiş dönüşümler uygulayarak modeli otomatik olarak nasıl optimize ettiğinin bir özetini gösterir.

Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Akıllı optimizasyon olmadan eğitilmiş modelleri analiz etme

Alternatif olarak, eğitim sürümü için akıllı model optimizasyonunu kapatmış olabilirsiniz. Eğitim süreci üzerinde daha fazla kontrole ihtiyacınız varsa modellerin manuel optimizasyonu faydalı olabilir.

Manuel optimizasyonu kullandıysanız sürümdeki tüm modeller aynı özellik setine sahip olacaktır, bu sayede Model eğitim özetine ihtiyaç duyulmaz.

Yapılandırmayı inceleme

Ön işleme sırasında özellikler, eğitimde kullanımdan hariç tutulmuş olabilir. Bu genellikle, sizin sürümü çalıştırmanızdan öncesine kıyasla eğitim ilerledikçe veriler hakkında daha fazla bilgi edinildiği için olur.

Model eğitim özetini (yalnızca akıllı optimizasyonla gösterilir) inceledikten sonra bu diğer değişikliklerin olup olmadığını kontrol etmeniz gerekiyorsa deney yapılandırmasına daha yakından bakabilirsiniz.

Aşağıdakileri yapın:

1. Deneyde Veri sekmesine geçiş yapın.

2. Şema görünümünde olduğunuzdan emin olun.

3. Sürümden bir model seçmek için araç çubuğundaki açılır menüyü kullanın.

4. Model şemasını analiz edin. Belirli özelliklerin kullanımdan kaldırılıp kaldırılmadığını veya farklı bir özellik türüne dönüştürülüp dönüştürülmediğini görmek için İçgörüler ve Özellik türü sütunlarına odaklanmak isteyebilirsiniz.

   Örneğin, başlangıçta Olası serbest metin olarak işaretlenmiş bir özelliğin, siz sürümü çalıştırdıktan sonra hariç tutulmuş olması mümkündür.

   İçgörülerin her birinin ne anlama geldiği hakkında daha fazla bilgi için bkz. Veri kümesi içgörülerini yorumlama.

Sürümü varsayılan akıllı optimizasyon seçeneğiyle çalıştırdıysanız otomatik geliştirme nedeniyle sürümdeki her bir modelin farklı özellik setlerine sahip olabileceğini unutmayın. Sürümü varsayılan akıllı optimizasyon olmadan çalıştırdıysanız özellik seti, sürümdeki tüm modeller için aynı olacaktır. Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Bu yapılandırmada bulduklarınıza bağlı olarak, özellik verilerinizi iyileştirmek için veri kümesi hazırlık aşamasına dönmeniz gerekebilir.

Akıllı model optimizasyonu kapalıyken hızlı analiz deneyiminin bir parçası olarak Model eğitim özeti görmeyeceksiniz. Ek olarak, bir deney sürümündeki tüm modeller aynı özellik kombinasyonlarını kullanırken akıllı optimizasyonla eğitilen modeller farklı özellik kombinasyonlarına sahip olabilir.

Model seçme

Eğitim tamamlandığında önerilen model otomatik olarak analiz için seçilir ve bu modelin metrikleri görüntülenir.

Metrikler ve yapılandırmadaki farkları karşılaştırmak için modeller arasında geçiş yapın. Veri sekmesindeyseniz model seçmek için araç çubuğundaki açılır menüyü kullanın. Modeller sekmesindeyseniz model seçmek için Model metrikleri tablosunda bir modele tıklayın.

Eğitim özetini analiz etme

Akıllı model optimizasyonu

Akıllı model optimizasyonuyla eğitilen modeller için Model eğitim özeti, eğitim sırasında olanlar hakkında önemli bilgileri özetler. Bu özet şunları içerir:

• Modelin örnekleme oranı.

• Akıllı optimizasyonun bir sonucu olarak otomatik şekilde kullanımdan kaldırılan özelliklerin listesi. Bu liste, seçilen modele göre farklılık gösterir.

• Modeli eğitirken uygulanan tüm gelişmiş dönüşümlerin bir özeti.

• Eğitim veri kümesinin bağlantısı.

Modellerinizi manuel olarak optimize ediyorsanız Model eğitim özeti gösterilmez.

Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Model eğitim özeti, ön işleme aşamasında kullanımdan kaldırılan özellikleri listelemez. Bu bilgiyi kontrol etmek için deneyin Veri sekmesine dönün. Bkz.: Yapılandırmayı inceleme

Aşağıdakileri yapın:

1. Deneyde Modeller sekmesine geçiş yapın.

2. Analiz etmek istediğiniz modeli seçtiğinizi onaylayın.

3. Sayfanın sağ tarafındaki Model içgörüleri bölümünde Model eğitim özetine bakın.

Zaman serisi deneyleri

Zaman serisi deneylerinde, Model eğitim özeti, veri kümeniz ve eğitim ayarlarınız tarafından tanımlandığı şekilde, zaman serisi tahmin problemi için yapılandırma ayarlarını gösterir. Bu ayrıntıların bazıları eğitim başlamadan önce tahmin edilmişti, ancak şimdi tüm veri kümesi analiz edildikten sonra kesin olarak onaylandılar. Şunları görebilirsiniz:

• Modeli eğitmek için kullanılan verilerin tarih aralığı

• Zaman kademesi

  Zaman kademeleri

• Uygulama zaman aralığı boyutu

  Uygulama zaman aralığı

• Maksimum tahmin

  Maksimum tahmin penceresi

• Tahmin zaman aralığı ve boşluk boyutları

  Tahmin ufku

Model metrikleri tablosunu analiz etme

Model metrikleri tablosu, deneydeki her modelin performansı hakkında yüksek düzeyde bilgi sağlar. Bu listedeki önerilen modeller tablonun üstünde sunulmuştur.

Tabloda modelleri filtreleme

Model metrikleri tablosu, yalnızca karşılaştırmak istediğiniz modelleri gösterecek şekilde filtrelenebilir.

Aşağıdaki filtreler gereken şekilde kullanılabilir ve birleştirilebilir.

• Sürüm: Bir veya daha fazla deney sürümü seçin.

• Algoritma: Bir veya daha fazla algoritma seçin.

• %100 örnekleme: Bu filtre varsayılan olarak uygulanır. İstenirse kaldırılabilir. Filtre, eğitimi ve çapraz doğrulama sürecini tamamlamak için eğitim veri kümesinin tamamını kullanan modelleri gösterir. Daha fazla model filtresi altında bulunur.

• Dağıtıldı: ML dağıtımlarına dağıtılmış modelleri gösterir. Daha fazla model filtresi altında bulunur.

İstediğiniz filtreleri uyguladıktan sonra, en iyi performans gösteren modeller, filtrelenen öğelere göre otomatik olarak yeniden hesaplanır. Önerilen modelleriniz daha sonra güncellenir.

Özellik önemi görselleştirmelerini yorumlama

Modeller sekmesinde, özellik önemi görselleştirmelerini görüntülemek için aşağı kaydırın. Bunlar Permütasyon önemi ile SHAP önemi olacaktır.

Permütasyon önemi grafiği

Permütasyon önemigrafiği, her bir özelliğin genel model tahmini açısından ne kadar önemli olduğunu gösterir. Permütasyon önemi grafiğinde gördükleriniz, modellerinizi nasıl geliştireceğinizi anlamanıza yardımcı olabilir.

Bu grafiği analiz ederek elde edeceğiniz genel içgörüler şunları içerir:

• Bir özellik, önemin neredeyse tümünü kullanıyorsa bu büyük olasılıkla hedef sızıntısı göstergesidir. Özelliğin kaldırılması gerekir. Bu, veri kalitesi sorunlarından kaynaklanıyorsa bu sorunların da giderilmesi gerekir.

  Veri sızıntısı

• Bazı özellikler model tahminleri üzerinde çok az etkiye sahip olabilir veya hiç etkiye sahip olmayabilir. Aşırı düşük permütasyon önemine sahip özellikler istatistiksel gürültü olarak görülebilir ve kaldırılmalıdır.

 Akıllı model optimizasyonu, sürümü eğitmek için kullanıldıysa yukarıda belirtilen yaygın sorunlardan bazıları, bu özellikleri kullanımdan kaldırarak otomatik olarak giderilebilmiş olabilir.

Permütasyon önemi hakkında daha fazla bilgi için bkz. Permütasyon önemini anlama.

SHAP önemi grafiği

SHAP önemi grafiği, deneydeki her bir özelliğin her modeldeki tahminler üzerindeki etkisini analiz etmenin başka bir yolunu sunar. Bu size hangi özelliklerin önemli olduğuna veya eğitimi yeniden yapılandırmanızın gerekip gerekmediğine dair erken bir içgörü verebilir. Daha fazla bilgi için şuraya bakın: Deney eğitiminde SHAP'ın önemini anlama.

Model puanlama görselleştirmelerini yorumlama

Bazı model türleri için, modelin ne kadar iyi performans gösterdiğine dair bir genel bakış sunmak üzere ek görselleştirmeler mevcuttur.

İkili sınıflandırma

Deneyiniz bir ikili sınıflandırma sorunuysa hızlı kullanım için ek bazı görselleştirmeler otomatik olarak oluşturulur. Bu görselleştirmeler size modelin pozitif ve negatif sınıfları ne kadar iyi tahmin ettiğine dair daha fazla içgörü verir.

Bu görselleştirmeler hakkında daha fazla bilgi için bkz. İkili sınıflandırma modellerini puanlama.

Karmaşıklık matrisi

Karmaşıklık matrisi grafiği, model tarafından oluşturulan tahminlerin doğruluğunu gösterir. Tahminler otomatik bekletme verileri üzerinde yapılır.

Karmaşıklık matrisi

ROC eğrisi

ROC eğrisi grafiği, asıl sonuç pozitifken modelin pozitif sınıfı tahmin etmede ne kadar başarılı olduğunu açıklar.

İdeal bir ROC eğrisinin nasıl olduğuna dair bir gösterge için bkz. AUC ve ROC eğrisi.

Zaman dizileri

Zaman serisi modelleri için, tahmin doğruluğuna dair içgörü sağlamak amacıyla Tahmin zaman aralığındaki tahmin hatası grafiği otomatik olarak oluşturulur. Tahmin zaman aralığındaki her zaman kademesi için tahmin hatası oranını görüntüleyebilirsiniz. Hata oranları ellinci, onuncu ve doksanıncı yüzdelik dilimlere ayrılmıştır.