Hızlı model analizi yapma

Modellerin bir deney sürümüne yönelik eğitimi bittiğinde en önemli model metriklerinin analizini yapın ve eğitim verilerinin nasıl işlendiğine dair bir özete erişin. Hızlı analiz, Veri ve Modeller sekmelerinde gerçekleştirilir.

Eğitim sonuçlarınıza genel bakış için Modeller sekmesini kullanın. Bir deney sürümü çalıştırdığınızda Modeller sekmesine otomatik olarak geçiş yaparsınız. Verilerin nasıl önceden işlendiğini ve yönetildiğini incelemek için Veri sekmesini yeniden ziyaret etmeniz de önerilir.

Modelleri daha ayrıntılı değerlendirmek için ek seçenekler kullanılabilir. Modeller arasında ek metrikleri ve hiperparametreleri karşılaştırabilir veya ayrıntılı analiz için belirli bir modele odaklanabilirsiniz. Bu seçenekler Karşılaştır ve Analiz sekmelerinde mevcuttur. Daha fazla bilgi için bk.

• Modelleri karşılaştırma

• Ayrıntılı model analizi yapma

Kavramları anlama

Modellerinizi değerlendirmeden önce model analizi arkasındaki kavramları temel düzeyde anlamak faydalı olabilir. Daha fazla bilgi için bk. Model inceleme kavramlarını anlama.

Optimizasyon ayarlarının analiz üzerindeki etkisi

Analiz deneyiminiz, akıllı model optimizasyonu kullanıp kullanmadığınıza bağlı olarak biraz farklı olabilir. Akıllı model optimizasyonu, yeni deneyler için varsayılan olarak açıktır.

Akıllı optimizasyonla eğitilmiş modelleri analiz etme

Varsayılan olarak, yeni deneyler akıllı model optimizasyonuyla çalıştırılır.

Akıllı model optimizasyonu, çok az geliştirme yaparak veya hiç geliştirme yapmadan ideal olarak dağıtıma hazır bir model oluşturan daha güçlü bir eğitim süreci sağlar. Üretim kullanım durumları için dağıtılan bu modellerin performansı hala bunların alakalı özellikler ve veriler içeren, yüksek kaliteli bir veri kümesiyle eğitilmesine bağlıdır.

Sürümünüz akıllı model optimizasyonuyla eğitilmişse şunları göz önünde bulundurun:

• Sürümdeki her bir model, algoritmanın verileri nasıl analiz ettiğine bağlı olarak farklı özellik setine sahip olabilir.

• Ayrıntılı analizleri detaylı bir şekilde incelemeden önce Modeller sekmesinden modelin Model eğitim özetini okuyun. Model eğitim özeti, AutoML'in özellik seçimi üzerinde yineleme yaparak ve gelişmiş dönüşümler uygulayarak modeli otomatik olarak nasıl optimize ettiğinin bir özetini gösterir.

Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Akıllı optimizasyon olmadan eğitilmiş modelleri analiz etme

Alternatif olarak, eğitim sürümü için akıllı model optimizasyonunu kapatmış olabilirsiniz. Eğitim süreci üzerinde daha fazla kontrole ihtiyacınız varsa modellerin manuel optimizasyonu faydalı olabilir.

Manuel optimizasyonu kullandıysanız sürümdeki tüm modeller aynı özellik setine sahip olacaktır, bu sayede Model eğitim özetine ihtiyaç duyulmaz.

Yapılandırmayı inceleme

Ön işleme sırasında özellikler, eğitimde kullanımdan hariç tutulmuş olabilir. Bu genellikle, sizin sürümü çalıştırmanızdan öncesine kıyasla eğitim ilerledikçe veriler hakkında daha fazla bilgi edinildiği için olur.

Model eğitim özetini (yalnızca akıllı optimizasyonla gösterilir) inceledikten sonra bu diğer değişikliklerin olup olmadığını kontrol etmeniz gerekiyorsa deney yapılandırmasına daha yakından bakabilirsiniz.

Aşağıdakileri yapın:

1. Deneyde Veri sekmesine geçiş yapın.

2. Şema görünümünde olduğunuzdan emin olun.

3. Sürümden bir model seçmek için araç çubuğundaki açılır menüyü kullanın.

4. Model şemasını analiz edin. Belirli özelliklerin kullanımdan kaldırılıp kaldırılmadığını veya farklı bir özellik türüne dönüştürülüp dönüştürülmediğini görmek için İçgörüler ve Özellik türü sütunlarına odaklanmak isteyebilirsiniz.

   Örneğin, başlangıçta Olası serbest metin olarak işaretlenmiş bir özelliğin, siz sürümü çalıştırdıktan sonra hariç tutulmuş olması mümkündür.

   İçgörülerin her birinin ne anlama geldiği hakkında daha fazla bilgi için bkz. Veri kümesi içgörülerini yorumlama.

Sürümü varsayılan akıllı optimizasyon seçeneğiyle çalıştırdıysanız otomatik geliştirme nedeniyle sürümdeki her bir modelin farklı özellik setlerine sahip olabileceğini unutmayın. Sürümü varsayılan akıllı optimizasyon olmadan çalıştırdıysanız özellik seti, sürümdeki tüm modeller için aynı olacaktır. Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Bu yapılandırmada bulduklarınıza bağlı olarak, özellik verilerinizi iyileştirmek için veri kümesi hazırlık aşamasına dönmeniz gerekebilir.

Akıllı model optimizasyonu kapalıyken hızlı analiz deneyiminin bir parçası olarak Model eğitim özeti görmeyeceksiniz. Ek olarak, bir deney sürümündeki tüm modeller aynı özellik kombinasyonlarını kullanırken akıllı optimizasyonla eğitilen modeller farklı özellik kombinasyonlarına sahip olabilir.

Model seçme

Eğitim tamamlandığında en iyi performans gösteren model otomatik olarak analiz için seçilir ve bu modelin metrikleri görüntülenir. Her deney sürümü için en iyi performans gösteren model bir simgesiyle işaretlenir.

Metrikler ve yapılandırmadaki farkları karşılaştırmak için modeller arasında geçiş yapın. Veri sekmesindeyseniz model seçmek için araç çubuğundaki açılır menüyü kullanın. Modeller sekmesindeyseniz model seçmek için Model metrikleri tablosunda bir modele tıklayın.

Eğitim özetini analiz etme

Akıllı model optimizasyonuyla eğitilen modeller için Model eğitim özeti, eğitim sırasında olanlar hakkında önemli bilgileri özetler. Bu özet şunları içerir:

• Modelin örnekleme oranı.

• Akıllı optimizasyonun bir sonucu olarak otomatik şekilde kullanımdan kaldırılan özelliklerin listesi. Bu liste, seçilen modele göre farklılık gösterir.

• Eğitim veri kümesinin bağlantısı.

Modellerinizi manuel olarak optimize ediyorsanız Model eğitim özeti gösterilmez.

Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Model eğitim özeti, ön işleme aşamasında kullanımdan kaldırılan özellikleri listelemez. Bu bilgiyi kontrol etmek için deneyin Veri sekmesine dönün. Bkz.: Yapılandırmayı inceleme

Aşağıdakileri yapın:

1. Deneyde Modeller sekmesine geçiş yapın.

2. Analiz etmek istediğiniz modeli seçtiğinizi onaylayın.

3. Sayfanın sağ tarafındaki Model içgörüleri bölümünde Model eğitim özetine bakın.

Model metrikleri tablosunu analiz etme

Model metrikleri tablosu, deneydeki her modelin performansı hakkında yüksek düzeyde bilgi sağlar. Bu tablo, Modeller sekmesinde görünür.

Modeller sekmesindeyken Model metrikleri tablosunda da analiz etmek için bir model seçebilirsiniz.

Model metrikleri tablosu şunları gösterir:

• Modelin kendi sürümü için en iyi performans gösteren model olup olmadığı

• Her modelin adı (Bu, kolaylık sağlamak için düzenlenebilir. Bkz.: Model ayrıntılarını düzenleme)

• Modeli eğitmek için kullanılan algoritma

• Deney hedefine göre tanımlanan model türü göz önünde bulundurularak en önemli model performansı puanı değerleri:

  • İkili sınıflandırma modelleri: F1.

    F1

  • Çok sınıflı sınıflandırma modelleri: F1 Makro.

    Makro F1

  • Regresyon modelleri: R2.

    R2

  Deneyinizin eğitildiği model türleri hakkında daha fazla bilgi için bkz. Oluşturulan model türünün belirlenmesi.

Tabloda modelleri filtreleme

Model metrikleri tablosu, yalnızca karşılaştırmak istediğiniz modelleri gösterecek şekilde filtrelenebilir.

Aşağıdaki filtreler gereken şekilde kullanılabilir ve birleştirilebilir.

• Sürüm: Bir veya daha fazla deney sürümü seçin.

• Algoritma: Bir veya daha fazla algoritma seçin.

• En yüksek performans gösterenler: Tüm sürümlerde en yüksek performansı gösteren modelleri gösterir ( simgeleriyle işaretlenir). Daha fazla model filtresi altında bulunur.

• %100 örnekleme: Bu filtre varsayılan olarak uygulanır. İstenirse kaldırılabilir. Filtre, eğitimi ve çapraz doğrulama sürecini tamamlamak için eğitim veri kümesinin tamamını kullanan modelleri gösterir. Daha fazla model filtresi altında bulunur.

• Dağıtıldı: ML dağıtımlarına dağıtılmış modelleri gösterir. Daha fazla model filtresi altında bulunur.

Özellik önemi görselleştirmelerini yorumlama

Modeller sekmesinde, özellik önemi görselleştirmelerini görüntülemek için aşağı kaydırın. Bunlar Permütasyon önemi ile SHAP önemi olacaktır.

Permütasyon önemi grafiği

Permütasyon önemigrafiği, her bir özelliğin genel model tahmini açısından ne kadar önemli olduğunu gösterir. Permütasyon önemi grafiğinde gördükleriniz, modellerinizi nasıl geliştireceğinizi anlamanıza yardımcı olabilir.

Bu grafiği analiz ederek elde edeceğiniz genel içgörüler şunları içerir:

• Bir özellik, önemin neredeyse tümünü kullanıyorsa bu büyük olasılıkla hedef sızıntısı göstergesidir. Özelliğin kaldırılması gerekir. Bu, veri kalitesi sorunlarından kaynaklanıyorsa bu sorunların da giderilmesi gerekir.

  Veri sızıntısı

• Bazı özellikler model tahminleri üzerinde çok az etkiye sahip olabilir veya hiç etkiye sahip olmayabilir. Aşırı düşük permütasyon önemine sahip özellikler istatistiksel gürültü olarak görülebilir ve kaldırılmalıdır.

 Akıllı model optimizasyonu, sürümü eğitmek için kullanıldıysa yukarıda belirtilen yaygın sorunlardan bazıları, bu özellikleri kullanımdan kaldırarak otomatik olarak giderilebilmiş olabilir.

Permütasyon önemi hakkında daha fazla bilgi için bkz. Permütasyon önemini anlama.

SHAP önemi grafiği

SHAP önemi grafiği, deneydeki her bir özelliğin her modeldeki tahminler üzerindeki etkisini analiz etmenin başka bir yolunu sunar. Bu size hangi özelliklerin önemli olduğuna veya eğitimi yeniden yapılandırmanızın gerekip gerekmediğine dair erken bir içgörü verebilir. Daha fazla bilgi için bk. Deney eğitiminde SHAP'ın önemini anlama.

Model puanlama görselleştirmelerini yorumlama

Deneyiniz bir ikili sınıflandırma sorunuysa hızlı kullanım için ek bazı görselleştirmeler otomatik olarak oluşturulur. Bu görselleştirmeler size modelin pozitif ve negatif sınıfları ne kadar iyi tahmin ettiğine dair daha fazla içgörü verir.

Bu görselleştirmeler hakkında daha fazla bilgi için bkz. İkili sınıflandırma modellerini puanlama.

Karmaşıklık matrisi

Karmaşıklık matrisi grafiği, model tarafından oluşturulan tahminlerin doğruluğunu gösterir. Tahminler otomatik bekletme verileri üzerinde yapılır.

Karmaşıklık matrisi

ROC eğrisi

ROC eğrisi grafiği, asıl sonuç pozitifken modelin pozitif sınıfı tahmin etmede ne kadar başarılı olduğunu açıklar.

İdeal bir ROC eğrisinin nasıl olduğuna dair bir gösterge için bkz. AUC ve ROC eğrisi.