Modelleri inceleme ve iyileştirme
Model eğitiminin ilk versiyonu tamamlandıktan sonra, ortaya çıkan model metriklerini ve önerilen modelleri analiz edin. Modelleri iyileştirmek için daha fazla değişiklik yapılması gerekiyorsa manuel model optimizasyonunu kullanarak ek sürümler çalıştırabilirsiniz.
Deney sürümünü çalıştırdığınızda, ortaya çıkan model metriklerini analiz etmeye başlayabileceğiniz Modeller sekmesine yönlendirilirsiniz. Veriler sekmesine giderek Şema görünümüne ve Veri görünümüne erişebilirsiniz. Karşılaştır ve Analiz sekmelerinde daha ayrıntılı analiz yapılabilir.
Model metrikleri tablosundaki tüm metrikler dolduğunda ve en iyi performans gösteren modelin yanında bir kupa 
simgesi göründüğünde eğitimin ilk sürümünün bittiğini anlayacaksınız.
Model metrikleri tablosunu analiz etme
Modeller sekmesine geri dönün. Model metrikleri bölümünde, ortak kalite gereksinimlerine göre önerilen modeller vurgulanmaktadır. En iyi model , analiz için otomatik olarak seçilmiştir.
Deneyde eğitilen modellerden üç öneri alınmıştır. Tek bir model birden fazla öneride temsil edilebilir. Öneriler:
-
En iyi model: En iyi performans gösteren doğruluk metriklerini ve tahmin hızını en iyi dengeleyen model.
-
En doğru: Model, dengeli ve ham doğruluk metriklerinde en yüksek puana sahiptir. -
En hızlı model: Model, doğrulukla ilgili güçlü metriklere ek olarak en yüksek tahmin hızına sahiptir.
Kullanım durumunuza en uygun modeli seçmek önemlidir. Çoğu durumda, En iyi model en uygun seçenektir. Bununla birlikte, tahmine dayalı kullanım durumunuz tahmin hızı veya doğruluk metrikler için belirli özellikler gerektirebilir.
En iyi model türlerinin nasıl belirlendiğine ilişkin ayrıntılı bir genel bakış için bkz. Sizin için en iyi modeli seçme.
Önerilen modelleri ve model metriklerini gösteren Model metrikleri tablosu.
Önerilerin üzerindeki açılır filtreleri kullanarak odağınızı daraltabilirsiniz. Filtrelemeyi her değiştirdiğinizde en iyi model türleri otomatik olarak yeniden hesaplanır.
Tablonun üzerindeki Metriği göster seçicisini kullanarak temel metrikler arasında geçiş yapın. Modelleri ada ve analiz edilen seçilen metriğe göre sıralayabilirsiniz.
Aşırı uyumlu modeller tabloda bir 
uyarısıyla işaretlenir. Bu modeller dağıtım için uygun değildir. Aşırı uyumun nedenleri arasında eğitim algoritmalarının getirdiği model karmaşıklığı ve eğitim veri kümesiyle ilgili sorunlar yer alabilir. Daha fazla bilgi için bk. Aşırı öğrenme.
Model eğitim özetini analiz etme
Artık arayüzün sağ tarafındaki Model eğitim özetine odaklanabiliriz. Bu özet, modelin ve girdi eğitim verilerinin en iyi performans için nasıl optimize edildiğini keşfetmenizi sağlar. Model eğitim özeti, akıllı model optimizasyonunun sağladığı geliştirmelere genel bir bakıştır.
Aşağıdaki resimdeki özetten şunları görebiliriz:
Eğitim verilerindeki özellikler eğitim sırasında çıkarılmış ve modele dahil edilmemiştir.
Model %100 örnekleme oranına sahiptir.
Hedef sızıntısı nedeniyle kullanımdan kaldırılan özellik
DaysSinceLastService özelliği, hedef sızıntısı nedeniyle eğitim sırasında kullanımdan kaldırıldı.
Bu özellik sütununda veri toplama aşamasında, aboneliğini iptal müşterilerin oluşturduğu son hizmet kaydı üzerinden geçen günleri saymayı durdurmayla ilgili hiçbir mantıksal sınır belirtilememiş. Bu nedenle model, son hizmet kaydının (yıllar önce iptal eden müşteriler içindir) üzerinden geçen çok sayıda günü, Churned alanındaki yes değeriyle ilişkilendirmeyi öğrenmiş olabilir.
Bu özelliğin eğitimden çıkarılması gerekiyordu çünkü yeni veriler üzerinde çok düşük performansa sahip bir modelle sonuçlanacaktı.
Altta yatan sorun, veri sızıntısı biçiminde hedef sızıntısı olarak bilinir. Veri sızıntısı hakkında daha fazla bilgi için bkz. Veri sızıntısı.
Yüksek korelasyon nedeniyle kullanımdan kaldırılan özellikler
Eğitim sırasında PriorPeriodUsage-Rounded ve AdditionalFeatureSpend özelliklerinin kullanımdan kaldırıldığını görebiliriz.
Bu durumda, veri kümesindeki başka bir sütundan doğrudan türetilen en az bir özellik sütunu -PriorPeriodUsage-Rounded- vardı. Diğer korelasyon sorunları, AdditionalFeatureSpend ile tespit edilmiştir.
Korelasyon sorunlarına neden olan özelliklerin kaldırılması, kaliteli bir modelin eğitilmesi için önemlidir.
Korelasyon hakkında daha fazla bilgi için bkz. Korelasyon.
Düşük önem nedeniyle kullanımdan kaldırılan özellikler
Bazı özellikler düşük permütasyon önemi nedeniyle de kullanımdan kaldırıldı. Ön analizin ardından bu özelliklerin hedefin sonuçları üzerinde çok düşük etkiye sahip olduğu belirlenmiştir. Bu özellikler istatistiksel gürültü olarak görülebilir ve model kalitesine fayda sağlamak için kaldırılmıştır.
Permütasyon önemi hakkında daha fazla bilgi için bkz. Permütasyon önemini anlama.
Model eğitim özeti
Modeller sekmesindeki diğer görselleştirmeleri analiz etme
Ek üst düzey analiz için Modeller sekmesinde başka görselleştirmeler de mevcuttur. Özellik düzeyinde performansı ve model kalitesi hakkında fikir verebilecek diğer grafikleri keşfetmek için Model metrikleri tablosunda farklı modeller seçin.
ML deneyinde analiz için mevcut diğer görselleştirmeleri gösteren Modeller sekmesi
Eğitim ve bekletme metriklerini karşılaştırma
Şimdi ek metrikleri görüntüleyebilir ve çapraz doğrulama eğitiminden elde edilen metrikleri bekletme metrikleriyle karşılaştırabilirsiniz.
Aşağıdakileri yapın:
Deneyde Karşılaştır sekmesine geçiş yapın.
Eklenmiş bir analiz açılır. Karşılaştırmalı model analizinizi ayrıntılı olarak incelemek ve yeni içgörüler elde etmek için etkileşimli arayüzü kullanabilirsiniz.
Analizin sol tarafındaki Sayfalar panelinde Ayrıntılar sayfasına geçiş yapın.
Model metrikleri görselleştirmesine bakın. Diğer bilgilerin yanı sıra F1 gibi model puanlama metrikleri gösterir.
Gösterilecek sütunlar bölümünde, tabloya sütun eklemek veya tablodan sütun çıkarmak için filtre bölmesini kullanın.
Açılır listede ek metrikler ekleyin. Eğitim puanları tabloya eklenebilir. Analiziniz için gerektiğinde bunları ekleyebilirsiniz.
Şimdi çapraz doğrulama eğitiminden elde edilen F1 metriklerini görebilir ve bunları bekletme metrikleriyle karşılaştırabilirsiniz.
Bekletme puanlarıyla karşılaştırma için eğitim puanlarını ekleme ve görüntüleme
Belirli bir modele odaklanma
Analiz sırasında herhangi bir noktada bir modelin ayrıntılı analizini gerçekleştirebilirsiniz. Etkileşimli bir deneyimle tahmin doğruluğu, özellik önemi ve özellik dağıtımını keşfedin.
Aşağıdakileri yapın:
Herhangi bir model seçin, Analiz sekmesine tıklayın.
Eklenmiş bir analiz açılır.
Modele genel bakış sayfasıyla modelin tahmin doğruluğunu analiz edebilirsiniz. Analiz, seçimlerin gücüyle geliştirilir. Seçim yapmak için bir özelliğe veya tahmin edilen değere tıklayın. Eklenmiş analizdeki veriler, verileri filtrelemek için ayarlanır. Özelliğin etkisi ve tahmin doğruluğunun nasıl değiştiğini görüntülemek için belirli özellik değerleri ve aralıklarını ayrıntılı bir şekilde inceleyebilirsiniz.
Diğer sayfalara geçiş yaparak tahmin doğruluğu, özellik dağıtımı ve etki dağıtımı (SHAP) için görselleştirmeler görüntüleyebilirsiniz. Bu analiz içeriği şunları yapmanıza yardımcı olabilir:
Verilerdeki eğilimlere yön veren temel etkenleri ortaya çıkarın.
Belirli özellik ve toplulukların, tahmin edilen değerleri ve tahmin doğruluğunu nasıl etkilediğini tanımlayın.
Verilerdeki aykırı değerleri tanımlayın.
Bir ML deneyinde Analiz sekmesi
Sonraki adımlar
Akıllı model optimizasyonu ile deneyin bir sürümünü çalıştırdıktan sonra, modellerinizi iyileştirmek için gerektiğinde manuel sürümleri çalıştırabilirsiniz. Hızlı bir şekilde yeni bir manuel sürüm oluşturmak için Modeller sekmesine geri dönebilir ve Model eğitim özetinde Yeni manuel sürüm seçeneğine tıklayabilirsiniz.
Gerçek dünyaya uygun senaryoda, özel kullanım durumunuz için mümkün olan en iyi modele sahip olduğunuzdan emin olmak üzere modelinizi dağıtmadan önce iyileştirme adımlarını gerektiği kadar tekrarlamanız önemlidir.
Modelleri geliştirme hakkında daha fazla bilgi için bkz. Modelleri iyileştirme.
Bu eğitimde, modelinizi dağıtmayla ilgili bir sonraki bölüme geçin.