Model puanlarını yorumlama

Model puanları, modellerinizin eğitim verilerini tahmin etme konusunda ne kadar başarılı olduğuna dair teknik ölçümlerdir. Özellik önemine ek olarak model puanları da model analizinin önemli bir faktörüdür.

Model puanlama metrikleri

Model puanlama için kullanılacak temel metrikler, problem türüne göre farklılık gösterir. Problem türü; ikili sınıflandırma, çok sınıflı sınıflandırma veya regresyon olabilir. Daha fazla bilgi için aşağıdaki yardım konularına bakın:

• İkili sınıflandırma problemleri: İkili sınıflandırma modellerini puanlama

• Çok sınıflı sınıflandırma problemleri: Çok sınıflı sınıflandırma modellerini puanlama

• Regresyon problemleri: Regresyon modellerini puanlama

Model puanının önemi

Farklı model puanlarının amacı, modelin güçlü yanlarını anlamaktır. Bu, modelin kullanılabilirliğine dair güveninizi artıracak ve hangi iyileştirmelerin yapılabileceğini gösterecektir. Puan çok yüksek veya çok düşükse bu durum, modele sağlanan verilerle ilgili bir sorun olduğunu gösteriyor olabilir.

Modelin farklı açılardan tanımlayan birçok metrik olduğundan modeli puanlamak zor bir iş olabilir. Modelin iyi bir model olup olmadığını anlamak için, iş alanındaki bilginizi farklı puanlama metrikleri ve modelin eğitildiği bilgiler hakkındaki bilginizle birleştirmeniz gerekir. Bir kullanım senaryosunda çok kötü gibi görünen bir puan, başka bir kullanım senaryosunda çok iyi bir puana dönüşebilir ve yüksek yatırım getirisi sağlayabilir.

En önemli metrik: Araba analojisi

En önemli metrik hangisidir? Yanıt, modeli nasıl kullanmayı planladığınıza bağlıdır. Bilmek istediğiniz her şeyi size sunan tek bir metrik yoktur.

Bir analoji olarak araba satın aldığınızı düşünün. Yakıt verimliliği, beygir gücü, tork, ağırlık ve hızlanma gibi göz önünde bulundurmanız gereken pek çok farklı metrik vardır. Tamamının iyi olmasını istiyor olabiliriz ancak arabayı nasıl kullanmayı planladığımıza bağlı olarak bazı özelliklerden feragat etmemiz gerekir. Arabayı işe gidip gelmek için satın alan birisi, arabanın düşük torklu olması anlamına gelse bile yakıt verimliliği yüksek olan bir araba isteyebilir. Diğer yandan, botu olan biri düşük yakıt verimliliği anlamına gelse bile yüksek torklu bir botu tercih edebilir.

Model için de aynısı düşünebilir. Tüm metriklerin yüksek olmasını isteriz (bu metrikleri daha fazla ve daha iyi özelliklerle geliştirme imkanımız olabilir) ancak her zaman bazı kısıtlamalar vardır ve bazı şeylerden feragat etmemiz gerekir. Bazı puanlar, modeli hangi amaçla kullanmak istediğinize bağlı olarak daha önemlidir.

Model iyi uyum sağlıyor mu?

Bir modelin kullanım senaryosuna uygun ve üretimde kullanılmaya hazır olup olmadığını belirleme işlemi şu soruyla özetlenebilir: "Model, kabul edilemez sonuçlara yol açmaksızın pozitif yatırım getirisi sağlayacak kadar doğru mu?" Aşağıdaki dört soru bunu detaylandırmanıza yardımcı olabilir.

Model, insan tarafından karar verilmesine destek mi oluyor yoksa bunu otomatikleştiriyor mu?

Gerekli doğruluk seviyesi, modeli kararları otomatikleştirmek için mi yoksa desteklemek için mi kullanacağınıza bağlıdır. Örneğin, bir model, çalışanların ne kadar kazanması gerektiğini belirlemek için eğitilebilir. Bu senaryoda model, kararı otomatikleştiriyorsa muhtemelen doğruluğun (yalnızca kararı desteklemeye kıyasla) daha yüksek olması gerekir. Yöneticiler modeli, bir çalışana az veya fazla ödeme yapılıp yapılmadığını belirlemek için kullanıyorsa modelin hatalı olup olmadığına karar vermek için kendi takdirlerini kullanabilirler.

Hatalı pozitif veya hatalı negatif sonuçların ölçülebilir bir maliyeti var mı?

Hatalı bir sonucun maliyetini ölçmeniz mümkün mü? Modelin uygun olup olmadığını değerlendirirken istenen doğruluk düzeyini belirlemek için, bu maliyeti göz önünde bulundurun.

Yukarıdaki örneğin aynısını ele alalım ve modelin yalnızca destek amaçlı kullanılacağını varsayalım. Ancak yönetici, modele güveniyor ve model sonucuna göre maaş zammı yapılması halinde çalışana fazla ücret ödeniyor olacağı belirtildiğinden çalışanın maaşına zam yapmıyor. Çalışan başka yerde çalışmak için istifa ediyor. Bu çalışanı kaybetmenin maliyeti ne oldu? Tersi durum gerçekleşseydi yanlış bir şekilde zam yapmanın maliyeti ne olurdu?

Model, rastgele karar vermeye kıyasla ne kadar iyi?

Regresyon problemlerinde, her zaman için hedef sütunun ortalama değerini varsaydığınızda hatanın ne kadar olacağını belirleyin. Bununla karşılaştırıldığında model ne kadar iyi?

Sınıflandırma problemlerinde rastgele doğruluğu bulmak için, pozitif sınıf oranının karesini alın ve bunu negatif sınıf oranın karesiyle toplayın. Model doğruluğu bundan ne kadar iyi?

Model, ultimatomda bulunmaktan iyi mi?

Hatalarla ilişkili bir maliyet oluşup oluşmadığına bağlı olarak modelin bir ultimatomdan daha iyi olup olmadığına karar verin. Örneğin, bir firmanın pahalı (6.000 $) ve zaman alan danışmanlık hizmetini ücretsiz olarak sunduğunu ancak anlaşma imzalandığında bundan yüksek miktarda para kazandığını (60.000 $) varsayalım. Firma, şu anda danışmanlık hizmetlerinin tamamının anlaşmayla sonuçlanacağı varsayımına göre çalışıyor. Bununla birlikte, hangi noktalarda danışmanlık hizmeti sunması hangilerinde sunmaması gerektiğini belirleyebilseydi daha çok kâr ederdi. Firmanın, anlaşmalarının tamamının başarılı sonuçlanacağı ultimatomu yerine model sonucunu kullanması için model doğruluğunun ne kadar olması gerekir?

Özellik önemi

Özellik önemi değerleri teknik olarak model puanları olmasa da modellerinizin tahmin performansını değerlendirmek için önemli metriklerdir. Özellik önemini değerlendirmek, deney yapılandırmanız ve eğitim verileriniz ile ilgili veri sızıntısı gibi sorunları tespit etmeye de yardımcı olabilir.

Daha fazla bilgi için bk. Özellik önemini anlama.