Regresyon modellerini puanlama

Regresyon modelleri, sonuçları sayı olarak tahmin eder ve modelin hedef değişken için yaptığı en iyi tahmini gösterir. Regresyon modellerini değerlendirebilmeniz için çeşitli metriklerin oluşturulması gerekir.

Bir regresyon deneyinin eğitimi sırasında, oluşturulan modellerin hızlı bir şekilde analiz edilmesini sağlamak için aşağıdaki grafikler otomatik olarak oluşturulur:

• Permütasyon önemi: Özelliklerin, en etkili olandan (model performansında en büyük etkiye sahip olan) en az etkili olana (model performansında en az etkiye sahip olan) sıralamasıyla görüntülenen bir grafik. Permütasyon önemi

• SHAP'nin önemi: Her bir özelliğin tahmin edilen sonucu ne kadar etkilediğini gösteren bir grafik. Deney eğitiminde SHAP'ın önemi

R2

R kare (R2), özelliklerin hedefle arasındaki korelasyonu gösteren birimsiz bir ölçümdür. Şöyle ifade edilebilir: Hedefin ortalama değerini kullanmaya kıyasla, modelin tahminleri kusursuz değere yüzde kaç daha yakındır?

R2, eksi sonsuz ile 1 arasındadır. 1'e ne kadar yakınsa hedef değerdeki değişim, özellik değişkenleriyle daha fazla açıklanabilir. Diğer bir deyişle, doğru tahmin yapmayı sağlayacak, özellik açısından önemli değişkenlere sahip olma olasılığınız daha fazladır.

Grafiklerdeki örnekte yaşa göre boy çizimi gösterilmektedir. İlk grafikte boy değerinin yaşla korelasyonu, R2'nin 0,56 olduğu ikinci grafiğe göre daha fazladır (R2 0,97).

Düşük R2 değerinin, modelin kötü olduğu anlamına gelmediğini unutmayın. R2'yi yorumlama biçiminiz, kullanım senaryonuza ve verilere göre değişir. Regresyon modeli puanlaması değerlendirilirken, doğrusal ilişkinin her zaman kritik öneme sahip olmadığını hatırlamak önemlidir. Diğer algoritmalar iyi performans gösterirken lineer regresyon zayıf sonuçlar veriyorsa bu, verilerinizin doğrusal ilişkiyle yeteri kadar iyi modellenemediği anlamına geliyor olabilir.

RMSE

Kök ortalama kare hatası (RMSE), tahmin edilen değer ile gerçek değer arasındaki beklenen ortalama +/- fark olarak yorumlanabilir. Artıkların standart sapmasıdır (bir özellik için gözlenen değer ile tahmin edilen değer arasındaki fark). RMSE, hedef değer ile aynı birimde ölçülür.

Örneğin, hedef olarak sözleşme değerini tahmin etmek istediğimizi ve RMSE'nin 1.250 olduğunu düşünelim. Bu, tahmin edilen değer ile gerçek değer arasındaki farkın ortalama +/- 1.250 $ olduğu anlamına gelir.

MSE

Ortalama kare hatası (MSE), tahmin edilen değerle ortalama olarak görmeyi beklediğimiz gerçek değer arasındaki +/- farkın karesi olarak yorumlanabilir. Hedef değerin karesiyle aynı birimde ölçülür.

Sözleşme değeri tahmini örneğinde, 1.562.500 MSE değeri, modelin +/- 1.562.500 $2 farklı olduğu anlamına gelir. Birimin dolar kare olduğunu unutmayın.

MAE

Ortalama mutlak hatası (MAE), tüm mutlak tahmin hatalarının ortalamasıdır. Burada, tahmin hatası, gerçek ve tahmin edilen değer arasındaki farktır. Tahmin hatalarının mutlak değerlerini kullanmak, +/- hataların birbirlerini etkisiz kılmasını engeller. MAE, hedef değer ile aynı birimde ölçülür.