Zaman içinde model performansını değerlendirme

Bir dizi makine öğrenimi modelini eğittikten ve en iyisini dağıttıktan sonra, üretim verileri üzerinde tahminler oluşturmaya başlayacaksınız. Modelinizin hala güvenilir tahminler ürettiğinden ve eğitilirken kullanılan verilerin hala geçerli olduğundan emin olmak için performansını sürekli olarak değerlendirmek önemlidir.

İzlenmesi önemli olan faktörler

Operasyonel ihtiyaçlar

Tahmine dayalı kullanımınız muhtemelen zaman içinde değişecektir. Değişiklikler küçük veya büyük olabilir. Modelinizin mevcut yapılandırmasıyla hala değer sağlayıp sağlamadığını değerlendirmeniz gerekecektir. Makine öğrenimi sorunuz, modellerinizi ilk eğittiğinizden bu yana önemli ölçüde değiştiyse sorunuzu ve veri kümenizi tanımlama sürecine yeniden başlamanız önerilir.

Girdi verileri ve tahmin doğruluğu

Girdi verilerindeki dağılımların ve eğilimlerin zaman içinde değişmesi sıklıkla karşılaşılan bir durumdur. Bir zamanlar eğitim verilerinizin belirleyici bir niteliği olan şey artık geçerli olmayabilir veya etkisi daha da belirgin olabilir. Tahmin edilen sonuçları etkileyen ve modelinize yeni özellikler olarak eklenmesi gereken yeni değişkenler olduğunu keşfedebilirsiniz. Aynı doğrultuda, bazı özellikler artık sonuçlara, modele dahil edilecek kadar önemli ölçüde katkıda bulunmuyor olabilir.

İlk eğitim verileriniz ile mevcut en son veriler arasındaki sapma miktarı için verilerinizi izlemek önemlidir. Belirli özellikler için sapma artık kabul edilemez bir eşiğe ulaşmaya başlarsa yeni veri toplamanın ve modelinizi yeniden eğitmenin veya makine öğrenimi probleminizin yeni bir tanımıyla başlamanın zamanı gelmiştir. Veri kayması hakkında daha fazla ayrıntı için bkz. Veri kayması.

Ayrıca, modelin artık başlangıçta yaptığı doğrulukta tahmin yapmadığını fark ederseniz kabul edilebilir performansa dönmesi için neleri değiştirmeniz gerektiğini yeniden değerlendirmeniz gerekir. Örneğin, model doğruluğunun veri toplama sürecinde meydana gelen hatalardan etkilendiğini fark edebilirsiniz.

Modelleri yeniden eğitme

Daha fazla geçmiş veri elde edildikçe ve performansınızın düşüp düşmediğine bakılmaksızın modellerinizi en güncel bilgileri yansıtacak şekilde yeniden eğitmeniz kaçınılmazdır.

Veri kaymasını izleme

AutoML, dağıtılan modelleriniz için özellik kaymasını tespit etmenize yardımcı olacak yerleşik işleve sahiptir. Daha fazla bilgi için bk. Dağıtılan modellerde veri kaymasını izleme.

Sonraki adımlar

Kullanım durumunuzun ve girdi verilerinin ne kadar önemli ölçüde değiştiğine bağlı olarak, aşağıdakilerden birini veya birkaçını dikkate almak isteyebilirsiniz:

• Modelleri aynı deney içinde yeni verilerle yeniden eğitin. Makine öğrenimi probleminiz önemli ölçüde değişmediyse bu seçenek birkaç avantaj sunar. Özellikle, tüm deney sürümlerindeki modelleri aynı deney içinde ayrıntılı olarak karşılaştırabilirsiniz. Daha fazla bilgi için bk. Veri setini değiştirme ve yenileme.

• Başlangıçta tanımladığınız orijinal makine öğrenimi problemi artık geçerli değilse tamamen yeni bir deney oluşturmak mantıklı olabilir. Bu büyük ölçüde kullanım durumunuza bağlıdır.