Hızlı model analizi gerçekleştirme

Bir deney sürümü için modellerin eğitimi tamamlandığında, en önemli model metriklerinin analizini gerçekleştirin ve eğitim verilerinin nasıl işlendiğine dair bir özete erişin. Hızlı analiz, Yapılandırma/Eğitim verileri ve Modeller sekmelerinde gerçekleştirilir.

Eğitim sonuçlarınıza genel bakış için Modeller sekmesini kullanın. Bir deney sürümünü çalıştırdığınızda, otomatik olarak Modeller sekmesine geçiş yaparsınız. Verilerin nasıl önceden işlendiğini ve ele alındığını incelemek için Eğitim verileri sekmesini de yeniden ziyaret etmeniz önerilir.

Modellerin daha ayrıntılı değerlendirilmesi için ek seçenekler mevcuttur. Modeller arasındaki ek metrikleri ve hiper parametreleri karşılaştırabilir veya ayrıntılı analiz için belirli bir modele odaklanabilirsiniz. Bu seçenekler Karşılaştır ve Analiz Et sekmelerinde mevcuttur. Daha fazla bilgi için bkz.:

• Modelleri karşılaştırma

• Ayrıntılı model analizi yapma

Kavramları anlama

Modellerinizi değerlendirmeye başlamadan önce model analizinin arkasındaki kavramlar hakkında temel bir anlayışa sahip olmak faydalı olabilir. Daha fazla bilgi için bkz. Model inceleme kavramlarını anlama.

Optimizasyon ayarlarının analiz üzerindeki etkisi

Sınıflandırma ve regresyon deneyleri için, analiz deneyiminiz, akıllı model optimizasyonu kullanıp kullanmadığınıza bağlı olarak biraz farklı olabilir. Akıllı model optimizasyonu, yeni sınıflandırma ve regresyon deneyleri için varsayılan olarak açıktır.

Akıllı optimizasyonla eğitilmiş modelleri analiz etme

Varsayılan olarak, yeni sınıflandırma ve regresyon deneyleri akıllı model optimizasyonuyla çalıştırılır.

Akıllı model optimizasyonu, çok az geliştirme yaparak veya hiç geliştirme yapmadan ideal olarak dağıtıma hazır bir model oluşturan daha güçlü bir eğitim süreci sağlar. Üretim kullanım durumları için dağıtılan bu modellerin performansı hala bunların alakalı özellikler ve veriler içeren, yüksek kaliteli bir veri kümesiyle eğitilmesine bağlıdır.

Sürümünüz akıllı model optimizasyonuyla eğitilmişse şunları göz önünde bulundurun:

• Sürümdeki her bir model, algoritmanın verileri nasıl analiz ettiğine bağlı olarak farklı özellik setine sahip olabilir.

• Ayrıntılı analizleri detaylı bir şekilde incelemeden önce Modeller sekmesinden modelin Model eğitim özetini okuyun. Model eğitim özeti, Qlik Predict modelinin özellik seçimi üzerinde yineleme yaparak ve gelişmiş dönüşümler uygulayarak modeli otomatik olarak nasıl optimize ettiğinin bir özetini gösterir.

Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Akıllı optimizasyon olmadan eğitilmiş modelleri analiz etme

Alternatif olarak, eğitim sürümü için akıllı model optimizasyonunu kapatmış olabilirsiniz. Eğitim süreci üzerinde daha fazla kontrole ihtiyacınız varsa modellerin manuel optimizasyonu faydalı olabilir.

Manuel optimizasyonu kullandıysanız sürümdeki tüm modeller aynı özellik setine sahip olacaktır, bu sayede Model eğitim özetine ihtiyaç duyulmaz.

Yapılandırmayı inceleme

Ön işleme sırasında, özellikler eğitimde kullanılmaktan hariç tutulmuş olabilir. Bu durum genellikle eğitim ilerledikçe veriler hakkında, sürümü çalıştırmadan öncesine kıyasla daha fazla bilgi edinilmesinden kaynaklanır.

Model eğitimi özeti (yalnızca akıllı optimizasyonla gösterilir) bölümünü inceledikten sonra, bu diğer değişiklikleri kontrol etmeniz gerekirse deneme yapılandırmasına daha yakından bakabilirsiniz.

Aşağıdakileri yapın:

1. Denemede, Eğitim verileri sekmesine geçiş yapın.

2. Şu görünümde olduğunuzdan emin olun: Şema görünümü.

3. Sürümden bir model seçmek için araç çubuğundaki açılır menüyü kullanın.

4. Model şemasını analiz edin. Belirli özelliklerin bırakılıp bırakılmadığını veya farklı bir özellik türüne dönüştürülüp dönüştürülmediğini görmek için İçgörüler ve Özellik türü sütunlarına odaklanmak isteyebilirsiniz.

   Örneğin, başlangıçta Olası serbest metin olarak işaretlenen bir özellik, siz sürümü çalıştırdıktan sonra hariç tutulmuş olabilir.

   İçgörülerin her birinin ne anlama geldiği hakkında daha fazla bilgi için bkz. Veri kümesi içgörülerini yorumlama.

Sürümü varsayılan akıllı optimizasyon seçeneğiyle çalıştırdıysanız sürümdeki her modelin, otomatik iyileştirme nedeniyle farklı özellik seçimine sahip olabileceğini unutmayın. Sürüm akıllı optimizasyon olmadan çalıştırıldıysa özellik seçimi, sürümdeki tüm modeller için aynı olacaktır. Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Bu yapılandırmada bulduklarınıza bağlı olarak, özellik verilerinizi iyileştirmek için veri kümesi hazırlama aşamasına geri dönmeniz gerekebilir.

Akıllı model optimizasyonu kapalıyken, hızlı analiz deneyiminizin bir parçası olarak bir Model eğitimi özeti görmezsiniz. Ek olarak, bir deney sürümündeki tüm modeller aynı özellik kombinasyonlarını kullanırken, akıllı optimizasyonla eğitilen modeller farklı özellik kombinasyonlerine sahip olabilir.

Model seçme

Eğitim tamamlandığında, analiz için önerilen model otomatik olarak seçilir ve o modele ait metrikler görüntülenir.

Metriklerdeki ve yapılandırmadaki farkları karşılaştırmak için modeller arasında geçiş yapın. Eğitim verileri sekmesindeyseniz bir model seçmek için araç çubuğundaki açılır menüyü kullanın. Modeller sekmesindeyseniz bir model seçmek için Model metrikleri tablosundaki bir modele tıklayın.

Eğitim özetini analiz etme

Akıllı model optimizasyonu

Akıllı model optimizasyonu ile eğitilen modeller için Model eğitimi özeti, eğitim sırasında ne olduğuna dair temel bilgileri özetler. Bu özet şunları içerir:

• Model için örnekleme oranı.

• Akıllı optimizasyon sonucunda otomatik olarak bırakılan özelliklerin listesi. Bu liste, seçilen modele bağlı olarak değişir.

• Model eğitilirken uygulanan gelişmiş dönüşümlerin özeti.

• Eğitim veri kümesine bir bağlantı.

Modellerinizi manuel olarak optimize ediyorsanız Model eğitimi özeti gösterilmez.

Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Model eğitimi özeti, ön işleme aşamasında bırakılan özellikleri listelemez. Bu bilgiyi kontrol etmek için deneyin Veri sekmesine geri dönün. Bkz.: Yapılandırmayı inceleme

Aşağıdakileri yapın:

1. Deneyde, Modeller sekmesine geçiş yapın.

2. Analiz etmek istediğiniz modeli seçtiğinizi onaylayın.

3. Sayfanın sağ tarafındaki Model içgörüleri bölümünde, Model eğitimi özeti kısmına bakın.

Zaman serisi deneyleri

Zaman serisi deneylerinde, Model eğitimi özeti, veri kümeniz ve eğitim ayarlarınız tarafından tanımlanan zaman serisi tahmini problemi için yapılandırma ayarlarını gösterir. Bu ayrıntıların bazıları eğitim başlamadan önce tahmin edilmişti, ancak şimdi tüm veri kümesi analiz edildikten sonra kesin olarak onaylanmıştır. Şunları görüntüleyebilirsiniz:

• Modeli eğitmek için kullanılan verilerin tarih aralığı

• Zaman adımı

  Zaman adımları

• Uygulama penceresi boyutu

  Uygulama penceresi

• Maksimum tahmin

  Maksimum tahmin penceresi

• Tahmin penceresi ve boşluk boyutları

  Tahmin ufku

Model metrikleri tablosunu analiz etme

Model metrikleri tablosu, deneydeki her bir modelin performansına ilişkin üst düzey bilgiler sağlar. Bu listeden önerilen modeller tablonun üzerinde sunulur.

Tablodaki modelleri filtreleme

Model metrikleri tablosu, yalnızca karşılaştırmak istediğiniz modelleri gösterecek şekilde filtrelenebilir.

Aşağıdaki filtreler mevcuttur ve gerektiğinde birleştirilebilir:

• Sürüm: Bir veya daha fazla deney sürümü seçin.

• Algoritma: Bir veya daha fazla algoritma seçin.

• %100 örnekleme: Bu filtre varsayılan olarak uygulanır. İstenirse kaldırılabilir. Filtre, eğitim ve çapraz doğrulama sürecini tamamlamak için tüm eğitim veri kümesini kullanan modelleri gösterir. Diğer model filtreleri altında bulunur.

• Dağıtılan: ML dağıtımlarına dağıtılmış olan modelleri gösterir. Diğer model filtreleri altında bulunur.

İstediğiniz filtreleri uyguladıktan sonra, en yüksek performanslı modeller filtrelenen öğelere göre otomatik olarak yeniden hesaplanır. Önerilen modelleriniz daha sonra güncellenir.

Özellik önemi görselleştirmelerini yorumlama

Modeller sekmesinde, özellik önemi görselleştirmelerini görüntülemek için aşağı kaydırın. Bunlar Permütasyon önemi ve SHAP önemi olacaktır.

Permütasyon önemi grafiği

Permütasyon önemi grafiği, her bir özelliğin modelin genel tahmini için önemini gösterir. Permütasyon önemi grafiğinde gördükleriniz, modellerinizi nasıl geliştireceğinizi anlamanıza yardımcı olabilir.

Bu grafiği analiz ederek elde edebileceğiniz ortak içgörüler şunları içerir:

• Bir özellik önemin neredeyse tamamını tüketiyorsa bu muhtemelen hedef sızıntısının bir işaretidir. Özelliğin kaldırılması gerekir. Bu durum veri kalitesi sorunlarından kaynaklanıyorsa bunların da ele alınması gerekir.

  Veri sızıntısı

• Bazı özelliklerin model tahminleri üzerinde çok az etkisi olabilir veya hiç olmayabilir. Son derece düşük permütasyon önemine sahip özellikler istatistiksel gürültü olarak kabul edilebilir ve kaldırılmalıdır.

Sürümü eğitmek için akıllı model optimizasyonu kullanıldıysa yukarıda belirtilen yaygın sorunlardan bazıları, bu özellikler bırakılarak otomatik olarak çözülmüş olabilir.

Permütasyon önemi hakkında daha fazla bilgi için bkz. Permütasyon önemini anlama.

SHAP önemi grafiği

SHAP önemi grafiği, deneydeki her bir özelliğin her bir modelden elde edilen tahminler üzerindeki etkisini analiz etmenin başka bir yolunu sunar. Bu, hangi özelliklerin önemli olduğu veya eğitimi yeniden yapılandırmanız gerekip gerekmediği konusunda size erken bir içgörü sağlayabilir. Daha fazla bilgi için bkz. Deney eğitiminde SHAP'ın önemini anlama.

Model puanlama görselleştirmelerini yorumlama

Bazı model türleri için, modelin ne kadar iyi performans gösterdiğine dair genel bir bakış sunan ek görselleştirmeler mevcuttur.

İkili sınıflandırma

Deneyiniz bir ikili sınıflandırma problemiyse hızlı tüketim için bir dizi ek görselleştirme otomatik olarak oluşturulur. Bu görselleştirmeler, modelin pozitif ve negatif sınıfları ne kadar iyi tahmin ettiği konusunda size daha fazla içgörü sağlar.

Bu görselleştirmeler hakkında daha fazla bilgi için bkz. İkili sınıflandırma modellerini puanlama.

Hata matrisi

Hata matrisi grafiği, model tarafından oluşturulan tahminlerin doğruluğunu gösterir. Tahminler, otomatik dışarıda tutulan veriler üzerinde gerçekleştirilir.

Karmaşıklık matrisi

ROC eğrisi

ROC eğrisi grafiği, gerçek sonuç pozitif olduğunda modelin pozitif sınıfı tahmin etmede ne kadar iyi olduğunu açıklar.

İdeal bir ROC eğrisinin nasıl göründüğüne dair bir gösterge için bkz. AUC ve ROC eğrisi.

Zaman serisi

Zaman serisi modelleri için, tahmin doğruluğu hakkında içgörü sağlamak amacıyla Tahmin penceresindeki tahmin hatası grafiği otomatik olarak oluşturulur. Tahmin penceresindeki her bir zaman adımı için tahmin hatası oranını görüntüleyebilirsiniz. Hata oranları ellinci, onuncu ve doksanıncı yüzdelik dilimlere ayrılmıştır.