Modelleri gözden geçirme ve hassaslaştırma

Model eğitiminin ilk sürümü tamamlandıktan sonra, ortaya çıkan model metriklerini ve önerilen modelleri analiz edin. Modelleri hassaslaştırmak için daha fazla değişiklik yapılması gerekiyorsa manuel model optimizasyonunu kullanarak ek sürümler çalıştırabilirsiniz.

Deney sürümünü çalıştırdığınızda, ortaya çıkan model metriklerini analiz etmeye başlayabileceğiniz Modeller sekmesine yönlendirilirsiniz. Veri sekmesine geri dönerek Şema görünümü ve Veri görünümü alanlarına erişebilirsiniz. Karşılaştır ve Analiz Et sekmelerinde daha ayrıntılı analizler gerçekleştirilebilir.

Qlik Predict, model eğitimi süreçlerini sürekli olarak geliştirmektedir. Bu nedenle, bu alıştırmaları tamamladığınızda bu sayfadaki görsellerde gösterilen model metriklerinin ve diğer ayrıntıların sizinkilerle bire bir aynı olmadığını fark edebilirsiniz.

Model metrikleri tablosunu analiz etme

Tekrar Modeller sekmesine geçiş yapın. Model metrikleri bölümünde, önerilen modeller ortak kalite gereksinimlerine göre vurgulanır. En iyi model Kupa analiz için otomatik olarak seçilmiştir.

Deneyde eğitilen modellerden üç öneri sunulur. Tek bir model birden fazla öneride yer alabilir. Öneriler şunlardır:

En iyi model: En yüksek performanslı doğruluk metriklerini ve tahmin hızını en iyi şekilde dengeleyen modeldir.
En doğru: Dengeli ve ham doğruluk metriklerinde en yüksek puanı alan modeldir.
En hızlı model: Güçlü doğrulukla ilgili metriklerin yanı sıra en hızlı tahmin hızına sahip modeldir.

Kullanım örneğinize en uygun modeli seçmek önemlidir. Çoğu durumda En iyi model en avantajlı seçenektir. Ancak tahmine dayalı kullanım örneğiniz, tahmin hızı veya doğruluk metrikleri için belirli spesifikasyonlar gerektirebilir.

En iyi model türlerinin nasıl belirlendiğine dair ayrıntılı bir genel bakış için bkz. Sizin için en iyi modeli seçme.

Önerilen modelleri ve temel model metriklerini gösteren Model metrikleri tablosu. — Önerilen modelleri ve model metriklerini gösteren Model metrikleri tablosu

Önerilerin üzerindeki açılır filtreleri kullanarak odağınızı daraltabilirsiniz. Filtrelemeyi her değiştirdiğinizde en iyi model türleri otomatik olarak yeniden hesaplanır.

Tablonun üzerindeki Metriği göster seçicisini kullanarak temel metrikler arasında geçiş yapın. Modelleri ada ve analiz edilen seçili metriğe göre sıralayabilirsiniz.

Aşırı uyum sağlanmış (overfitted) modeller tabloda bir uyarı Uyarı ile işaretlenir. Bu modeller dağıtım için uygun değildir. Aşırı uyumun nedenleri arasında eğitim algoritmalarının getirdiği model karmaşıklığı ve eğitim veri kümesiyle ilgili sorunlar yer alabilir. Daha fazla bilgi için bkz. Aşırı öğrenme.

Model eğitimi özeti alanını analiz etme

Şimdi arayüzün sağ tarafındaki Model eğitimi özeti alanına odaklanabiliriz. Bu özet, modelin ve girdi eğitim verilerinin en iyi performans için nasıl optimize edildiğini keşfetmenizi sağlar. Model eğitimi özeti, akıllı model optimizasyonunun sağladığı geliştirmelerin bir genel bakışıdır.

Aşağıdaki görseldeki özetten şunları görebiliriz:

Eğitim verilerindeki özellikler eğitim sırasında bırakıldı ve modele dahil edilmedi.
Model %100 örnekleme oranına sahiptir.

Hedef sızıntısı nedeniyle bırakılan özellik

The feature DaysSinceLastService was dropped during training due to target leakage.

In this feature column, there was no logic defined during data collection to stop the counting of the number of days since a customer's last service ticket for customers that canceled their subscription. As a result, the model could have learned to associate a large number of days since last service ticket (present for customers who canceled years ago) with a value of yes in the Churned field.

Bu özelliğin eğitimden çıkarılması gerekiyordu çünkü aksi takdirde yeni veriler üzerinde çok düşük performans gösteren bir model ortaya çıkacaktı.

Altta yatan sorun, bir veri sızıntısı biçimi olan hedef sızıntısı olarak bilinir. Veri sızıntısı hakkında daha fazla bilgi için bkz. Veri sızıntısı.

Yüksek korelasyon nedeniyle bırakılan özellikler

Eğitim sırasında PriorPeriodUsage-Rounded ve AdditionalFeatureSpend özelliklerinin bırakıldığını görebiliriz.

In this case, there was at least one feature column—PriorPeriodUsage-Rounded—that was directly derived from another column in the dataset. Other correlation issues were detected with AdditionalFeatureSpend.

Kaliteli bir model eğitmek için korelasyon sorunlarına yol açan özelliklerin kaldırılması önemlidir.

Korelasyon hakkında daha fazla bilgi için bkz. Korelasyon.

Düşük önem derecesi nedeniyle bırakılan özellikler

Düşük permütasyon önemi nedeniyle birkaç özellik de bırakıldı. Ön analizden sonra, bu özelliklerin hedef sonuçları üzerinde çok düşük etkiye sahip olduğu belirlendi. Bu özellikler istatistiksel gürültü olarak görülebilir ve model kalitesine fayda sağlamak amacıyla kaldırılmıştır.

Permütasyon önemi hakkında daha fazla bilgi için bkz. Permütasyon önemini anlama.

Bir ML deneyinde modelin en iyi performans için nasıl optimize edildiğini gösteren model eğitimi özeti. — Model eğitimi özeti

Modeller sekmesindeki diğer görselleştirmeleri analiz etme

Ek üst düzey analizler için Modeller sekmesinde diğer görselleştirmeler de mevcuttur. Özellik düzeyindeki performansı ve model kalitesi hakkında fikir verebilecek diğer grafikleri incelemek için Model metrikleri tablosunda farklı modeller seçin.

Bir ML deneyinde model analizi için kullanılabilen diğer görselleştirmeleri gösteren 'Modeller' sekmesi — ML deneyinde analiz için kullanılabilen diğer görselleştirmeleri gösteren Modeller sekmesi

Eğitim ve kontrol (holdout) metriklerini karşılaştırma

Ek metrikleri görüntüleyebilir ve çapraz doğrulama eğitiminden elde edilen metrikleri kontrol metrikleriyle karşılaştırabilirsiniz.

Aşağıdakileri yapın:

Deneyde Karşılaştır sekmesine geçiş yapın.

Yerleşik bir analiz açılır. Karşılaştırmalı model analizinizi daha derinlemesine incelemek ve yeni içgörüler ortaya çıkarmak için etkileşimli arayüzü kullanabilirsiniz.
Analizin sol tarafındaki Sayfalar panelinde Ayrıntılar sayfasına geçiş yapın.
Model metrikleri görselleştirmesine bakın. Bu alan, F1 gibi model puanlama metriklerinin yanı sıra diğer bilgileri de gösterir.
Gösterilecek sütunlar bölümünde, tablodaki sütunları eklemek ve kaldırmak için filtre bölmesini kullanın.
Açılır liste kutusuna ek metrikler ekleyin. Eğitim puanları tabloya eklenebilir durumdadır. Analiziniz için bunları gerektiği gibi ekleyebilirsiniz.

Artık çapraz doğrulama eğitiminden elde edilen F1 metriklerini görebilir ve bunları kontrol metrikleriyle karşılaştırabilirsiniz.

Eğitim puanlarını kontrol puanlarıyla birlikte görüntülemek için deneydeki 'Karşılaştır' sekmesini kullanma — Kontrol puanlarıyla karşılaştırmak için eğitim puanlarını ekleme ve görüntüleme

Belirli bir modele odaklanma

Model analizi sırasında herhangi bir noktada, tek bir modelin ayrıntılı analizini gerçekleştirebilirsiniz. Etkileşimli bir deneyimle tahmin doğruluğunu, özellik önem derecesini ve özellik dağılımını keşfedin.

Aşağıdakileri yapın:

Herhangi bir modeli seçin ve ardından Analiz Et sekmesine tıklayın.

Yerleşik bir analiz açılır.
Model genel bakışı sayfası ile modelin tahmin doğruluğunu analiz edebilirsiniz. Analiz, seçimlerin gücüyle geliştirilmiştir. Seçim yapmak için bir özelliğe veya tahmin edilen değere tıklayın. Yerleşik analizdeki veriler, verileri filtreleyecek şekilde ayarlanır. Özellik etkisinin ve tahmin doğruluğunun nasıl değiştiğini görüntülemek için belirli özellik değerlerine ve aralıklarına inebilirsiniz.
Diğer sayfalara geçiş yaparak tahmin doğruluğu, özellik dağılımı ve etki dağılımı (SHAP) için görselleştirmeleri görüntüleyebilirsiniz. Bu analitik içeriği şunları yapmanıza yardımcı olabilir:
- Verilerdeki eğilimleri etkileyen temel etkenleri ortaya çıkarmak.
- Belirli özelliklerin ve kohortların tahmin edilen değerleri ve tahmin doğruluğunu nasıl etkilediğini belirlemek.
- Verilerdeki aykırı değerleri belirlemek.

Analizi seçimlerin gücüyle geliştirmek için 'Analiz Et' sekmesini kullanma — Bir ML deneyinde Analiz Et sekmesi

Sonraki adımlar

Deneyin akıllı model optimizasyonuna sahip bir sürümünü çalıştırdıktan sonra, modellerinizi hassaslaştırmak için gerektiğinde manuel sürümler çalıştırabilirsiniz. Hızlı bir şekilde yeni bir manuel sürüm oluşturmak için tekrar Modeller sekmesine geçebilir ve Model eğitimi özeti alanındaki Yeni manuel sürüm seçeneğine tıklayabilirsiniz.

Gerçek dünya senaryosunda, özel kullanım örneğiniz için mümkün olan en iyi modele sahip olduğunuzdan emin olmak amacıyla modelinizi dağıtmadan önce tüm hassaslaştırma adımlarını gerektiği kadar tekrarlamanız önemlidir.

Modelleri hassaslaştırma hakkında daha fazla bilgi için bkz. Modelleri hassaslaştırma.

Bu eğitimde, modelinizi dağıtma ile ilgili bir sonraki bölüme geçin.

Bu sayfa size yardımcı oldu mu?

Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız lütfen bize bildirin!

Geri bildiriminizi buradan iletin