Ayrıntılı model analizi yapma

Deneyin Analiz sekmesinde, tahmine dayalı performansının ayrıntılı analizi için tek bir modele odaklanabilirsiniz. Ayrıntılı analiz, yerleşik analizler kullanılarak gerçekleştirilir.

Eğitim bittikten sonra bir model seçin. Ardından model tahminlerinin doğruluğu, verilerdeki trendleri etkileyen faktörler ve diğer bilgiler hakkında daha fazla bilgi görüntülemek için Analiz sekmesini açın. Analiz sekmesinde gösterilen veriler, bekletme verileri uyarınca modelin oluşturduğu tahminlere dayanır.

Ayrıntılı model analizinin ana avantajlarından bazıları:

• Görselleştirme verilerini gereken şekilde geliştirip özelleştirebileceğiniz etkileşimli arayüz.

• Özellik önemli istatistiklerinin yanı sıra bekletme verileri üzerinde yapılan tahminlere yakından bakma.

Analiz iş akışı

Model eğitimi sonuçlarını tam olarak anlamak için hızlı analiz yapmanız, ardından Karşılaştır ve Analiz sekmelerinde ek seçeneklerle ilerlemeniz önerilir. Hızlı analiz, akıllı optimizasyon sürecinde hangi özelliklerin kullanımdan kaldırıldığını gösteren bir Model eğitim özeti ve aynı zamanda hızlı kullanım için otomatik oluşturulan bazı görselleştirmeler sağlar. Karşılaştır ve Analiz sekmesi, Model eğitim özetini göstermez, ancak modellerinizin kalitesini daha iyi anlamanız için model metriklerini daha derinlemesine incelemenize izin verir.

Diğer analiz seçenekleri hakkında daha fazla bilgi için bk.:

• Hızlı model analizi yapma

• Modelleri karşılaştırma

Kavramları anlama

Modellerinizi değerlendirmeden önce model analizi arkasındaki kavramları temel düzeyde anlamak faydalı olabilir. Daha fazla bilgi için bk. Model inceleme kavramlarını anlama.

Optimizasyon ayarlarının analiz üzerindeki etkisi

Analiz deneyiminiz, akıllı model optimizasyonu kullanıp kullanmadığınıza bağlı olarak biraz farklı olabilir. Akıllı model optimizasyonu, yeni deneyler için varsayılan olarak açıktır.

Akıllı optimizasyonla eğitilmiş modelleri analiz etme

Varsayılan olarak, yeni deneyler akıllı model optimizasyonuyla çalıştırılır.

Akıllı model optimizasyonu, çok az geliştirme yaparak veya hiç geliştirme yapmadan ideal olarak dağıtıma hazır bir model oluşturan daha güçlü bir eğitim süreci sağlar. Üretim kullanım durumları için dağıtılan bu modellerin performansı hala bunların alakalı özellikler ve veriler içeren, yüksek kaliteli bir veri kümesiyle eğitilmesine bağlıdır.

Sürümünüz akıllı model optimizasyonuyla eğitilmişse şunları göz önünde bulundurun:

• Sürümdeki her bir model, algoritmanın verileri nasıl analiz ettiğine bağlı olarak farklı özellik setine sahip olabilir.

• Ayrıntılı analizleri detaylı bir şekilde incelemeden önce Modeller sekmesinden modelin Model eğitim özetini okuyun. Model eğitim özeti, AutoML'in özellik seçimi üzerinde yineleme yaparak ve gelişmiş dönüşümler uygulayarak modeli otomatik olarak nasıl optimize ettiğinin bir özetini gösterir.

Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Akıllı optimizasyon olmadan eğitilmiş modelleri analiz etme

Alternatif olarak, eğitim sürümü için akıllı model optimizasyonunu kapatmış olabilirsiniz. Eğitim süreci üzerinde daha fazla kontrole ihtiyacınız varsa modellerin manuel optimizasyonu faydalı olabilir.

Manuel optimizasyonu kullandıysanız sürümdeki tüm modeller aynı özellik setine sahip olacaktır, bu sayede Model eğitim özetine ihtiyaç duyulmaz.

Yapılandırmayı inceleme

Ön işleme sırasında özellikler, eğitimde kullanımdan hariç tutulmuş olabilir. Bu genellikle, sizin sürümü çalıştırmanızdan öncesine kıyasla eğitim ilerledikçe veriler hakkında daha fazla bilgi edinildiği için olur.

Model eğitim özetini (yalnızca akıllı optimizasyonla gösterilir) inceledikten sonra bu diğer değişikliklerin olup olmadığını kontrol etmeniz gerekiyorsa deney yapılandırmasına daha yakından bakabilirsiniz.

Aşağıdakileri yapın:

1. Deneyde Veri sekmesine geçiş yapın.

2. Şema görünümünde olduğunuzdan emin olun.

3. Sürümden bir model seçmek için araç çubuğundaki açılır menüyü kullanın.

4. Model şemasını analiz edin. Belirli özelliklerin kullanımdan kaldırılıp kaldırılmadığını veya farklı bir özellik türüne dönüştürülüp dönüştürülmediğini görmek için İçgörüler ve Özellik türü sütunlarına odaklanmak isteyebilirsiniz.

   Örneğin, başlangıçta Olası serbest metin olarak işaretlenmiş bir özelliğin, siz sürümü çalıştırdıktan sonra hariç tutulmuş olması mümkündür.

   İçgörülerin her birinin ne anlama geldiği hakkında daha fazla bilgi için bkz. Veri kümesi içgörülerini yorumlama.

Sürümü varsayılan akıllı optimizasyon seçeneğiyle çalıştırdıysanız otomatik geliştirme nedeniyle sürümdeki her bir modelin farklı özellik setlerine sahip olabileceğini unutmayın. Sürümü varsayılan akıllı optimizasyon olmadan çalıştırdıysanız özellik seti, sürümdeki tüm modeller için aynı olacaktır. Akıllı model optimizasyonu hakkında daha fazla bilgi için bkz. Akıllı model optimizasyonu.

Bu yapılandırmada bulduklarınıza bağlı olarak, özellik verilerinizi iyileştirmek için veri kümesi hazırlık aşamasına dönmeniz gerekebilir.

Ayrıntılı bir analizi başlatma

Belirli bir modelin ayrıntılı analizi başlatabileceğiniz birkaç yöntem vardır:

• Veri veya Modeller sekmesinde bir model seçin, modelin yanındaki seçeneğine ve ardından Analiz seçeneğine tıklayın.

• Model seçtiğinizde Analiz sekmesine tıklayın.

• Zaten bir model için ayrıntı analizi görüntülüyorsanız farklı bir model seçmek üzere araç çubuğunda açılır menüyü kullanın.

Analiz içeriği, deney hedefine göre tanımlanan model türüne bağlıdır. Farklı model türleri için farklı metrikler kullanılabilir.

Eklenmiş analizlerde gezinme

Eklenmiş analizler ile modeli analiz etmek için etkileşimli arayüzü kullanın.

Sayfalar arasında geçiş yapma

Sayfalar paneli, analizdeki sayfalar arasında geçiş yapmanıza izin verir. Her sayfanın belirli bir odağı vardır. Panel gereken şekilde genişletilebilir ve daraltılabilir.

Seçimler yapma

Verileri geliştirmek için seçimleri kullanın. Özellikler seçebilir ve belirli değerleri ve aralıkları ayrıntılı olarak inceleyebilirsiniz. Bu, gerekirse daha yakından bakmanıza olanak tanır. Bazı durumlarda, görselleştirmelerin görüntülenmesi için bir veya daha fazla seçim yapmanız gerekebilir. Seçim yapmak için görselleştirmeler ve filtre bölmelerinde veri değerlerine tıklayın.

Seçimlerle şu şekilde çalışabilirsiniz:

• İçeriklere tıklayarak, aralıkları tanımlayarak ve çizerek değer seçebilirsiniz.

• Değer seçmek için grafiklerin içinde arama yapabilirsiniz.

• Eklenmiş analizin üstündeki araç çubuğunda seçilmiş bir alana tıklayabilirsiniz. Bu, mevcut seçimlerde arama yapmanıza, bunları kilitlemenize veya kilitlerini açmanıza ve daha ayrıntılı bir şekilde değiştirmenize olanak tanır.

• Eklenmiş analizin üstündeki araç çubuğunda, bir seçimi kaldırmak için seçeneğine tıklayabilirsiniz. simgesine tıklayarak tüm seçimleri temizleyebilirsiniz.

• ve seçeneğine tıklayarak seçimlerinizde ileri ve geri gidebilirsiniz.

Analiz, verileri geliştirmeyi kolaylaştıracak filtre bölmeleri içerir. Bir filtre bölmesinde seçim yapmak için bir değerin onay kutusuna tıklayın. Filtre bölmesi birden fazla liste kutusu içeriyorsa bir liste kutusuna tıklayarak genişletin, ardından istediğiniz seçimleri yapın.

Verileri Catalog'a aktarma

Ayrıntılı analizinde kullanılan verileri kataloğa aktarabilirsiniz. Veriler Qlik Cloud Analizleri içindeki bir alana aktarılır. Özel analiz için kendi Qlik Sense uygulamalarınızı oluşturmak üzere dışa aktarılan verileri kullanabilirsiniz.

Daha fazla bilgi için bk. Model eğitim verilerini dışa aktarma.

Tahmin doğruluğunu analiz etme

Tahminlerin doğruluğunun nasıl yorumlanacağı, eğitim veri kümenizin yapısına ve makine öğrenimi kullanım durumunuza bağlı olacaktır. Ek olarak, bu görselleştirmelerin yorumu, model türüne bağlıdır. Aşağıdaki bölümlerde her model türü için daha fazla bilgi verilmiştir.

Modele genel bakış sayfasının Tahminler bölümü, modelin doğru ve yanlış yaptığı tahminlerin sayısına genel bir bakış sağlar.

Tahminler ve özellik dağılımı sayfasını kullanarak tahmin hatalarının doğasını analiz etmek için belirli bir özelliğe odaklanın. Sayfanın sol tarafındaki filtre bölmesinde tek bir özellik seçin. Tüm model türleri için bu sayfa, verilere anlam kazandırmaya yardımcı olmak üzere tahmin hatalarını ve gerçek veri dağıtımını yan yana gösterir.

İkili sınıflandırma modelleri

Modelin tamamını analiz etme

Modele genel bakış sayfasının Tahminler bölümünde karmaşıklık matrisinde tanımlanan ham veriler gösterilir. Buna, gerçek pozitif, hatalı pozitif, gerçek negatif ve hatalı negatif değerler dahildir. Bu değerler, istatistik toplamları olarak sunulur, bu nedenle seçimlere karşılık vermezler. Bu değerlerin ne anlama geldiği hakkında daha fazla bilgi almak için bk. Karmaşıklık matrisi.

Verilerin alt kümelerini analiz etme

Tahminler ve özellik dağılımı sayfasında Yanlış tahmin edilen grafiği, modelin yaptığı yanlış tahmin sayısına karşılık gelen sütunun yüksekliğiyle özellikteki her olası özellik değeri veya aralık için bir sütun gösterir. Sütundaki her bir renk, gerçek hedef değerlerinin her birine karşılık gelir. Tahmin doğruluğunun farklı veri alt kümeleri için nasıl farklılık gösterdiğini görüntülemek üzere tek bir özellik ve diğer istenen alanlardan değerler seçin.

Çok sınıflı sınıflandırma modelleri

Modelin tamamını analiz etme

Modele genel bakış sayfasının Tahminler bölümünde, gerçek hedef değerlerin her biri için bir sütun içeren bir sütun grafik gösterilir. Bir sütunda her bir sütununun yüksekliği, belirli bir sınıfın model tarafından kaç kez tahmin edildiğini gösterir. Bu grafiğe ek olarak Tahminler bölümü de doğru değerler ile yanlış tahminlerin bir dökümünü gösterir.

Verilerin alt kümelerini analiz etme

Tahminler ve özellik dağılımı sayfasında Yanlış tahmin edilen grafiği, modelin yaptığı yanlış tahmin sayısına karşılık gelen sütunun yüksekliğiyle özellikteki her olası değeri veya aralık için bir sütun gösterir. Sütundaki her bir renk, gerçek hedef değerlerinin her birine karşılık gelir.

Regresyon modelleri

Regresyon modelleri için aşağıdaki bilgileri hem model hem özellik düzeyinde görüntüleyebilirsiniz:

• Hedef için ortalama tahmin edilen değer

• Gerçek hedef değer

• Doksanıncı ve onuncu yüzde tahmin aralıkları. Bu çizgiler, modelin bir değer tahmin etmesini bekleyebileceğiniz aralıklardır. Doksanıncı yüzde çizgisi her zaman daha büyük değerlere sahip çizgi olacaktır.

• Ortalama mutlak hata (MAE)

Hem model genelinde hem özelliğe özgü görselleştirmelerde metrikleri özellik için gerçek değer dağıtımla birlikte analiz edin.

Özellik önemini analiz etme

Bir genel bakışa erişme

Özellik önemini analiz etmek size her bir özelliğin diğer özelliklere nispeten tahminleri nasıl etkilediğine dair bir gösterge verir.

Modele genel bakış sayfasının Özellik etkisi bölümü, ortalama mutlak SHAP değerlerine genel bir bakış sağlar. Bu grafik, Modeller sekmesindeki SHAP önemli grafiği ile aynı görünür. Grafik, yaptığınız seçimlere göre güncellenir. Tek bir özelliği seçtiğinizde belirli değerleri ve aralıkları daha ayrıntılı bir şekilde inceleyebilirsiniz.

SHAP dağıtımını analiz etme

Her özellik değeri veya aralığı için SHAP değerlerine dair daha kapsamlı bir genel bakış elde etmek üzere Özelliğe göre etki sayfasını da açabilirsiniz. SHAP değerleri, mutlak değerler yerine yön olarak sunulur.

Bu analiz, verilerdeki aykırı değerleri bulmanın yanı sıra belirli topluluklardaki desenleri tanımlamanıza yardımcı olabilir. Daha ayrıntılı bir analiz için verileri filtrelemek üzere grafikteki değerleri veya aralıkları seçin.

Grafiğin görünümü ve türü, seçtiğiniz özelliğin türüne bağlıdır.

Kategorik özellikler

Kategorik özellikler, kutu çizimi olarak görselleştirilir. Kutu çizimi, her bir kategorik değer için SHAP değerlerinin dağıtımını görmenize yardımcı olur. Kutu çizimi aşağıdaki yapılandırmaya sahiptir:

• Ortalama SHAP değerlerini gösterir.

• Standart (Tukey) yapılandırması kullanılır:

  • Bir değerin kutusu, birinci çeyrek (alt uç) ve üçüncü çeyrek (üst uç) ile tanımlanır.

  • Ortanca değer, kutunun içindeki yatay çizgidir.

• Üst ve alt yatay çizgiler, 1,5 çeyrek içi aralığın üst ve alt sınırlarına karşılık gelir.

• Aykırı değerler gösterilmez.

Sayısal özellikler

Sayısal özellikler için SHAP değerleri, dağılım çizimi şeklinde görselleştirilir. Dağılım çizimi aşağıdaki yapılandırmaya sahiptir:

• Seçilen örnek için SHAP değerleri gösterilir.

• Dağılım çiziminin görünümü ve tarzı, görüntülenecek veri noktalarının sayısına bağlıdır. Daha az sayıda veri noktası içeren grafikler için ayrı kabarcıklar gösterilir. Çok sayıda veri noktası içeren grafikler için kabarcıklar, her blokta kaç veri noktası olduğunu gösteren renklerle bloklar halinde toplanır.

Dağılım çiziminde daha yakından incelemek için belirli değerleri veya aralıkları seçin.