Akıllı model optimizasyonu
Akıllı model optimizasyonu, bir deneyde eğittiğiniz modellerin otomatik olarak iyileştirilmesini sağlar. Akıllı model optimizasyonu ile özellik seçimini yineleme ve gelişmiş dönüşümleri uygulama süreçleri sizin yerinize gerçekleştirilir. İlgili tüm özellikleri içeren iyi hazırlanmış bir eğitim veri kümesiyle, akıllı model optimizasyonunun tek bir sürüm içinde dağıtıma hazır modeller eğitmesini bekleyebilirsiniz.
Akıllı model optimizasyonu nedir?
Akıllı model optimizasyonu, model iyileştirme sürecinin birçok yönünü otomatikleştirir. Akıllı model optimizasyonu ile özellik seçimini manuel olarak iyileştirmek veya giriş verilerinizi ayarlamak zorunda kalmadan yüksek kaliteli modelleri hızlıca eğitebilirsiniz.
Akıllı model optimizasyonunu kullanma
Akıllı model optimizasyonu, aşağıdaki türlere sahip yeni ML deneylerinde varsayılan olarak açıktır:
-
İkili sınıflandırma
-
Çok sınıflı sınıflandırma
-
Regresyon
Akıllı model optimizasyonu, zaman serisi deneyleri için geçerli değildir.
Çalıştırdığınız deneyin her bir sürümü için akıllı model optimizasyonunu açabilir veya kapatabilirsiniz.
Akıllı optimizasyon açıkken bir deney sürümünü çalıştırdıktan sonra, optimizasyonun sonuçları Model eğitimi özeti bölümünde görüntülenebilir. Bu özet, Model içgörüleri altındaki Modeller sekmesinde gösterilir. Detaylı bir açıklamayı içeren araç ipucunu görüntülemek için imlecinizi altı çizili terimlerin üzerine getirin.
The Model eğitimi özeti, bir deney sürümünde eğitilen her model için farklıdır.
Akıllı model optimizasyonu nasıl çalışır?
Akıllı model optimizasyonu ile:
-
Manuel optimizasyona göre daha fazla model eğitilir. Özellik seçimi model düzeyinde gerçekleştirilir. Bu, manuel optimizasyonun aksine, bir sürümdeki her modelin farklı özellik seçimine sahip olabileceği anlamına gelir.
-
Varsayılan olarak tüm modellere uygulanan otomatik ön işlemeye ek olarak, eğitim verileri birkaç gelişmiş dönüşümle işlenir. Bu dönüşümler, verilerinizin makine öğrenimi algoritmaları için en uygun biçimde olmasını sağlamaya yardımcı olur.
-
Kalite güvencesi için, sürüm için yapılandırdığınız tüm özellik kümesi üzerinde eğitilen bir model olan temel model yine de eğitilir. Bu, akıllı optimizasyonun aslında model puanlarını iyileştirip iyileştirmediğini kontrol etmeye yardımcı olur.
-
Daha büyük eğitim veri kümeleri için modeller çeşitli örnekleme oranlarında eğitilir. Bu, eğitim sürecini hızlandırmaya yardımcı olur. Daha fazla bilgi için bkz. Eğitim verilerinin örneklenmesi.
Eğitim verilerinin örneklenmesi
Büyük miktarda veriyle modelleri eğitirken Qlik Predict orijinal veri kümesinin çeşitli alt kümelerinde (örnekleme oranları) modelleri eğitmek için örneklemeyi kullanır. Örnekleme, eğitim sürecini hızlandırmak için kullanılır. Eğitimin başlangıcında modeller küçük bir örnekleme oranında eğitilir. Eğitim devam ettikçe modeller kademeli olarak verilerin daha büyük bölümlerinde eğitilir. Sonunda modeller tüm veri kümesinde (%100 örnekleme oranı) eğitilir.
Model eğitim verilerinin analizi sırasında, eğitim veri kümesinin %100'ünden daha azıyla eğitilen modeller bazı görünümlerden gizlenir.
Akıllı model optimizasyonu sırasında uygulanan işlemler
The Model eğitimi özeti, eğitim verilerinin akıllı model optimizasyonu tarafından nasıl işlendiğini gösterir. Aşağıdaki bölümler, günlükte gördüğünüz öğelerin her biri hakkında daha fazla ayrıntı içerir.
Uygulanan işlem modele göre farklılık gösterebilir.
Modeller sekmesinde gösterilen, bir modele ait Model eğitimi özeti grafiği
Özellik seçimi
Akıllı model optimizasyonu, tahmine dayalı performansı düşürebilecek özellikleri çıkararak modellerinizi iyileştirmeye yardımcı olur. Akıllı model optimizasyonu sırasında, aşağıdaki nedenlerden herhangi biriyle bir özellik çıkarılabilir:
-
Hedef sızıntısı: Özelliğin hedef sızıntısından etkilendiğinden şüpheleniliyor. Hedef sızıntısından etkilenen özellikler, tahmin etmeye çalıştığınız hedef sütun hakkında bilgiler içerir. Örneğin özellik, doğrudan hedeften türetilmiştir veya tahmin anında bilinmeyecek bilgiler içerir. Hedef sızıntısına neden olan özellikler, model performansı hakkında size yanlış bir güven hissi verebilir. Gerçek dünyadaki tahminlerde, modelin çok düşük performans göstermesine neden olurlar.
-
Düşük permütasyon önemi: Özelliğin model tahminleri üzerinde varsa bile çok az etkisi vardır. Bu özelliklerin kaldırılması, istatistiksel gürültüyü azaltarak model performansını artırır.
-
Yüksek derecede korelasyonlu: Özellik, deneydeki bir veya daha fazla diğer özellikle yüksek derecede korelasyonludur. Çok yüksek derecede korelasyonlu olan özellikler, eğitim modellerinde kullanılmaya uygun değildir.
Deney içindeki Veri sekmesinde, her model için çıkarılan özellikler hakkındaki içgörüleri görüntüleyebilirsiniz. İçgörüler ayrıca akıllı model optimizasyonu sürecinin dışında çıkarılan özelliklere de atıfta bulunur. Her bir içgörü hakkında daha fazla bilgi için bkz. Veri kümesi içgörülerini yorumlama.
Özellik dönüşümleri
Akıllı model optimizasyonu, özellik düzeyinde bir dizi teknik dönüşüm uygular. Bu dönüşümler, güvenilir bir makine öğrenimi modeli oluşturmak için eğitim verilerinizi daha etkili bir şekilde kullanılabilecek şekilde işler. Özellik dönüşümleri gerektiğinde otomatik olarak uygulanır. Model eğitimi özeti bölümünde, özellik dönüşümleri uygulandığında ve hangi özelliklerin etkilendiği konusunda bilgilendirilirsiniz.
Güç dönüşümü
Özellik verileri genellikle doğal olarak bir dereceye kadar asimetri ve normal dağılımdan sapma içeren dağılımlara sahiptir. Bir modeli eğitmeden önce, aşırı çarpık görünüyorlarsa değer dağılımlarını normalleştirmek için verilere bazı işlemler uygulamak yararlı olabilir. Bu işlem, yanlılığı azaltmaya ve aykırı değerleri belirlemeye yardımcı olur.
Akıllı model optimizasyonu ile, belirli bir çarpıklık eşiğini aşan sayısal özellikler, güç dönüşümleri kullanılarak daha normal (veya normal benzeri) bir dağılıma sahip olacak şekilde dönüştürülür. Spesifik olarak, Yeo-Johnson Güç Dönüşümü kullanılır.
Sayısal özelliklerin gruplanması
Belirli sayısal özellikler, makine öğrenimi algoritmaları tarafından kolayca işlenemeyen kalıplar ve dağılımlar içerebilir. Akıllı model optimizasyonu ile bu durum, kısmen belirli sayısal özelliklerin verilerinin değer aralıklarına bağlı olarak farklı gruplara ayrılmasıyla çözülür. Gruplama, özelliklerin kategorik özelliklere dönüştürülebilmesi için gerçekleştirilir.
Gruplama tamamlandıktan sonra, yeni kategorik özellikler one-hot encoded olarak kodlanır ve eğitimde kullanılır. One-hot encoding hakkında daha fazla bilgi için bkz. Kategorik kodlama.
Satır düzeyinde ağırlıklandırma ve örnekleme
Anomali tespiti ve işleme
Anomaliler, makul olarak düşmelerini beklediğiniz aralığın dışında görünen veri değerleridir. Eğitim verilerinizde bazı aykırı değerlerin bulunması alışılmadık bir durum değildir. Hatta bazı anomaliler, gerçek dünyadaki olasılıkları yansıtmanın bir yolu olarak istenebilir. Diğer durumlarda anomaliler, güvenilir bir model eğitme yeteneğini engelleyebilir.
Akıllı model optimizasyonu ile Qlik Predict potansiyel anomalileri tanımlar. Aykırı değerlerin göründüğü satırlar daha sonra algoritma destekli bir ağırlıklandırma sistemiyle işlenir. Bir değerin anomali olduğundan güçlü bir şekilde şüpheleniliyorsa, ağırlıklandırma sistemi ilgili satırın eğitim verilerinde model üzerindeki etkisini azaltır.
Modeliniz eğitildikten sonra, orijinal eğitim veri kümesinden anomali veri olarak işlenen satırların yüzdesi size bildirilir.
Daha fazla bilgi için bkz. Anormallik algılama ve işleme.
Sınıf dengeleme
Eğitim veri kümenizde, belirli bir değerin (sınıfın) diğerlerinden daha fazla ortaya çıkması mümkündür. Bu durum sınıf dengesizliği olarak bilinir. Verilerinizde sınıf dengesizliği olduğunda, ortaya çıkan modeller çoğunluk sınıfı hakkında azınlık sınıfına göre daha fazla şey öğrenir ve bu da tahmin doğruluğunu etkiler.
Akıllı model optimizasyonu ile Qlik Predict, ikili sınıflandırma modelleri için otomatik sınıf dengeleme gerçekleştirir. Sınıf dengesizliği, hedef sütundaki iki sınıf için değer dağılımı karşılaştırılarak tespit edilir. Spesifik olarak, iki sınıf arasındaki oran şu şekilde olduğunda gerçekleştirilir:
-
Satırların %95'i (veya daha fazlası) bir sınıfı içerir
-
Satırların %5'i (veya daha azı) diğer sınıfı içerir
Sınıf dengeleme sırasında, sınıf dağılımını iyileştirmek için eğitim verileri aşırı örneklenir. Süreç yinelemelidir; model performansı için en uygun dengeyi bulmak amacıyla bir dizi farklı çıktı oranı denenir.
Aşırı örneklemeden sonra, aşırı örneklenen veri kümesi deney sürümündeki modelleri eğitmek için kullanılır.
Sınıf dengeleme hakkında daha genel bilgi için bkz. Sınıf dengeleme.
Akıllı optimizasyonu kapatma
Akıllı optimizasyon kapatıldığında, eğitimi manuel olarak optimize edersiniz. Eğitim süreci üzerinde daha fazla kontrole ihtiyacınız varsa manuel optimizasyon yardımcı olabilir. Özellikle, akıllı model optimizasyonu ile bir sürüm çalıştırmak isteyebilir, ardından küçük bir dizi manuel ayarlama yapmanız gerekirse ayarı kapatabilirsiniz.
Aşağıdakileri yapın:
-
Bir deneyde,
Yapılandırmayı görüntüle seçeneğine tıklayın.Deney yapılandırma paneli açılır.
-
Deneyin en az bir sürümünü zaten çalıştırdıysanız Yeni sürüm oluştur seçeneğine tıklayın.
-
Panelde, Model optimizasyonu bölümünü genişletin.
-
Akıllı seçeneğinden Manuel seçeneğine geçiş yapın.
Dikkat edilecek noktalar
Akıllı model optimizasyonu ile çalışırken aşağıdakileri göz önünde bulundurun:
-
Akıllı model optimizasyonunu kullanmak, eğitiminizin yüksek kaliteli modeller üreteceğini garanti etmez. Veri kümesi hazırlama ve deney yapılandırma aşamaları da güvenilir modeller üretmek için gereklidir. İyi hazırlanmış bir veri kümeniz yoksa veya yapılandırmanızda temel özellikler eksikse, modellerinizin üretim kullanım örneklerinde iyi performans göstereceği garanti edilmez. Bu aşamalar hakkında daha fazla bilgi için bkz.:
-
Bir sürüm için akıllı model optimizasyonu açıldığında, bu sürümdeki her model ayrı bir dahil edilen özellikler kümesine sahip olacaktır. Diğer yandan, manuel optimizasyonla eğitilen bir sürümdeki tüm modeller aynı dahil edilen özellikler kümesine sahip olacaktır.
-
Akıllı model optimizasyonu yalnızca sürümün yapılandırmasına dahil ettiğiniz özellikleri ve algoritmaları kullanır.
Hiperparametre optimizasyonu
Akıllı model optimizasyonu açıkken hiperparametre optimizasyonu kullanılamaz. Hiperparametre optimizasyonunu etkinleştirmek için model optimizasyonunu Manuel olarak ayarlamanız gerekir.
Daha fazla bilgi için bkz. Hiperparametre optimizasyonu.
Örnek
Akıllı model optimizasyonunun faydalarını gösteren bir örnek için bkz. Öğretici – Tahmin verilerini üretme ve görselleştirme.