Açıklama: L1 Düzenlemesi özellikleri otomatik olarak nasıl seçer?

Özellik seçimi, verilen bir özellik kümesinden optimum bir özellik alt kümesini seçme sürecidir; En uygun alt küme, verilen görevde modelin performansını en üst düzeye çıkaran alt kümedir.

Özellik seçimi manuel bir süreç olabilir veya daha doğru bir ifadeyle, filtreleme veya sarmalama yöntemleri kullanılarak gerçekleştirildiğinde açık bir süreç olabilir. Bu yöntemlerde, özellikler, tahminlerde bulunmada özelliğin önemini belirleyen sabit bir ölçüt değerine bağlı olarak tekrar tekrar eklenir veya kaldırılır. Bu ölçütler bilgi kazancı, varyans veya ki-kare istatistiği olabilir ve algoritma, ölçüt üzerindeki sabit bir eşiğe bağlı olarak bir özelliği kabul edip etmeyeceğine karar verir. Bu yöntemlerin model eğitim aşamasının bir parçası olmadığını ve önceden gerçekleştirildiğini belirtmek önemlidir.

Gömülü yöntemler, önceden tanımlanmış herhangi bir seçim kriteri kullanmadan özellikleri örtük olarak belirler ve bunları eğitim verilerinin kendisinden çıkarır. Bu içsel özellikleri belirleme süreci, model eğitim aşamasının bir parçasıdır. Model, özellikleri belirlemeyi ve ilgili tahminleri eş zamanlı olarak yapmayı öğrenir. Sonraki bölümlerde, içsel özellikleri belirleme sürecinde düzenlemenin rolünü, özellikle L1 düzenlemesine ve makine öğrenimi modellerini iyileştirmedeki rolüne odaklanarak açıklayacağız.

Normalizasyon ve Model Karmaşıklığı: Performansı İyileştirmek İçin Gelişmiş Stratejiler

Düzenleme, aşırı uyumu önlemek ve göreve genelleme sağlamak için model karmaşıklığını cezalandırma sürecidir.

Burada, modelin karmaşıklığı, eğitim verilerindeki kalıplara uyum sağlama yeteneğiyle benzerlik göstermektedir. ' x ' değişkenine bağlı, ' d ' dereceli basit bir polinom modeli varsayarsak, polinomun derecesi ' d ' ne kadar yüksek olursa, model gözlemlenen verilerdeki kalıpları yakalamada o kadar esnek hale gelir. Bu artan esneklik, modelin gerçek kalıpları öğrenmek yerine eğitim verilerini ezberlemesine ve böylece yeni verilere genelleme yeteneğini azaltmasına yol açabilir.

Aşırı Uyum ve Yetersiz Uyum

Üçüncü dereceden bir polinomdan türetilen ve bir miktar gürültü içeren bir eğitim örnekleri kümesine d = 2 dereceli bir polinom modeli uydurmaya çalışırken , model örnek dağılımını yeterince yakalayamayacaktır. Model, üçüncü dereceden (veya daha yüksek) polinomlar tarafından üretilen verileri modellemek için gerekli esnekliğe veya karmaşıklığa sahip değildir. Bu modelin eğitim verilerine yetersiz uyum sağladığı söylenir . Yetersiz uyum, modelin çok basit olduğunu ve verilerdeki temel kalıpları yakalayamadığını gösterir.

Aynı örnek üzerinden devam edelim ve şimdi d = 6 dereceli bir modelimiz olduğunu varsayalım. Artan karmaşıklıkla birlikte, modelin verileri oluşturmak için kullanılan orijinal kübik polinomu kolayca tahmin etmesi gerekir (örneğin, üsleri > 3 olan tüm terimlerin katsayılarını 0'a ayarlayarak). Eğitim süreci zamanında sonlandırılmazsa, model hatayı daha da azaltmak için ekstra esnekliğini kullanmaya devam edecek ve gürültü örneklerini de toplamaya başlayacaktır. Bu, eğitim hatasını önemli ölçüde azaltacaktır, ancak model artık eğitim verilerinin aşırı yüklenmesinden muzdarip olacaktır . Gürültü gerçek dünya koşullarında (veya test sırasında) değişecek ve tahminlere dayalı herhangi bir bilgi bozulacak, bu da yüksek bir test hatasına yol açacaktır. Aşırı yüklenme, modelin çok karmaşık olduğu ve gerçek sinyal yerine gürültüyü öğrendiği anlamına gelir.

 

Modelin optimum karmaşıklığı nasıl belirlenir?

Pratik durumlarda, veri üretim süreci veya verilerin gerçek dağıtımı hakkında genellikle sınırlı veya hiç bilgimiz yoktur. Uygun karmaşıklığa sahip, aşırı veya yetersiz uyumun olmadığı optimum modeli bulmak önemli bir zorluktur. Bu, modellerin performansını değerlendirmek ve doğruluk ile genellik arasında en iyi dengeyi sağlayan uygun karmaşıklığı belirlemek için etkili yöntemlerin kullanılmasını gerektirir. Profesyoneller, çapraz doğrulama gibi uygun değerlendirme ölçütlerini ve tekniklerini kullanarak, görülmemiş veriler üzerinde en iyi performansı gösteren modeli belirleyebilir ve böylece aşırı veya yetersiz uyum sorunlarından kaçınabilirler.

 

Mümkün olan bir teknik, yeterince sağlam bir modelle başlamak ve daha sonra özellik seçimiyle karmaşıklığını azaltmaktır. Özellik sayısı ne kadar azsa model o kadar az karmaşıktır.

Önceki bölümde tartıştığımız gibi, özellik seçimi açık (filtreleme yöntemleri, evrişim yöntemleri) veya örtük olabilir. Hedef değişkenin değerini belirlemede çok önemli olmayan gereksiz özellikler, bunlarda model öğrenme ilişkisiz örüntülerinin oluşmasını önlemek için kaldırılmalıdır. Düzenleme de benzer bir görevi yerine getirir. Peki, düzenleme ve özellik seçimi, optimal model karmaşıklığı ortak hedefine ulaşmada nasıl bir ilişkiye sahiptir? Makine öğrenimi modellerindeki karmaşıklığı azaltmak, performansı iyileştirmek ve aşırı uyumu önlemek için çok önemlidir; bu, hem düzenlemenin hem de özellik seçiminin odaklandığı konudur.

 

L1 düzenlemesi bir özellik belirleyicisi olarak

Polinom modelimize devam ederek, onu x girdileri, θ katsayıları ve d derecesi ile f'nin bir fonksiyonu olarak temsil ediyoruz.

Polinom modeli için, giriş x_i'nin her bir kuvveti bir özellik olarak düşünülebilir ve aşağıdaki gibi bir vektör oluşturabilir:

Ayrıca, indirgenmesi ideal parametreler θ*' ya yol açan ve modelin karmaşıklığını cezalandıran düzenleme terimini içeren bir amaç fonksiyonu da tanımlıyoruz.

Bu fonksiyonun minimumunu bulmak için tüm kritik noktaları, yani türevin sıfır olduğu veya tanımsız olduğu noktaları analiz etmemiz gerekir.

Parametrelerden biri olan θj'ye göre kısmi türev şu şekilde yazılabilir:

sgn fonksiyonu aşağıdaki gibi tanımlanır :

Not : Mutlak değer fonksiyonunun türevi, yukarıda tanımlanan işaret fonksiyonundan (sgn) farklıdır. Orijinal türev x = 0 noktasında tanımsızdır. x = 0 noktasındaki büküm noktasını kaldırmak ve fonksiyonu tüm tanım kümesi boyunca türevlenebilir hale getirmek için tanımı genişletiyoruz. Ayrıca, makine öğrenimi (ML) çerçeveleri, temel aritmetik işlemler mutlak değer fonksiyonunu içerdiğinde bu genişletilmiş fonksiyonları kullanır. PyTorch forumundaki bu bağlantıya göz atın.

Amaç fonksiyonunun tek bir katsayı θj'ye göre kısmi türevini hesaplayıp sıfıra eşitleyerek, θj'nin en uygun değerini tahminler, amaçlar ve özelliklerle ilişkilendiren bir denklem oluşturabiliriz .

Yukarıdaki denklemi inceleyelim. Giriş ve hedef değerlerinin ortalama etrafında merkezlendiğini (yani verilerin ön işleme aşamasında standartlaştırıldığını) varsayarsak, sol taraftaki terim (LHS) aslında j numaralı özellik ile beklenen ve hedef değerler arasındaki fark arasındaki varyansı temsil eder.

 

İki değişken arasındaki istatistiksel kovaryans, bir değişkenin ikinci değişkenin değeri üzerindeki etki miktarını belirler (veya tersi).

Sağ taraftaki işaret fonksiyonu, sol taraftaki varyansın yalnızca üç değer almasını sağlar (çünkü işaret fonksiyonu yalnızca -1, 0 ve 1 değerlerini döndürür). Eğer j özelliği gereksizse ve tahminleri etkilemiyorsa, varyans sıfıra yakın olur ve bu da karşılık gelen katsayı θj*'nin sıfır olmasına neden olur. Bu durum, özelliğin modelden çıkarılmasıyla sonuçlanır. Bu işlem, karmaşıklığı azaltmaya ve model performansını iyileştirmeye yardımcı olur.

 

İşaretin işlevini suyun oyduğu bir oluk olarak düşünün. Dere yatağına doğru yürüyebilirsiniz, ancak dereden çıkmak için büyük bariyerlerle veya dik akıntılarla karşılaşacaksınız. L1 düzenlemesi, kayıp fonksiyonunun gradyanına benzer bir “eşik” etkisi yaratır. Eğimin bariyerleri yıkacak kadar güçlü olması veya sıfıra inmesi, en sonunda katsayı değerinin sıfır olmasını sağlaması gerekir.

Daha gerçekçi bir örnek vermek gerekirse, düz bir çizgiden türetilen örnekleri (iki faktörlü parametrelendirilmiş) ve biraz gürültü eklenmiş bir veri kümesini ele alalım. En uygun model iki parametreden fazlasına sahip olmamalıdır, aksi takdirde verilerdeki gürültüye aşırı uyum sağlar (polinomun ek özgürlüğü/gücüyle). Polinom modelindeki yüksek güç katsayılarının değiştirilmesi, hedefler ile model tahminleri arasındaki farkı etkilemez ve dolayısıyla bunların özellik ile olan varyansını azaltır.

Eğitim süreci sırasında kayıp fonksiyonunun gradyanına sabit bir adım eklenir/çıkarılır. Kayıp fonksiyonunun eğimi (MSE – ortalama kare hatası) sabit adımdan daha küçükse, katsayı sonunda 0 değerine ulaşacaktır. Aşağıdaki denklemde katsayıların eğim inişi kullanılarak nasıl güncellendiği gösterilmektedir:

Yukarıdaki mavi kısım , kendisi de çok küçük bir sayı olan λα'dan küçükse , Δθj yaklaşık olarak λα'nın sabit bir adımıdır . Bu adımın işareti (kırmızı kısım) , çıktısı θj'ye bağlı olan sgn(θj) 'ye bağlıdır. Eğer θj'nin değeri pozitifse, yani ε'den büyükse , sgn(θj) 1'e eşittir, bu da Δθj'yi yaklaşık olarak -λα'ya eşit hale getirir ve sıfıra doğru iter.

Katsayıyı sıfır yapan sabit adımı (kırmızı kısım) bastırmak için, kayıp fonksiyonunun gradyanı (mavi kısım) adım boyutundan büyük olmalıdır. Kayıp fonksiyonu için daha büyük bir eğim elde etmek için, özellik değerinin model çıktısını önemli ölçüde etkilemesi gerekir.

Bu sayede, eğitim sırasında özelliğin veya daha doğrusu ona karşılık gelen, değeri model çıktısıyla ilişkili olmayan parametrenin L1 düzenlemesi ile sıfırlanması sağlanıyor.

 

Daha fazla okuma ve sonuç

• Bu konu hakkında daha fazla bilgi edinmek için Reddit r/MachineLearning'de bir soru yayınladım veTakip et İçerisinde okumak isteyebileceğiniz farklı yorumlar da yer alıyor.

• Madiyar Aitbayev'in de ilginç blog Aynı soruyu, mühendislik açıklamasıyla ele alıyor.

• Blog Brian King organizasyonu olasılıkçı bir bakış açısıyla açıklıyor.

• bu النقاش CrossValidated web sitesinde L1 kriterinin neden seyrek modelleri teşvik ettiğini açıklıyor. Blog Mukul Ranjan'ın yazdığı detaylı bir makale, L1 normunun işlemlerin sıfır olmasını teşvik ederken, L2 normunun bunu yapmamasının nedenini açıklıyor.

“L1 düzenlemesi özellikleri seçer” ifadesi, iç işleyişine derinlemesine inmeden, çoğu makine öğrenimi öğrenicisinin hemfikir olduğu basit bir ifadedir. Bu blog, soruyu sezgisel olarak yanıtlamak için anlayışımı ve zihinsel modelimi okuyucularla paylaşma girişimidir. Öneriler ve sorularınız için e-posta adresimi web sitemde bulabilirsiniz . Öğrenmeye devam edin ve harika bir gün geçirin!