Skip to main content

Basamak Korelasyon Sinir Ağı-Bölüm 4-

Genetik Basamak Korelasyon Öğrenme Algoritması

Genetik algoritmalar, doğal seçim ilkelerine dayanan bir arama ve optimizasyon yöntemidir. Temel ilkeleri John Holland (1975) tarafından ortaya atılmıştır. Geleneksel optimizasyon yöntemlerine göre farklılıkları olan genetik algoritmalar, parametre kümesini değil kodlanmış biçimlerini kullanırlar. Olasılık kurallarına göre çalışan genetik algoritmalar, yalnızca amaç fonksiyonuna gereksinim duyar. Çözüm uzayının tamamını değil belirli bir kısmını tararlar. Böylece, etkin arama yaparak çok daha kısa bir sürede çözüme ulaşırlar (Goldberg, 1989). Diğer bir önemli üstünlükleri ise çözümlerden oluşan populasyonu eş zamanlı incelemeleri ve böylelikle lokal en iyi çözümlere takılmamalarıdır (Emel ve Taşkın, 2002).

Quickprop algoritması yerine kullanılan genetik algoritması da geri yayılımlı algoritmaya karşın bazı avantajları mevcuttur. Özellikle,  bu iki algoritmada lokal minimuma yakınsama olasılığını azaltmayı ve gradyan bilgisi olmamasına karşın uygulamayı desteklemeyi içerir. Fahlman gradyan inişi potansiyel problemde lokal minimum çözümü yakınsamasında korelasyonda basamak korelasyonu aday birimlerin olduğu popülasyonun eğitiminde en fazla ilişkili olanı seçer ve ağa onu ekler ve bunun için küçük bir popülasyon-4 ila 8 birim- kullanırken hiçbirinin birbirleriyle iletişime geçmemesini sağlar. Genetik algoritmalar genellikle çok daha büyük nüfusları korur ve çapraz rekombinasyon operatörü aracılığıyla bireylerin etkileşimini kullanır (Potter, 1992).

(daha&helliip;)

Devamını Oku

Basamak Korelasyon Sinir Ağları Türleri-Bölüm3

Tekrarlı Basamak Korelasyon Sinir Ağları

Eğer örneklerin sırası belirli bir modelse, rekurrent (tekrarlı) sinir ağları (RSA) ileri beslemelerden daha iyi probleme uyumlu olabilir. RSA güncel olan veya önceki katmanlara doğru geri beslemeli bağlantılara sahiptir, böylece veri ağ içerisinde yayılabilir. Bu verileri kullanarak giriş ve çıkış modellerinin tanıma yetisi kısa bir zaman diliminde simule edilebilir. Ne yazık ki genel bir RSA için etkili bir öğrenme algoritması bulunmamaktadır. Fahlman (1991) tarafından yayımlanan makalesinde belirtildiği üzere, sadece bazı rekurrent mimari öğrenme metodları rekurrent basamak korelasyon mimarisinin de içinde yer aldığı etkili öğrenme metodlarına sahiptir (Fahlman, 1991). Çünkü Basamak korelasyon sinir ağı (BKSA) eğitimi dondurulan bir nöronun ağırlıkları değişmez, yeni aday nöronlar aktif nöronlara doğru bağlantılara geri besleme yapamazlar. Böylece tek seçenek, Rekurrent Basamak Korelasyon (RBK) tarafından uygulanan mimari, her bir nöron kendi-rekurrent (tekrarlı) bağlantısına (kendi çıkışı bir giriş değeri gibi davranır) sahip olduğu zaman ki bu aday öğrenme süresince eğitilebilir ve sonrasında dondurulur. Sonrasında nöronların hesaplama modeli şöyle değişir:

                                                               (1)

(daha&helliip;)

Devamını Oku

Basamak Korelasyon Sinir Ağları Türleri- Bölüm 2-

BASAMAK KORELASYON AĞI TANIMI    

Önceki yazıda basamak korelasyon ağının hangi problemlerin çözümü için ortaya çıktığı anlatılmıştır. Bundan dolayı, basamak korelasyon iki anahtar fikri birleştirir; ilki basamak mimarisi ki burada bahsi geçen gizli birimler ağa bir kez eklenir ve eklendiği zamanda değişmezler. İkinci önemli durum ise, öğrenme algoritmasıdır. Bu algoritma yeni gizli birimler yaratır ve yükler. Burada aslında yapılmak istenen şey her bir gizli birim için, yeni birimlerin çıkışı ile elimine edilmeye çalışılan artık hata sinyal değerinin korelasyon büyüklüğünü maksimize etmektir.

Basamak mimarisi Şekil 1 de görüldüğü üzere ilk önce bazı girişler ile bir veya daha fazla çıkışlar ile başlar ki bu arada gizli birimler yoktur. Giriş ve çıkış sayıları problem tarafından verilir. Her bir giriş her bir çıkış değerine ayarlanabilir bir ağırlık ile bağlıdır. Ve tabi ki bias girişi +1’e göre kalıcı olarak ayarlanır. Çıkış birimleri ağırlıklandırılmış girişlerin doğrusal olarak toplamını üretebilir veya doğrusal olmayan aktivasyon fonksiyonu çalıştırabilir.

Gizli birimler ağa teker teker eklenir. Her bir yeni gizli birim ağın her bir orijinal girişlerinden ve daha önceki gizli birimlerden bağlantı alır. Gizli birimlerin giriş ağırlıkları net’e eklendiği zaman donar; sadece çıkış bağlantılar tekrarlı olarak eğitilir. İçerdeki bazı ağırlıklar sıfır olmadıkça, her bir birim bu nedenle ağa yeni bir ‘katman’ ekler. Bu durum çok güçlü bir yüksek seviye özellik sezinleyicinin yaratılmasına olanak sağlar; ayrıca derin yapılara ve gizli birimlere yüksek giriş yelpazesi sağlar. Yeni birimler eklendikçe yapının (ağın) derinliği ve giriş yelpazesinin minimize edilmesine yönelik bazı stratejiler mevcuttur. Fahlman ve Lebiere bunun üzerine bazı çalışmalar yapmıştır.

Şekil 1 Basamak mimarisi (başlangıçtaki hali ve sonradan gizli birimlerin eklenmesini göstermektedir. Dik çizgiler içerideki tüm aktivasyon toplamını gösteriyor. Kutu bağlantılar ise donmuş halde olanlar, X bağlantılar ise tekrarlı eğitimlerdir) (Fahlman ve Lebiere, 1990)

(daha&helliip;)

Devamını Oku

Basamak Korelasyon Sinir Ağı

BASAMAK KORELASYON SİNİR AĞI (CASCADE CORRELATION NEURAL NETWORK)

Basamak Korelasyon ağı, yapay sinir ağları içerisinde yeni ve öğreticili/denetimli öğrenme algoritması olarak yer almaktadır.  Bir ağın içindeki sabit topoloji de ağırlıkları ayarlamak yerine, Basamak Korelasyon ilk önce minimum ağ ile başlar, sonra otomatik olarak eğitir ve yeni gizli birimleri tek tek ekleyerek çok katmanlı bir yapı oluşturur. Eğer yeni gizli birim ağa eklenirse, giriş tarafındaki ağırlıklar dondurulur. Eklenmiş olan bu birim kalıcı bir hal alarak ağda özellik sezinleyici (feature-detector) olur ki bu durum daha karmaşık özellik sezinleyiciler için yeni çıkışlar üretme veya yeni yaratımlar için, olanak sağlar. Basamak Korelasyon yapısı var olan diğer algoritmalara nazaran bazı avantajlara sahiptir: çabuk öğrenir, ağ boyutuna ve topolojisine kendi karar verir, eğitim kümesi değişse dahi kurulmuş olan yapı kendini korur ve ağın bağlantıları aracılığıyla hata sinyallerinin hiçbiri geri yayılım gerektirmez.

Geri Yayılımlı Öğrenme Neden Yavaş?

Basamak Korelasyon öğrenme algoritması geri yayılım öğrenme algoritmasının getirdiği problemler ve kısıtlamalar yüzünden geliştirilmiştir (Rumelhart, 1986). En önemli kısıtlamalardan bir tanesi geri yayılımın örneklerden öğrenmesi sırasında yavaş adımla gerçekleşmesi olayıdır. Basit bir kıyaslama problemlerinde bile, bir geri yayılım algoritması örneklerden istenen davranışı binlerce kez epok öğrenmesi gerektirir Bir epok (epoch) eğitim örneklem kümesi üzerinde tek bir geçiş olarak tanımlanır. Eğer örneklem kümesi ne kadar büyükse geçiş o kadar zaman almaktadır). Fahlman ve Lebiere 1990 yılında geri yayılım algoritmasının neden yavaş olduğunu sorgulamışlar ve analizleri sonucu iki önemli problemi ortaya çıkarmışlardır. Adım-büyüklüğü (step-size) problemi ile hareketli hedef (moving target) problemidir. Fahlman ve Lebiere tarafından da kabul edilen bir gerçek şu ki; geri yayılım algoritmasının yavaş olma problemine etki eden başka faktörlerin de bulunduğu ama henüz tespit edilemediğidir (Fahlman ve Lebiere, 1990).

(http://www.computerhope.com/jargon/b/bnn.htm, 2017)

(daha&helliip;)

Devamını Oku