Sigmoid işlevleri neden Sinir Ağları'nda çalışır?

Question

Sadece Neural ağları için programlama yapmaya başladım. Şu anda bir Backpropogation (BP) sinir ağının nasıl çalıştığını anlamaya çalışıyorum. BP ağlarında eğitim için algoritma oldukça basit olsa da, algoritmanın neden işe yaradığı konusunda herhangi bir metin bulamadım. Daha spesifik olarak, sinir ağlarında sigmoid fonksiyonlarını kullanarak haklı çıkarmak için bazı matematiksel akıl yürütmeyi ve onlara atılan neredeyse tüm veri dağılımlarını taklit eden şeyleri arıyorum.

Teşekkürler!

Answer 1

Sigmoid işlevi, ağda doğrusal olmayanlığı tanıtır. Doğrusal olmayan bir aktivasyon fonksiyonu olmadan, ağ sadece girdilerinin lineer kombinasyonları olan fonksiyonları öğrenebilir. Sonuç, 1989'da kendini kanıtlayan beyefendiden sonra universal approximation theorem veya Cybenko theorem olarak isimlendirilir. Wikipedia, başlamak için iyi bir başlangıç ​​noktasıdır ve orijinal kağıdın bir bağlantısı vardır (kanıt biraz olsa da). Bir sigmoidi başka bir şeye karşı kullanmanın nedeni, bunun sürekli ve farklılaştırılabilir olmasıdır, onun türevinin hesaplanması çok hızlıdır (benzer özelliklere sahip tanh türevinin aksine) ve sınırlı bir aralığa sahiptir. 1, özel)