NN'yi R'de sıfırdan ileriye doğru derin bir ilerleme yaptım ve "sert sigmoid" aktivasyonları ile daha kararlı görünüyor - max (0, min (1, x)) - ReLU'dan. TensorFlow'a aktarmaya çalışıp, bu etkinleştirme işlevinin yerleşik olmadıklarını fark ettiler, sadece 6'da bir üst kesme kullanan relu6, bunun için bir neden var mı? (Ben relu6 (x * 6)/6 yapabileceğinizi anlıyorum, ancak TF adamlar 6'yı iyi bir sebeple buraya koyarlarsa, bilmek isterim.) Ayrıca, başkalarının olup olmadığını bilmek isterim. İleriye doğru besleme ağlarında ReLU ile patlama problemleri var (RNN sorunlarının farkındayım).Neden relu6'da 6?
cevap
this reddit thread Gönderen:
Bu sabit nokta çıkarım için ağlar hazır yapımında yararlıdır. Üst sınırın bağlantısını kaldırırsanız, Q.f sayısının Q bölüm 'a çok fazla bit kaybedersiniz. 6 ile sınırlandırılmış kaidelerini kapsar tutulması 6'ya göre seçilmiş sadece keyfi bir değerdir, onları .f
Daha sonra, görünüyor için 4/5 bit bırakarak (8 kadar) 3 bit max atalım olacak Ağınızın eğitimli parametrelerini sıkıştırmak istediğiniz bit sayısı. "Neden" in sadece 6 değerine sahip versiyonu uygulandığını farzediyorum, bunun en iyi kullanım durumu olan 8 bitlik en iyi değere sahip olması. Aşağıdaki kağıda
Tensorflows belgeleri (https://www.tensorflow.org/api_docs/python/tf/nn/relu6) puan:
, onlar farklı n en ile test edilmiş ve n = 6 onların TestSet için en iyi sonuçları var sanıyorum.... fonksiyonu y = dk eden relu aktivasyonu çok İlk olarak, 6., birimler kap (maks (x, 0 6). Testlerimizde, bu, önceki seyrek özellikleri öğrenmek için modeli teşvik eder. [8] 'in formülasyonunda, her bir ReLU ünitesinin, sonsuz bir miktardan sadece 6 çoğaltılmış bias-kaymalı Bernoulli ünitesinden, daha ziyade oluşmasından hayal ettiği eşdeğerdir. ReLU-n birimleri olarak n'de kapatılmış ReLU birimlerine değineceğiz.
http://www.cs.utoronto.ca/~kriz/conv-cifar10-aug2010.pdf
kağıt kaynaklandığı için
- 1. + ve ~ Perl 6 bağlantılarını neden farklı etkiler?
- 2. iPhone 6 ekran çözünürlüğüm neden farklı?
- 3. İzin Android'de çalışmaz 6
- 4. Neden OpenCV'nin kalibrasyon fonksiyonunda sadece 6 harici parametre var?
- 5. Neden splitViewController: collapseSecondaryViewController: ontoPrimaryViewController: iPhone 6 Plus'ta aranmıyor mu?
- 6. EF 6 - Dahil Ol Neden linq seçeneğim yok?
- 7. UIVisualEffectView iPhone 6 üzerinde çalışmıyor iPhone 6
- 8. Tomcat 6'daki uzaktan hata ayıklama 6
- 9. C 6. sözdizimi
- 10. Durum 6
- 11. iOS 6
- 12. İptal tuzak: 6
- 13. Garip davranışları 6
- 14. sun.net.www.http.HttpCatent bellek sızıntısı Tomcat 6
- 15. ASP.NET MVC 6 Denetleyicisi'nin JSON
- 16. Tomcat 6'dan Tomcat 6'ya geçiş Java web uygulaması EFS 6
- 17. iis 6 E-postaları nasıl devre dışı bırakırım 6
- 18. Sosyal eylem sayfası (gibi iOS 6 üzerinde) iOS 6 üzerinde
- 19. Görüntüyü Asp.Net Mvc 6'ya Dönüştürme Mkt 6
- 20. setSelectionIndicatorImage iPhone 6 ve iPhone 6+ için yanlış boyutta 0 +
- 21. Perl 6'da yalnızca 1 argümanı olan bir kurucu 6
- 22. yükleme ekran görüntüleri iPhone 6 için bağlanmak ve 6+
- 23. iAds, yeni iPhone 6 ve 6+ ile birlikte
- 24. nasıl AjaxRequest wicket 6
- 25. iOS 6 embed youtube
- 26. Java 6 Dosya Silme
- 27. Eksik Xcode 6 Docset
- 28. Xcode 6 beta
- 29. Tomcat 6 için JMS
- 30. WebApi 6 yanıt sarmalayıcısı
Stackoverflow'ta yeniyim, bu yüzden teşekkür etsem de emin değilim, ama yine de teşekkürler! – FaultyBagnose
Eğer bu soruya cevap verirse, lütfen sorunu çözülmüş olarak işaretleyin :) – GPhilo