Inception-v3 kullanarak RMSProp epsilon = 1

Question

Sadece Inception-v3 paper'u ve yazarlar tarafından yayınlanan eğitim kodunu okudum. RMSProp optimizasyonu ne zaman yapıldığını, yazarların epsilon=1 kullandığını buldum. Ancak, benim bilgime göre, insanlar genellikle 1e-10 veya bazı küçük değerleri kullanmışlar ve Tensorflow varsayılan değeri 1e-10 olarak ayarlamışlardır.

Benim sorum, epsilon'un optimizasyonu nasıl etkileyeceği? Neden bir epsilon = 1'e ihtiyacımız var? Teşekkür ederiz! Bu github issue sayesinde

Answer 1

ben değerini açıklayan bir yazı bulundu: başlangıç ​​v3 yazarlarından biri onlar zaman uyumsuz SGD ile eğitmek için bu kadar yüksek epsilonu ihtiyacı olduğunu açıklayan bu gönderide https://groups.google.com/a/tensorflow.org/d/msg/discuss/1JDPbuHN39w/AVXdYeaDCAAJ

ve düşük değerler aslında işe yarayabilecek bu Senkronizasyon SGD için daha iyi.