Veri katmanı normal hale getirilmeden katman normalleştirme katmanını kullanabilir miyim? Benzer etki/performans almayı bekleyebilir miyim? BöyleGirdi normalleştirmesi yerine toplu normalleştirme
fonksiyonel keras, şöyle olabilir bir şey:
x = Input (...)
x = Batchnorm(...)(x)
...
Yapabilirsin. Ancak, aktivasyon dağılımı stabilizasyonuna ek olarak, batchnorm ile ilgili güzel şey, ağın öğrendiği gibi ortalama ve std sapmanın muhtemelen göç etmesidir.
Etkili bir şekilde, giriş katmanından hemen sonra batchnorm ayarı veri ön işlemesi adımdır. Bazen çok fazla yardımcı olur (örneğin doğrusal regresyonda). Ancak, tüm eğitim örnekleminin ortalama ve varyansını bir defada hesaplamak daha kolay ve daha verimlidir. Batchnorm'ın performans açısından özgür olmadığını ve kötüye kullanmaman gerektiğini unutmayın.