Toplu boyutun yalnızca performans için olduğunu düşündüm. Parti ne kadar büyükse, ağımı eğitmek için daha fazla görüntü aynı anda hesaplanır. Ama fark ettim ki, parti büyüklüğümü değiştirirsem net doğruluğum daha iyi olur. Bu yüzden parti büyüklüğünün ne olduğunu anlamadım. Birisi bana parti büyüklüğünün ne olduğunu açıklayabilir mi?Caffe veya convnets'te toplu boyut nedir?
Caffe, Stochastic-Gradient-Descend (SGD) kullanarak eğitilmiştir: yani, her yinelemede, eğitim verisi (w.r.t) parametrelerinin (stokastik) gradyanını hesaplar ve gradyan yönünde bir hareket (= parametreleri değiştirir) yapar.
Şimdi, gradyan denklemlerini yazarsanız, w.r.t. eğitim verileri Renk geçişi hesaplamak için tam her tekrarında de tüm antrenman bilgilerinizi değerlendirmek gerektiğini fark edeceksiniz: Bu engelleyici zaman alıcı, eğitim verileri daha büyük ve daha büyüyor özellikle.
Bunun üstesinden gelmek için, SGD tam gradiyeyi stokastik bir şekilde yaklaşık örnekleme tarafından her bir yinelemede eğitim verilerinin sadece küçük bir kısmına yaklaştırır. Bu küçük bölüm parti. Bu nedenle, parti boyutu ne kadar büyükse, her yinelemede degrade tahmini daha doğru olur.
TL; DR: parti boyutu parti boyutu nedenle optimizasyon alır "yol" etkileyen ve eğitim sürecinin sonuçlarını değiştirebilecek değişen, her tekrarda tahmin gradyan doğruluğunu etkileyebilir.
@ Shai - Yani 'parti boyutu' küçük veya büyük olmalı? “Verileri beklemek” için çok zaman harcadım ve aynı zaman için AlexNet'in eğitim süremi etkiliyor, birbiri ardına iki kez koştum. –
Bildiğim kadarıyla, toplu boyut, makine önceden getirilen verilerle hesaplama işi yaparken sabit diskten alınan görüntülerin boyutudur. Bu teknikle, Caffe bir şekilde sabit diskten okuma süresini telafi etmeye çalışır. – Saeed
Ancak, parti büyüklüğümü değiştirirsem daha iyi bir doğruluk elde ederim. Ben bunu anlamadım. – Pasdf