Güçlendirme öğrenme algoritmaları için verilerin verimli beslenmesi

Question

Şu anda TensorFlow'da derin çift Q öğrenme algoritmasını uyguluyorum. NumPy dizilerine dayalı bir deneyim tekrar arabellek var. Ancak, bazı performans analizleri, NumPy dizilerinden verilerin feed_dict kullanılarak grafiğe beslenmesinin çok verimsiz olduğunu göstermektedir. Bu ayrıca https://www.tensorflow.org/performance/performance_guide belgelerinde de belirtilmiştir.

Beslemenin daha verimli bir şekilde yapılabileceği konusunda bir öneri var mı? Statik veri kümeleriyle besleme, kayıt okuyucular gibi giriş boru hatları ile yapılabilir. Ancak replay tamponunu deneyimleyin, zamanla değiştirin, bu tip beslemeleri daha zor hale getirin.

Herhangi bir cevap büyük beğeni topluyor, teşekkür ederim!

Answer 1

Kısa yanıt, şeklindedir. Verileriniz minimum ayarlanmışsa ve benzersiz ise, hızı hızlandırmanın bir yolu yoktur. Verileriniz kaldırabileceğiniz bazı işten çıkarmalara veya gereksiz dekorasyona sahipse, bunu modelinize göndermeden önce çıkarın, ancak bunu zaten yaptığınızı ve verilerinizin her bir işlemde benzersiz olduğunu varsayarak, bu durumda hiçbir şey yoktur.) yapabileceğiniz şey.

Şebeke performansınızı iyileştirmek için yapabileceğiniz şeyler var dedik.

• Sizin Q-öğrenme algoritması temelde bir eşik geçmiş birikmiş hata olarak ağınıza kadar bir öğrenme aşaması yapmayın diyor ki, this paper uyarınca iyileştirilmesi mümkün olabilir.
• Bazı eğitim setlerini yeniden kullanıyorsanız veya tekrar oynatıyorsanız, hızlı bir şekilde oynatmak için antrenman verilerini GPU'ya yüklemek için bir yükleme aşaması kullanabilirsiniz.