TensorFlow: girişlerde degradeler alınırken yavaş performans

Question

TensorFlow ile basit bir çok katmanlı algılayıcı yapıyorum ve sinir ağının girişlerindeki kaymanın degradelerini (veya hata sinyalini) almam gerekiyor.

İşte çalışır benim kod verilmiştir:

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(self.network, self.y)) 
optimizer = tf.train.AdagradOptimizer(learning_rate=nn_learning_rate).minimize(cost) 
... 
for i in range(epochs): 
    .... 
    for batch in batches: 
     ... 
     sess.run(optimizer, feed_dict=feed_dict) 
     grads_wrt_input = sess.run(tf.gradients(cost, self.x), feed_dict=feed_dict)[0] 

son satırı (grads_wrt_input...) olmadan

(eğitim döngü içerecek şekilde düzenlenmiş), bu gerçekten hızlı bir CUDA makinede çalışır. Ancak, tf.gradients(), performansı on kat ya da daha fazla büyük oranda azaltır.

Geri tepme algoritmasında düğümlerdeki hata sinyallerinin ara değerler olarak hesaplandığını hatırlıyorum ve bunu başarıyla DeepLearning4j Java kütüphanesini kullanarak yaptım. Ayrıca, bu zaten optimizer tarafından yapılan hesaplama grafiği için hafif bir değişiklik olacağını izlenim altındaydı.

Bu nasıl daha hızlı yapılabilir veya kayıpların gradyanlarını hesaplamak için başka bir yol var mıdır? girişler?

Answer 1

tf.gradients() işlevi, her çağrıldığında yeni bir arka çoğaltma grafiği oluşturur, bu nedenle yavaşlamanın nedeni, TensorFlow'un, döngüdeki her yinelemede yeni bir grafiği ayrıştırması gerektiğidir. (Bu şaşırtıcı derecede pahalı olabilir: TensorFlow şu anki sürümü aynı grafiktir kez çok sayıda yürütülmesi için optimize edilmiştir.)

Neyse çözelti kolaydır: döngü dışında, bir kez gradyanlarını hesaplamak. aşağıdaki gibi kodunuzu yeniden yapılandırabilir:, performans için, ben de iki sess.run() aramaları kombine

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(self.network, self.y)) 
optimizer = tf.train.AdagradOptimizer(learning_rate=nn_learning_rate).minimize(cost) 
grads_wrt_input_tensor = tf.gradients(cost, self.x)[0] 
# ... 
for i in range(epochs): 
    # ... 
    for batch in batches: 
     # ... 
     _, grads_wrt_input = sess.run([optimizer, grads_wrt_input_tensor], 
             feed_dict=feed_dict) 

Not. Bu, ileri yayılımın ve geri yayılmanın çoğunun yeniden kullanılmasını sağlar. As

---

bir bu eğitim döngü başlamadan önce tf.get_default_graph().finalize() çağırmak gibi bir kenara, bir ucu performans hataları bulmak için. Bu, herhangi bir düğümün grafiğe istemeyerek eklenmesi durumunda, bu hataların nedenini izlemeyi kolaylaştıran bir istisna oluşturacaktır.