TensorFlow'da ağırlık maliyeti nasıl ayarlanır?

Question

Derin öğrenme projemle TensorFlow'u kullanmaya çalışıyorum.

Momentum Gradyan Descent'i kullandığımda, ağırlık maliyeti nasıl ayarlanır?
(Bu λ, bu formula.)

Answer 1

Ağırlık maliyeti/azalması terimi, TensorFlow'daki iyileştiricilerin bir parçası değildir.

ağırlıklar L2 kaybı ile maliyet işlevine ilave ceza ekleyerek, ancak, dahil etmek kolaydır:

C = <your initial cost function> 
l2_loss = tf.add_n([tf.nn.l2_loss(v) for v in tf.trainable_variables()]) 
C = C + lambda * l2_loss 

tf.nn.l2_loss(v)link sadece 0.5 * tf.reduce_sum(v * v) ve tek tek ağırlıklar için gradyanlar eşit olacaktır Bağlantılı denkleminize eşdeğer olan lambda * w'a.