2017-08-03 29 views
7

Tensorflow'da apply_gradients ve minimize arasındaki eniyileme arasındaki fark konusunda kafam karıştı. Örneğin,tensorflow'daki "apply_gradients" ve "en küçük duruma getirme" değerleri arasındaki fark

optimizer = tf.train.AdamOptimizer(1e-3) 
grads_and_vars = optimizer.compute_gradients(cnn.loss) 
train_op = optimizer.apply_gradients(grads_and_vars, global_step=global_step) 

ve

optimizer = tf.train.AdamOptimizer(1e-3) 
train_op = optimizer.minimize(cnn.loss, global_step=global_step) 

onlar gerçekten aynı mıdır?

Öğrenme hızını öğrenmek için öğrenme oranını azaltmak isterseniz, aşağıdaki kodları kullanabilir miyim?

global_step = tf.Variable(0, name="global_step", trainable=False) 
starter_learning_rate = 1e-3 
learning_rate = tf.train.exponential_decay(starter_learning_rate, global_step, 
             100, FLAGS.decay_rate, staircase=True) 
# Passing global_step to minimize() will increment it at each step. 
learning_step = (
    optimizer = tf.train.AdamOptimizer(learning_rate) 
    grads_and_vars = optimizer.compute_gradients(cnn.loss) 
    train_op = optimizer.apply_gradients(grads_and_vars, global_step=global_step) 
) 

Yardımlarınız için teşekkürler!

cevap

6

https://www.tensorflow.org/get_started/get_started (tf.train API kısmı) aslında aynı işi yaptıklarını kolayca öğrenebilirsiniz. Farkı şu: eğer ayrılmış işlevleri kullanırsanız (tf.gradients, tf.apply_gradients), degrade kırpma gibi aralarında başka bir mekanizma uygulayabilirsiniz.

+0

Bunun daha iyi açıklandığı dokümanlardaki bir bağlantı https://www.tensorflow.org/api_docs/python/tf/train/Optimizer. –

İlgili konular