TensorFlow

Question

'da matris çarpma işlevinin kullanımı TensorFlow işlevinde tf.matmul() işlevinin kullanımı hakkında biraz kafam karıştı. Benim sorum, derin öğrenme teorisi hakkında daha fazla olabilir. Bir girdi X ve ağırlık matrisi W (sıfır önyargılı varsayılarak) olduğunu varsayalım, WX'i tf.matmul(W, X) tarafından yapılabilecek bir çıktı olarak hesaplamak istiyorum. Ancak, MNIST for beginners dersinde tersine çevrilir ve bunun yerine tf.matmul(X, W) kullanılır. Diğer yandan, bir sonraki öğreticide TensorFlow Mechanics 101, tf.matmul(W, X) kullanılmaktadır. Matris büyüklükleri çarpma için önemli olduğundan, bu sorunu açıklığa kavuşturabilir miyim diye merak ediyorum.

Answer 1

TensorFlow hakkında pek bir şey bilmiyorum, ama sezgisel olarak karışıklığın girdi veri gösterimi ile ilgili olduğunu hissediyorum. X girişini W ağırlığındaki bir sayı ile çarpmak istediğinizi söylediğinizde, her bir boyutu (özelliği) karşılık gelen ağırlıkla çarpıp toplamı almak istediğinizi kastediyorum. x numaralı bir girdiniz varsa, m boyutlarına sahipseniz, w (m) değerleriyle bir ağırlık vektörüne sahip olmalısınız (önyargıyı düşünürseniz m+1). Eğer bir matris X sıraları gibi farklı eğitim örneklerini temsil seçerseniz

Şimdi, cevap için w^T * X

Answer 2

Bence mekaniği 101 öğretici yanlış yorumlamak gerekir - ya da belirli bir çizgiyi işaret edebilir misiniz? Genel olarak, bir ağ katmanı için, ağırlıkların "içinden aktığı" girdileri düşünürüm. Bunu temsil etmek için, o katmanın çıktısını üretmek üzere tf.matmul(Inputs, Weights) yazarım. Bu çıktının buna ek olarak bir bias (b) eklenebilir ve bunun sonucu, relu gibi doğrusal olmayan bir fonksiyona beslenir ve bir sonraki katman için girdi olarak başka bir tf.matmul verilir. İkinci olarak, Ağırlıklar matrisinin birden fazla çıktı üretmek için boyutlandırılabileceğini unutmayın. Bu yüzden bir matris, sadece bir vektör değil. Örneğin, iki gizli birim istediyseniz ve beş girdi özelliğiniz varsa, bunun gibi bir şekil [5, 2] ağırlık matrisini kullanacaksınız (örneğin, gösterim kolaylığı için numpy'de gösterildiği gibi - aynı şeyi tensorflow'da da yapabilirsiniz):

import numpy as np 
a = np.array([1, 2, 3, 4, 5]) 
W = np.array([[.5, .6], [.7, .8], [.9, .1], [.2, .3], [.4, .5]]) 

>>> np.dot(a, W) 
array([ 7.4, 6.2]) 

Bu sahiptir güzel davranış daha sonra a için bir toplu boyut eklemek, yine çalıştığını: a = np.array [[1, 2, 3, 4, 5], [6, 7, 8, 9 0]]

>>> np.dot(a, W) 
array([[ 7.4, 6.2], 
     [ 20.9, 17.7]]) 

Bu tam olarak girişten gitmek tf.matmul kullandığınızda ne yaptığını olan gizli birimlere sahiptir

, veya gizli birimlerin bir katmanından diğerine.