Lineer fonksiyon yaklaşımı ile Q-öğrenme

Question

Q-öğrenme algoritmasının işlev yaklaşımı ile nasıl kullanılacağı hakkında bazı yararlı talimatlar almak istiyorum. Temel Q-öğrenme algoritması için örnekler buldum ve sanırım onu ​​anladım. Fonksiyon yaklaşımı kullanılması durumunda başım belaya girer. Birisi bana kısa bir örnekle nasıl çalıştığını açıklayabilir mi?

biliyorum Ne:

1. Istead biz özellikleri ve parametreleri kullanın Q-değerleri için matrisi kullanarak.
2. Feauters ve parametrelerin lineer kombinasyonu ile yaklaşık olun.
3. Parametreleri güncelleyin.

bu kağıdı kontrol ettikten: Q-learning with function approximation

Ama nasıl kullanılacağını herhangi kullanışlı öğretici bulamıyorum.

Yardımlarınız için teşekkürler!

Answer 1

Benim görüşüme göre, this, başlamak için en iyi başvurulardan biridir. Birkaç sözde kod örnekleri ile iyi yazılmıştır. Durumunuzda, uygunluk izlerini yok sayarak algoritmaları basitleştirebilirsiniz. Ayrıca, edindiğim deneyime ve kullanım durumunuza bağlı olarak, Q-Öğrenim çok iyi çalışmayabilir (bazen çok fazla miktarda veriye ihtiyaç duyar). Örneğin batch algoritması olan Fitted-Q değerini deneyebilirsiniz.