optimal epsilon (ε-hırslı) değeri

Question

ε-hırslı ilke

Q'nun öğrenme algoritması keşif ve istismar arasında denge çalışmalıdır biliyoruz. Bu alanda yeni başladığımdan beri, keşif/sömürü davranışının basit bir versiyonunu uygulamak istedim.

Optimal epsilon değeri

Benim uygulama ε-açgözlü politikasını kullanır, ancak epsilon değerini karar geldiğinde bir kayıp değilim. Epsilon, algoritmanın belirli bir (durum, eylem) çiftini ziyaret ettiği sayıda mı yoksa gerçekleştirilen iterasyonların sayısıyla mı sınırlandırılmalı?

My önerileri:

1. alt belirli bir (durum, eylem) çift karşılaşıldı her zaman için epsilon değer.
2. Tam bir yineleme gerçekleştirildikten sonra epsilon değerini azaltın.
3. Bir durumla karşılaştığımız her seferinde epsilon değerini azaltın.

Çok beğenildi!

Answer 1

Birçok basit durumda, 0k, 0 ve 1 aralığında sabit bir sayı olarak tutulmuş olsa da, şunu bilmelisiniz: Genellikle, keşif zamanla azalır, böylece kullanılan politika asimptotik bir şekilde olur ve dolayısıyla (Qk olarak kullanılır) → Q ∗) optimal. Bu, k büyürken approachk yaklaşımı 0 yaparak elde edilebilir. Örneğin, εk = 1/k şeklindeki ε -dinekli bir keşif çizelgesi, k-∞ olarak 0'a düşerken, Q-öğrenmenin ikinci yakınsama koşulunu yerine getirirken, diğer bir deyişle, tüm devlet eylemlerine sonsuz sayıda ziyaret yapılmasına izin verirken. çiftler (Singh ve arkadaşları, 2000).

Genelde şu anlama gelir: ilk alfa = 1/k değerini ayarlar (ilk k = 1 veya 2'yi düşünün) deneme sürümünden sonra deneme sürümüne gittikten sonra alfa azalır. , aynı zamanda yakınsama garantili tutar.

Answer 2

Bunun için iyi bir nedeniniz yoksa, ε'yi pozitif bir sabite ayarlamak genellikle akıllıca olur.