izin ver ve Disallow Robots.txt

Question

yılında

http://www.robotstxt.org/orig.html diyor ki:

Disallow:/help hem /help.html izin vermez ve, Şimdi google.com/robots

/help/index.html. txt listelenmektedir: robotparser.py çalışan üzerine

Disallow: /search 
Allow: /search/about 

, bu Googleın robots.txt yukarıdaki durumlarda her ikisi için false döndürür.

biri beni açıklar mısınız, Allow: /search/about içinde Allow kullanımı o yukarıda Disallow girişi dayalı bir false döneceğini olarak ne var?

Answer 1

robotparser ve onun Python 3 karşılığı, urllib.robotparser için modül belgeleri, bunların original specification kullandığını belirtmektedir. Bu şartname bir Allow direktifine sahip değildir; Bu non-standard extension. Bazı büyük tarayıcılar bunu destekliyor, ancak (açıkça) uygunluğu talep etmek için desteklemeniz gerekmez.