robots.txt için Regexp

Question

Robots.txt dosyasını ayarlamaya çalışıyorum ancak düzenli ifadelerden emin değilim.

Üç farklı dilde dört farklı sayfam var. Her sayfa 3'ü listelemek yerine, bir regexp kullanabileceğimi düşündüm. nav.aspx
page.aspx/changelang (sorgu dizesi böyle "? toLang = fr" olarak ekli olabilir.)
mypage.aspx? id ve
login.aspx

/logoff (= 12346? ... - her seferinde farklı)

! Dördü 3 farklı dilleri, örneğin:

www.example.com/es/nav.aspx
www.example.com/it/nav.aspx
www.example.com/fr/nav. aspx

Şimdi, sorum şu: Şu regexp doğru mu?

User-Agent: * 
Disallow: /*nav\.aspx$ 
Disallow: /*page.aspx/changelang 
Disallow: /*mypage\.aspx?id 
Disallow: /*login\.aspx\/logoff 

Teşekkür

Answer 1

Düzenli İfadeler robots.txt izin verilmez, ancak Googlebot (ve diğer bazı robotlar) can bazı basit desen eşleştirme anlar:

gibi görünmelidir Robots.txt:

User-agent: * 
Disallow: /*nav.aspx$ 
Disallow: /*page.aspx/changelang 
Disallow: /*mypage.aspx?id 
Disallow: /*login.aspx/logoff 

User-agent direktifi küçük harfle a ile geçerlidir. .'dan veya `/''den kaçmak zorunda değilsiniz.

Daha fazla bilgiyi burada bulabilirsiniz: Block or remove pages using a robots.txt file