Belirli URL parametrelerini engellemek için robots.txt kullanabilir miyim?

Question

'Ne denediniz' ve 'bunu kendiniz test et' demeden önce, sitemin arama motorlarındaki herhangi bir site için robots.txt güncellemelerinin gerçekten yavaş olduğunu unutmayın, böylece teorik deneyim sağlayabiliyorsanız, Takdir edilecektir.

Örneğin, mümkün izin vermektir:

http://www.example.com 

Ve blok:

http://www.example.com/?foo=foo 

Çok emin değilim.

Yardım?

Answer 1

Wikipedia göre, "robots.txt desenler basit alt dize karşılaştırmaları tarafından eşleştirilen" ve GET dize URL olduğu gibi sadece eklemek mümkün olmalıdır:

Disallow: /?foo=foo 

falan fazla fantezi

gibi Tüm dizeleri devre dışı bırakmak için

. Yıldız işareti bir joker karakterdir, bu yüzden bir ya da daha fazla karakterle eşleşir.

Example of a robots.txt with dynamic urls.