Aşağıdaki senaryo için doğru Robots.txt komutunu açıklayabilir misiniz?Robots.txt Alt klasöre izin ver ancak alt klasöre izin ver
Ama aynı zamanda /dizinine erişimi kısıtlamak istiyorum/ yukarıdaki istisna dayanıklı değil/..
/dizin/alt dizini:
Ben erişime izin istiyorum.
hiçbir gerçek resmi standart yoktur unutmayın ve herhangi bir web tarayıcısı mutlu senin robots.txt
göre a Google groups post için göz ardı edebilir, en azından GoogleBot ile aşağıdaki eserlerini;
User-agent: Googlebot
Disallow: /directory/
Allow: /directory/subdirectory/
Bunlar gerçekten dizinlerse, kabul edilen yanıt muhtemelen en iyi seçimdir. Ancak, bir uygulama yazıyorsanız ve dizinler dinamik olarak oluşturulmuş yollar (a.k.a. contexts, route, vb.) Ise, robots.txt dosyasında tanımlamak yerine meta etiketleri kullanmak isteyebilirsiniz. Bu, farklı tarayıcıların alt dizin yoluna erişimi nasıl yorumlayabileceği/önceliklendirebileceği konusunda endişelenmenize gerek kalmaması avantajını sunar.
Sen kodunda böyle bir şey deneyebilirsiniz:
if is_parent_directory_path
<meta name="robots" content="noindex, nofollow">
end
Google'ın robotu test cihazı kullanılarak öneriyoruz. Google Web Yöneticisi araçlarını kullanma - https://support.google.com/webmasters/answer/6062598?hl=en
URL'leri doğrudan araçta düzenleyebilir ve test edebilirsiniz, ayrıca başka birçok araç da alabilirsiniz.
İyi nokta! Bunu yayınladığımda 2011'de kullanıma sunulduğundan emin değilim, ancak WMT'ye çok faydalı bir eklenti. – QFDev
QFDEV Robot test cihazını bugün kullanmak zorunda kaldım çünkü şirketlerimizin sitelerinin Google'ın Arama Sonuçlarında sıralamasını yükseltmek için gerçekten çok çalışıyorum. Ve "HTML İyileştirmeleri" nin altında gördüğüm tek şey yinelenen başlıklar ve meta etiketlerdir. Çünkü aynı sayfaları iki kez okuyorlar (sorgu dizeleri). Ayrıca bir sebepten dolayı robot var olmayan dizinleri tarar. Google Web Master araçlarındaki test ediciye yardımcı olan ve bu değişikliği fark eden gönderiyi buldum ve değişiklikleri doğrulayacağını gördü. İpucunuza yazarak diğer geliştiricilere yardımcı olabileceğini düşündüm. – Moojjoo
Alt dizinlere dinamik olarak izin vermek istedim, ancak bu ilk düzey değil, Allow ifadesinin 'Allow:/directory/* /' çalışmasını değiştirmesini değil. – Duncanmoo
Robots.txt Vikipedi girişine göre, 'İzin Verme' yönergesi, maksimum uyumluluk için 'Disallow' öncesine yerleştirilmelidir (ne Google veya Bing ne de olsa). – pelms