Arama motorlarının web sitemdeki bir dizinin tamamını dizine eklemesini engelleyebilir miyim?

Question

Yeni özelliklerimi, değişiklikleri ve içeriği gerçek web siteme çekmek için kullandığım bir hazırlama sitem var.

bu dizine almak istemiyorum, ama ben biraz daha kolay bir çözüm umuyorum sitemde her sayfa için aşağıdaki eklemek zorunda kalmadan daha:

<meta name="robots" content="noindex, nofollow"> 

ben de yapabilir miyim .htaccess dosyası kullanarak etki alanına nasıl bir parola ekledim?

Answer 1

. Örnek

User-agent: * 
Disallow: /protected-directory/ 

Arama motorları bu uyacaktır ancak (robots.txt dosyasında URL'yi koyarsanız muhtemelen daha kolay bulunabilir ve) elbette içerik yine yayınlanacak, böylece .htaccess ile şifre koruması bir seçenektir ayrıca

Answer 2

Ne istediğiniz dosya sunucu kökünüze olmalı ve içerik gibi bir şey olması gereken bir robots.txt file

olduğu;

User-agent: * 
Disallow: /mybetasite/ 

Bu

kibarca değil hepsinin dizine iyi huylu arama motorları saygı göstereceğiz bu dizinin altında sayfaları arama indeksleme servisleri soracaktır. Bunun için robots.txt standard

Answer 3

public_html dizininizde Robots.txt adlı bir dosya oluşturun.

içinde aşağıdaki kodu yerleştirin:

User-agent: * 
    Disallow: /foldername/ 

klasöradı tüm reddetme kök dizininde olmalıdır robot.txt kod aşağıdaki

Answer 4

Put Engellemek istediğiniz dizinin adıdır dizin oluşturma. SEO için

User-agent: * 
Disallow:/

Answer 5

Blok Özgül Dosya: URL $ karakterini kullanın sonu eşlemeyi belirtmek için. * Disallow:

Kullanıcı aracısı: Örneğin, .xls ile biten bir URL engellemek için http://antezeta.com/news/avoid-search-engine-indexing

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&topic=1724262&ctx=topic

Answer 6

Gerçekten de, robots.txt:

Referans /*.xls$ Site kökünde gitmek için yoldur. .htpasswd yol almak,

User-agent: * 
Disallow: /test_directory_aaa/ 
Disallow: /test_directory_bbb/ 
Disallow: /test_directory_ccc/ 

---

Veya: (OP anlaşılacağı gibi) şunları yapın birden fazla giriş eklemek için .htaccess olarak

ekleyin:

AuthType Basic 
AuthName "Marty's test directory" 
AuthUserFile /test_directory_aaa/.htpasswd 
AuthUserFile /test_directory_bbb/.htpasswd 
AuthUserFile /test_directory_ccc/.htpasswd 
require valid-user 

In.htpasswd, ekleyin:

username1:s0M3md5H4sh1 
username2:s0M3md5H4sh2 
username3:s0M3md5H4sh3