Sitemiz sadece https kullanıyor, bu yüzden http https kullanılmaya zorlanıyor. Fakat hala http yoluyla geçmeye zorlamak isteyen bazı robotlar var.Robots.txt - botların yalnızca https yoluyla ziyaret etmesine izin ver
Aradım ama bunu yapmanın basit bir yolunu bulamadım.
Benim soru ben sadece
sert 302 https'ye yönlendirme yazın https sağlamasıdır yüzden robots.txt yazmalıyım ne olduğunu. Sadece bir bot varsa, bir arama motoru botu değildir. Google, Yahoo ve Bing sadece https kabul ediyor. Diğer tüm botları görmezden gelebilirsiniz.
HTTP 301'i HTTP'den HTTPS'ye yönlendirmek için HTTP 301'i kullanırsanız, yetenekli botlar yönlendirmeyi fark eder (ve botun amacına bağlı olarak onu takip eder, dizinlerini günceller vb.). HTTP URL'lerinizi taramaya izin vermemek istiyorsanız, botların sayfaların artık yeni URL'lere sahip olduklarını öğrenemeyeceğini unutmayın, çünkü yönlendirmeye dikkat etmeleri için onlara erişmelerine izin verilmez (HTTP bağlantılarınız varsa veya sahipseniz).). Hala HTTP URL'leri taranmasını izin vermemek istiyorsanız
, http://example.com/ (veya http://www.example.com/ ya da her türlü Barındırıcınızın) aşağıdaki robots.txt yerleştirin ve https://example.com/robots.txt için değil yönlendirme bu belirli bir URL yapmak.
User-agent: *
Disallow:/