Nasıl kullanılır?
- 1Bir şablon seçin: hepsine izin ver, hepsini engelle, WordPress, e-ticaret veya AI botlarını engelle.
- 2Gerekirse bot bazında Allow/Disallow satırları ekleyin.
- 3Crawl-delay değerini ve sitemap adreslerinizi girin.
- 4Oluşan dosyayı indirip sitenizin kök dizinine robots.txt adıyla yükleyin.
Hazır şablonlar
"Hepsine izin ver" tüm botların siteyi taramasına izin verir. "Hepsini engelle" geliştirme veya test ortamları içindir. WordPress şablonu /wp-admin/ ve giriş sayfasını kapatıp admin-ajax.php’ye izin verir, site içi arama sonuçlarını engeller. E-ticaret şablonu yönetim, sepet, ödeme, sipariş, hesap ve arama sayfalarıyla sıralama/filtre parametreli adresleri kapatır. Yapay zekâ botları şablonu GPTBot, ChatGPT-User, OAI-SearchBot, CCBot, Google-Extended, ClaudeBot, PerplexityBot, Bytespider ve meta-externalagent gibi botları engeller.
Yapay zekâ botlarını engellemeli miyim?
İçeriğinizin yapay zekâ modellerinin eğitiminde kullanılmasını istemiyorsanız ilgili botları engelleyebilirsiniz. Google-Extended’ı engellemek Google arama sıralamanızı etkilemez; yalnızca içeriğinizin Gemini gibi modellerde kullanımını sınırlar. Ancak bazı yapay zekâ asistanlarının yanıtlarında kaynak olarak görünmek trafik getirebilir; karar sitenizin iş modeline bağlıdır. robots.txt bir rica niteliğindedir, kurallara uymayan botları teknik olarak durdurmaz.
Crawl-delay ve sitemap satırları
Crawl-delay, botun iki istek arasında kaç saniye beklemesi gerektiğini belirtir; Bing ve Yandex dikkate alır, Googlebot ise bu satırı yok sayar. Sitemap satırları site haritanızın tam adresini bildirir ve tüm botlar tarafından okunur. Dosyayı yükledikten sonra robots.txt test aracımızla önemli sayfalarınızın yanlışlıkla engellenmediğini kontrol edin.
Sık sorulan sorular
robots.txt dosyasını nereye yüklemeliyim?
Alan adınızın kök dizinine; dosya ornek.com/robots.txt adresinden açılmalıdır. Alt klasörlerdeki robots.txt dosyaları dikkate alınmaz.
Hazır e-ticaret altyapısında robots.txt’yi düzenleyebilir miyim?
Çoğu hazır altyapı kendi robots.txt dosyasını üretir; bazıları panelden düzenlemeye izin verir. Altyapınızın ayarlarında veya destek ekibinde bu seçeneği kontrol edin.
Tüm siteyi yanlışlıkla engellersem ne olur?
"Disallow: /" kuralı Google’ın siteyi taramasını durdurur ve sayfalarınız zamanla sonuçlardan düşebilir. Dosyayı yayına almadan önce mutlaka test edin.
Googlebot neden crawl-delay’i dikkate almıyor?
Google tarama hızını kendi algoritmasıyla, sunucunun yanıt süresine göre ayarlar. Sunucunuz zorlanıyorsa geçici olarak 503 veya 429 yanıtı döndürmek Google’ın taramayı yavaşlatmasını sağlar.
Sonuçlar iç açıcı değil mi?
Hızlı, SEO uyumlu web siteleri, e-ticaret ve Google Ads yönetimi için Webin Agency ekibiyle görüşün.