robots.txt nedir ve nasıl çalışır

robots.txt nedir?

robots.txt, web sunucunuzun kök dizininde (/robots.txt) bulunan düz metin formatında bir dosyadır. Amacı, belirli user-agent'lara (örn. Googlebot) hangi URL yollarının taranıp taranamayacağını bildirmektir. Bu dosya tarama davranışını etkilemek içindir; indeksleme kararlarıysa tarama verileri ve diğer sinyaller temelinde arama motorları tarafından ayrı olarak alınır.

robots.txt neden SEO için önemlidir

robots.txt, sunucunuza gereksiz yük bindirebilecek aşırı taramayı sınırlayarak kaynak kullanımını korumanıza yardımcı olur, gizli veya admin sayfalarının taranmasını engelleyerek bilgi sızıntısını azaltır ve tarama bütçesi yönetimine katkı sağlar. Ancak robots.txt ile bir URL'yi engellemek o URL'nin SERP'te kesinlikle görünmeyeceği anlamına gelmez; arama motorları, dış bağlantı sinyalleri varsa URL'yi indeksleyebilir fakat içeriği alamadıkları için indeksleme sınırlı veya başlıksız olabilir.

robots.txt nasıl çalışır

Bir arama motoru bir siteyi taramadan önce genellikle https://example.com/robots.txt dosyasını GET isteğiyle alır ve listelenen kuralları user-agent anahtarına göre yorumlar. Temel mekanik: crawler ilk olarak robots.txt'yi okur (crawling aşaması), kurallara göre URL'leri fetch edip etmeyeceğine karar verir; bu, indeksleme sürecini etkileyebilir çünkü taranmayan içerik fetch edilemez. Ancak sıralama (ranking) kararları çok sayıda sinyal içerdiğinden robots.txt tek başına 'sıralamayı belirler' diye ifade edilmemelidir.

Önemli ayrım: robots.txt taramayı engeller; sayfanın indekslenip indekslenmeyeceğini doğrudan kontrol etmez. Bir sayfa robots.txt ile engellenmişse Search Console gibi araçlarda "URL is blocked by robots.txt" şeklinde görünür; aynı sayfa başka sitelerden referanslanıyorsa arama motorları URL'yi başlık olmadan veya sınırlı bilgilerle indeksleyebilir.

robots.txt türleri

Genel kullanım desenleri ve kısa açıklamaları:

- Tamamen açık: Tüm user-agent'lara izin verir. Örnek: "User-agent: *\nDisallow:"

- Tamamen kapalı: Tüm tarayıcıları engeller. Örnek: "User-agent: *\nDisallow: /" — dikkat: site tamamının taranmasını engellemek genelde istenmez.

- User-agent'e özel kurallar: Belirli botlara farklı talimatlar verilir. Örnek: "User-agent: Googlebot\nDisallow: /no-google/"

- Wildcard ve sonlandırma: Google ve birçok arama motoru "*" ve "$" gibi joker desteği sağlar; ancak uygulamalar arasında farklılık olabilir. Ayrıca "Sitemap:" yönergesi robots.txt içinde yaygın olarak kullanılır.

robots.txt ile başlarken

Temel adımlar:

1) Dosyanın konumu: robots.txt mutlaka site kökünde (https://example.com/robots.txt) olmalıdır. Alt dizinlerdeki kopyalar dikkate alınmaz. 2) UTF-8 metin olarak kaydedin, BOM bırakmayın. 3) Basit ve açık kurallar yazın; çok karmaşık regex'ler veya bilinmeyen yönergeler yerine standart "User-agent/Disallow/Allow/Sitemap" kullanın.

Örnek temel robots.txt içeriği: User-agent: *\nDisallow: /private/\nAllow: /public/\nSitemap: https://example.com/sitemap.xml

robots.txt doğrulama: teknik kontrol listesi

Aşağıdaki kontroller dışarıdan gerçekleştirilebilir ve hata ayıklamada işe yarar:

- **Erişilebilirlik** — nerede doğrulanır: tarayıcı veya curl — geçer when: https://example.com/robots.txt 200 döner ve içerik doğru görünür.

- **HTTP durum kodu & başlıklar** — nerede doğrulanır: curl -I https://example.com/robots.txt — geçer when: 200 OK ve Content-Type: text/plain; charset=utf-8 veya benzeri.

- **User-agent testi** — nerede doğrulanır: curl -A "Googlebot" https://example.com/robots.txt — geçer when: Googlebot için beklenen Disallow/Allow kuralları görünür.

- **Sayfa erişim kontrolü (kendi siteniz için)** — nerede doğrulanır: Google Search Console URL Inspection — geçer when: GSC, "Indexed, but blocked by robots.txt" gibi uyarılar yerine sayfanın uygun şekilde taranıp indekslendiğini gösterir (not: URL Inspection, yalnızca sizin doğrulanmış mülkler için kullanılabilir).

- **Index sinyali kontrolü (dış kaynaklar için)** — nerede doğrulanır: Google site: operatörü veya direkt URL sorguları — geçer when: sayfa içeriği indekslenmiş olarak görünür; uyarı: site: operatörü kesin değil ama indicatif bilgi verir.

Kullanılacak araçlar ve komut örnekleri

Hızlı komut örnekleri: robots.txt içeriğini görmek için: curl https://example.com/robots.txt — yalnız başlıkları görmek için: curl -I https://example.com/robots.txt. Belirli user-agent ile fetch etmek için: curl -A "Googlebot" https://example.com/robots.txt. Tarama kayıtlarını incelemek için sunucu loglarına bakın ve Googlebot user-agent örneklerini doğrulayın.

Yaygın robots.txt hataları

- robots.txt yanlış konumlandırılmış (alt dizinde), bu nedenle tarayıcı kuralları görmez. - robots.txt 5xx veya 404 döndürüyor; bu, tarayıcıların varsayılan davranışına göre tüm siteyi taramaya devam etmelerine veya farklı davranışlara yol açabilir. - Yanlışlıkla tüm siteyi engellemek: "Disallow: /" üretim sitelerinde ciddi erişim kaybına yol açar. - UTF-8 BOM bırakmak veya yanlış MIME tipi ayarlamak (örn. text/html) bazı tarayıcıların dosyayı yanlış işlemesine neden olabilir. - Google tarafından desteklenmeyen yönergeler (örn. crawl-delay) beklenen etkiyi göstermeyebilir.

Hata düzeltmesi için önce curl ile dosyayı çekin, sonra Search Console (kendi siteniz için) ve sunucu loglarını kontrol ederek bot davranışını doğrulayın.

Sıkça sorulan sorular

robots.txt dosyası bir sayfanın SERP'te hiç görünmesini kesinlikle engeller mi?

Hayır. robots.txt taramayı engeller; ancak bir sayfa başka sitelerden linkleniyorsa arama motorları URL'yi indeksleyebilir ancak içeriği alamadıkları için sınırlı veya başlıksız bir giriş gösterebilir. Kapsamlı kontrol için sayfanın meta robots etiketini (noindex) kullanmak ve sayfanın taranmasına izin verip meta ile noindex vermek gerekir — fakat meta noindex etiketi taranma gerektirir, bu yüzden önce tarama izinlerini doğru kurgulayın.

robots.txt ile sitemap göstersem arama motorları mutlaka sitemap'i kullanır mı?

Sitemap yönergesi arama motorlarına sitemap'in yerini bildirir; çoğu arama motoru bu bilgiyi kullanır, ancak sitemap içeriğinin nasıl işlendiği arama motorunun kendi algoritmasına bağlıdır. Yine de robots.txt içinde "Sitemap: https://example.com/sitemap.xml" belirtmek pratik ve yaygın bir uygulamadır.

site: operatörü ile robots.txt tarafından engellenmiş sayfaları kontrol edebilir miyim?

site: operatörü bir gösterge sağlar ama kesin bir doğrulama aracı değildir. Bir sayfanın gerçekten indekslenip indekslenmediğini doğrulamak için kendi sitenizse Google Search Console URL Inspection kullanın; üçüncü taraf sayfalar için curl + site: sorguları ve manuel inceleme kombinasyonu bilgi verir.

Teknik konuları derinlemesine incelemek için Teknik SEO rehberimize göz atın: Teknik SEO Kılavuzu'nu oku.

Teknik SEO, organik görünürlüğün yalnızca bir parçasıdır. Konu otoritesi oluşturmak için kaliteli backlinkler de önemlidir; uygun yayıncıları ve teklifleri görmek için marketplace sayfamızı inceleyebilirsiniz: /marketplace