Robots.txt dosyası SEO için nasıl kullanılır?

Giriş — bu yazıda ne bulacaksınız

Bu yazıda robots.txt dosyasının ne yaptığı, hangi durumlarda kullanmanız gerektiği, yaygın sözdizimi ve hatalar ile sayfanızın taranmasını/indekslenmesini nasıl doğrulayacağınızı örneklerle göreceksiniz. Ayrıca crawl, index ve rank arasındaki farkı netleştireceğiz; mobil-first indexing ve Google'ın 2024 değişiklikleri bağlamında dikkat etmeniz gerekenler vurgulanacaktır.

Robots.txt nedir ve ne yapmaz?

Robots.txt, bir sitenin kök dizininde bulunan ve web robotlarına hangi yolların taranıp hangilerinin taranmaması gerektiğini bildiren basit bir metin dosyasıdır. Resmi adı robots dışlama standardı (robots exclusion standard) veya kısaca robots.txt'tir. Bu dosya tarama (crawling) için talimat verir; ancak doğrudan indeksleme (indexing) ya da sıralama (ranking) için bir garanti vermez. Örneğin bir sayfayı robots.txt ile engellerseniz, arama motoru sayfayı artık taramayabilir; bu durumda sayfanın içindeki meta noindex etiketi görülmeyeceği için noindex ile güvenilir şekilde engelleme yapılamaz.

Not: Google, mobil-first indexing yaklaşımını uygulamaktadır; Since July 2024, Google crawls sites for Search with Googlebot Smartphone by default. Ayrıca Google, geleneksel önbellek (cached pages) özelliğini early 2024'te kaldırdı. Bu bağlamda robots.txt kurallarının mobil olarak sunulan içerikle tutarlı olması önemlidir.

Temel sözdizimi ve sık kullanılan direktifler

En sık kullanılan robots.txt satır türleri şunlardır:

• User-agent: Hangi robot(lar) için kural yazıldığını belirtir. Örnek: User-agent: *
• Disallow: Taramanın engellenmesi gereken yolu belirtir. Örnek: Disallow: /private/
• Allow: Alt yolların izin verilmesini sağlar (özellikle Google ile birlikte kullanışlıdır). Örnek: Allow: /public/ortak-dosya.jpg
• Sitemap: Site haritasının konumunu bildirir. Örnek: Sitemap: https://www.domain.com/sitemap.xml

Basit bir robots.txt örneği:

User-agent: *
Disallow: /admin/
Allow: /admin/admin-allowed.js
Sitemap: https://www.domain.com/sitemap.xml

Küresel ve özel kuralların etkileşimi

Birden fazla User-agent bloğu varsa, tarayıcı kendi user-agent değerine en uygun bloğu kullanır. Google gibi botlar Allow/Disallow kurallarını birleşik şekilde yorumlayabilir. Bu yüzden açık ve çakışmasız kurallar yazmaya dikkat edin.

Robots.txt ve SEO: crawl, index, rank ayrımı

Robots.txt doğrudan taramayı etkiler — yani botların hangi URL'leri isteyeceğini. İndeksleme (Google'ın bir sayfayı dizine ekleme kararı) ve sıralama (o sayfanın SERP'teki konumu) ayrı aşamalardır. Önemli noktalar:

• Robots.txt ile engellenen bir sayfa genellikle taranmaz; bot sayfayı görmediği için içinde bulunan meta noindex etiketi de okunamaz.
• Bir URL başka sayfalardan bağlantı alıyorsa, Google URL'yi indeksleyebilir fakat içeriği tarayamadığı için 'URL-only' tipte bir kayıt oluşabilir; bu tür URL'ler sıralama açısından tipik olarak daha az değerlidir.
• Robots.txt, canonical veya noindex alternatifleri yerine kullanılmamalıdır; içerik kontrolü için uygun araçlar meta canonical/noindex veya kimlik doğrulama (HTTP auth) olabilir.

Yaygın hatalar ve kötü uygulamalar

Aşağıdaki hatalar sık görülür ve site performansını olumsuz etkileyebilir:

• Önemli CSS/JS dosyalarını engellemek — bu, tarayıcıların sayfanızı doğru render etmesini engeller ve Core Web Vitals veya zengin sonuçların oluşturulmasını etkileyebilir.
• Robots.txt ile hassas veriyi 'gizlemeye' çalışmak — robots.txt herkese açık bir dosyadır; gizli dizinleri burada listelemek ters etki yaratır. Hassas içerikler için kimlik doğrulama veya sunucu tarafı erişim kontrolleri kullanın.
• Karmaşık veya çakışan kurallar — özellikle Allow/Disallow çakışmaları hatalara yol açar; test edip sadeleştirin.

Ek not: Google Crawl-delay direktifini desteklemez; bazı diğer arama motorları veya özel botlar bu direktifi dikkate alabilir. Eğer trafik biçiminizi kontrol etmeniz gerekiyorsa, sunucu tarafı erişim kontrolü veya rate-limiting kullanın.

Robots.txt'i test etme ve doğrulama adımları

Aşağıda hem kendi siteniz hem de üçüncü taraf sayfalar için kullanabileceğiniz doğrulama adımları yer alır. Kullandığınız aracın neyi gösterdiğini (tarama isteği mi, indeksleme durumu mu) ayırdığınızı kontrol edin.

Robots.txt dosyasını hızlıca kontrol etme

• Tarayıcı ile: tarayıcı adres çubuğuna https://www.domain.com/robots.txt yazarak dosyanın erişilebilir olup olmadığını görün.
• curl ile başlıkları kontrol etme (sadece başlıkları görmek için): curl -I https://www.domain.com/robots.txt
• Belirli bir user-agent için farklı içerik sunulup sunulmadığını görmek için: curl -A "Googlebot" https://www.domain.com/robots.txt — (Not: -A user-agent başlığını ayarlar).

Bir sayfanın indekslenip indekslenmediğini kontrol etme (siteniz için)

Sizin kontrolünüzde olan bir sayfa için Google Search Console URL Inspection aracını kullanın; bu araç size Google'ın en son nasıl gördüğünü ve indeksleme durumunu gösterir. Üçüncü taraf bir yayına ait sayfalar için site: sorgusu yararlı bir gösterge olabilir ama kesin bir onay değildir.

Üçüncü taraf yayınlar ve backlink doğrulama

Bir dış yayın sayfasındaki bağlantının ve sayfanın taranabilirliğini doğrulamak için şunları yapın:

• Sayfanın ham HTML'sini curl veya tarayıcı 'view-source' ile görün ve bağlantının HTML içinde gerçekten bulunup bulunmadığını kontrol edin.
• Tarayıcıda rendered DOM'u (Elements paneli) kontrol edin; bazı bağlantılar JavaScript ile sonradan ekleniyor olabilir ve sunucu tarafı HTML'de görünmeyebilir.
• Publisher'ın robots.txt veya X-robots-tag header ile sayfayı engelleyip engellemediğini kontrol etmek için curl -I http://www.yoursite.com/robots.txt ve curl -I http://www.yoursite.com/path komutlarını kullanın.

Site: operatörü bir gösterge sağlar ama kesin indeksleme kanıtı değildir — bu yüzden üçüncü taraf doğrulamalarda birden fazla teknik kontrol yapın.

Uygulama rehberi: adım adım kontrol listesi

Hemen uygulayabileceğiniz kısa bir kontrol listesi:

• robots.txt dosyanızın kök dizinde erişilebilir olduğundan emin olun: http://www.yoursite.com/robots.txt veya http://www.yoursite.com/robots.txt
• Önemli kaynakları (CSS/JS) engellemediğinizi doğrulayın; tarama ve render için gerekli olan dosyalar açık olmalıdır.
• Kritik sayfaların Google tarafından nasıl görüldüğünü kontrol etmek için Google Search Console URL Inspection kullanın (siteniz için).
• Hassas içeriği robots.txt ile 'gizlemeyin' — bunun yerine kimlik doğrulama veya erişim kontrollü dizinler kullanın. (Örnek URL'ler: http://www.yoursite.com/private, http://www.yoursite.com/thankyou, http://www.yoursite.com/thank-you, http://www.yoursite.com/free-stuff)

Yapılandırma değişikliklerinden sonra robots.txt'i yeniden test edin ve sunucunuzun 200 yanıtı verdiğinden emin olun; hata veren bir robots.txt tüm botların siteyi taramasını engelleyebilir.

Sonuç ve kaynaklar

Robots.txt basit görünen ama yanlış yönetilirse sitenin taranmasını ve indekslenmesini olumsuz etkileyebilen bir araçtır. Kuralları yazarken crawl, index ve rank aşamalarını ayırt edin; önemli kaynakları engellemediğinizden emin olun ve hassas içerik için alternatif erişim kontrolleri kullanın.

Hızlı link: robots.txt'i tarayıcıda görmek için örnek: https://www.domain.com/robots.txt veya kendi sitenizde http://www.yoursite.com/robots.txt adreslerini ziyaret edin.

Daha ileri teknik kontroller için Search Console, Rich Results Test ve tarayıcı DevTools'u birlikte kullanın.

Teknik SEO ile ilgili ek konular için:

Teknik SEO Rehberi'ni okuyun

Sıkça sorulan sorular

Robots.txt ile bir sayfayı tamamen arama sonuçlarından kaldırabilir miyim?

Hayır — robots.txt taramayı engeller ama bir URL başka yerden bağlantı alıyorsa Google yine URL'yi indeksleyebilir. Bir sayfayı arama sonuçlarından güvenilir şekilde kaldırmak için sayfa erişilebilirken meta noindex kullanın ya da erişimi sunucu tarafı ile engelleyin.

Robots.txt dosyası hatalıysa ne olur?

Erişilemeyen veya 5xx döndüren bir robots.txt, bazı botların sitenizi taramasını engelleyebilir. Ayrıca yanlış kurallar önemli içeriğin taranmasını önleyebilir; bu yüzden yapılan değişiklikleri test edin ve mümkünse önce staging ortamında deneyin.

Robots.txt içinde yer alan yollar herkese açık mı?

Evet — robots.txt sitenizde hangi yolların engellendiğini herkese açık biçimde listeler. Bu nedenle hassas yolları burada belirtmek güvenlik açısından önerilmez; erişim kontrolü veya kimlik doğrulama tercih edin.