Robots.txt Dosyasını SEO İçin Nasıl Kullanılır?

Biliyor muydunuz ki Robots.txt sitenizin SEO'sunda önemli bir rol oynar? Robots.txt tam olarak nedir ve SEO için nasıl kullanacaksınız? Bu yazıda bunları açıklayacağız.

Robots.txt Nedir?

Bir web sitesinin kök dizininde, arama motoru tarayıcılarına ve örümceklerine hangi sayfaları ve dosyaları görmeleri gerektiğini ve hangilerini görmemeleri gerektiğini söyleyen dosyalar bulunur. Web yöneticileri genellikle sitelerinin arama motorları tarafından bulunmasını ister, ancak bazen bu gerekli değildir. Özel bilgileri saklıyorsanız veya yer kazanmaya çalışıyorsanız, arama motorunun dosyalarınızı dizinlemesini engelleyebilirsiniz (görsel içeren ağır sayfalar hariç).

Robots dışlama standardı, robots dışlama protokolü veya kısaca robots.txt olarak da bilinir, web siteleriile iletişim kurmak için kullanılan bir standarttır.web tarayıcıları ve diğer web robotları.

Robotlar genellikle arama motorları tarafından web sitelerini kategorize etmek için kullanılır. Tüm robotlar bu standarda uymaz; e-posta toplayıcıları, spambotlar, kötü amaçlı yazılımlar ve güvenlik açıklarını tarayan robotlar, kendilerine uzak durmaları söylenen web sitesi bölümlerinden bile başlayabilirler. Bu standart, web siteleri için bir robot dahil etme standardı olan Sitemaps ile birlikte kullanılabilir. – Wikipedia

Arama motorları kullanan anahtar kelimeler ve meta verileri kullanarak web sayfalarını dizinleyenler, internette bir şeyler arayan kişilere en alakalı sonuçları gösterir. Çevrimiçi mağaza sahipleri için iyi arama motoru sonuçları almak diğer işletmelerden daha önemlidir. Genellikle insanlar, bir arama motorunun önerdiği ilk birkaç sonuç sayfasının ötesine geçmezler.

Dizinleme, etrafta dolaşan örümcekler veya tarayıcılar yardımıyla yapılır. arama motoru şirketleri internetteki tüm bilgileri bu şekilde alır ve düzenler. Bu şirketler bu botları kullanır.

robots.txt, tarayıcıların bir web sitesini ilk ziyaret ettiklerinde aradıkları dosyadır. tarayıcı böyle bir dosya bulur bulmaz, siteyi nasıl dizinleyeceğine dair talimatları içinde arar. Onları bulamayan bot için talimat yoktur, bu yüzden algoritmasını kullanarak onları arar. Bu durum, birçok kişinin web sitesinde bir şeyler aramasını sağlar, ancak aynı zamanda dizinleme sürecini daha az etkili hale getirir.

robots.txt dosyasının çalışması için sitede yalnızca bir tane bulunabilir. Bir eklenti alan adının web sayfasının kökünde bir robots.txt dosyası olmalıdır. Örneğin, https://www.domain.com/robots.txt adresinde olmalı ve robotlara o siteye gitmemelerini söylemelidir.

Robots.txt, dosyanızın adının robots txt olarak adlandırıldığından emin olmak için de önemlidir. Adı doğru yazılmazsa çalışmaz.

Kontrolü Ele Alın

Sitenizin SEO'su üzerinde düşündüğünüzden daha fazla kontrolünüz var.

Genel olarak bu doğrudur. Hangi tarayıcıların ve dizinleyicilerin sitenizi sayfa düzeyinde görebileceğini ve dizinleyebileceğini seçebilirsiniz. Bunun tekrar olmamasını sağlamak için robots.txt adlı bir dosya kullanılabilir. Web sitenizin kök dizininde robots.txt adlı basit bir metin dosyası bulunur. Bu dosya, web robotlarına web sitenizi okumamalarını söyler. Robotlar bu bilgiyi arama sonuçlarını iyileştirmek için kullanabilir.

Her şeyin sonu olmadığı için, web sitenizin arama motorları tarafından görülmesini sağlamanın harika bir yolu olduğunu gördünüz. arama motorları sitenizi sevmesini istiyorsanız, iyi bir ilk izlenim bırakmalısınız. Doğru şekilde kullanıldığında, robots.txt SEO'ya yardımcı olabilir.

Peki, bunu nasıl yaparsınız? Bu kişinin hayatta olmasının amacı nedir? Hiçbir zaman ne yapmamalısınız? Bu soruların cevapları bir sonraki sayfada.

Robots.txt Kullanma Nedeni

Robots.txt, arama motorlarının sitenizdeki hangi sayfaları dizinleyeceğini ve hangilerini arama sonuçlarından uzak tutacağını belirlemek için kullandığı bir dosyadır. Örneğin, Robots.txt dosyanızda teşekkür sayfanızın arama motorları tarafından erişilebilir olmaması gerektiğini belirtirseniz, bu sayfa arama sonuçlarında görünmez ve web'de arayan kişiler tarafından erişilemez. Sitenizin bazı sayfaları hem gizlilik hem de arama motoru ranking için arama motorlarından gizlenmelidir. Bu, her ikisi için de önemlidir.

Robots Dosyanızı Nerede Bulacaksınız?

Bir web siteniz varsa, robots.txt dosyası sitenizin kök dizinindedir. FTP cPanel'inize girin ve hesabınızın genel HTML alanında arayın. Bu dosyalar fazla yer kaplamaz. Sadece birkaç yüz bayt olabilirler. Eğer bulamazsanız, bir tane oluşturmanız gerekecektir.

Robots.txt Nasıl Çalışır

Arama motorları sitenizi dizinlemek istediğinde, sitenizde gezinen ve arama motorlarına veri döndüren “örümcekler” veya “robotlar” adı verilen küçük programlar gönderirler. Robots.txt “Disallow” direktifleri, arama motorlarına ve diğer programlara, komutta belirttiğiniz web sitenizdeki belirli sayfaları aramamalarını söyler. Robots.txt dosyasında aşağıdaki komutlar bulunabilir:

tüm arama motoru robotlarının sitenizdeki şu sayfaya erişmesini engelleyecektir: http://www.yoursite.com/thankyou

Disallow komutundan önce şu komut gelir: “User-agent: * “. User-agent kısmı, hangi robotu yasaklamak istediğinizi belirtir.

“User-agent: Googlebot”. Bu komut yalnızca Google robotlarının web sitesine erişmesini engeller; diğerleri yine de erişebilir: http://www.yoursite.com/thankyou

Ancak, “*” karakterini kullanarak, aşağıdaki komutların tüm robotları ifade ettiğini belirtirsiniz. Robots.txt dosyanız sitenizin ana dizininde bulunacaktır. Örneğin: http://www.yoursite.com/robots.txt

Robots.txt Dosyası Nasıl Oluşturulur

Herkes bu basit metin dosyasını oluşturabilir. Metninizi yazmak için Not Defteri gibi bir metin düzenleyiciye ihtiyacınız var. Yeni bir metin dosyası açın ve “robots.txt” olarak kaydedin, ardından içine yazın. cPanel'inizdeyken, genel HTML klasörüne gidin ve üzerine tıklayın. Dosyanın zaten orada olduğundan emin olarak başlayın.

Her şey yolundaysa, işiniz bitti. Dosyanın sahibi olan kişi dışında kimse onu görememeli ve değiştirememelidir. Dosyanın çalışması için “0644” iznine sahip olması gerekir.

Değilse, dosyaya sağ tıklayın ve “izinleri değiştir” seçeneğini seçin. İşte bu kadar! Robotlar için talimatlar içeren robots.txt adlı bir dosya var. Robots.txt Sözdizimi. robots.txt dosyası, ayarlanmış her kullanıcı aracısı için birden çok “direktif” bölümüne sahiptir. Her biri kullanıcı aracısının adıyla başlar. Her tarama botu, koda göre kullanıcı aracısı kimliğiyle tanımlanır.

Bunu yapmanın iki yolu vardır: Joker karakter kullandığınız sürece, tüm arama motorlarını aynı anda hedefleyebilirsiniz. Hangi arama motorlarını hedeflemek istediğinizi seçebilirsiniz. Bir tarama botu başlattığınızda, web sitesinin en az memnun olduğu kısımlarına gidecektir. Şöyle ilerleyecektir:

User-Agent Direktifi

Her bloğun ilk birkaç satırı, bir botu tanımlayan user-agent'ı içerir. Örneğin: bir Googlebot'a ne yapması gerektiğini söylemek isterseniz, şöyle başlarsınız:

User-agent: Googlebot Kural olarak, arama motorları en alakalı bilgileri arar.

Googlebot-Video ve Bingbot direktifiniz olduğu sürece. 'Bingbot' kullanıcı aracısı talimatlara uyacaktır. Googlebot-Video'dan daha kesin talimatlar bekleyebilirsiniz.

Aşağıda en yaygın kullanılan arama motoru robotları listelenmiştir.

Disallow Direktifi

Bu özelliği etkinleştirirseniz botlar sitenizin belirli bölümlerine erişemez. Botların internette dolaşmasını ve istedikleri web sitelerine erişmesini hiçbir şey engellemez.

Sitemap Direktifi (XML Sitemaps)

Bu meta tag arama motorlarına sitemap'inizin nerede olduğunu söyler. Bulunabilmeleri için onları arama motorlarının Google Search Console adresine göndermelisiniz. Bu araçların her birini kullanmanız faydalı olacaktır çünkü web siteniz hakkında size çok şey öğretebilirler.

Hız önemli olduğunda, “sitemap” adlı direktifi kullanın.

Crawl-Delay Direktifi

Yahoo, Bing ve Yandex'i tarama yaparken biraz yavaşlatmak isterseniz, “crawl-delay” adlı bir direktif ekleyebilirsiniz. Bu satırı bloğunuza eklediğinizde şunlar olacaktır:

Crawl-Delay:10 Tarama yapmadan önce on saniye bekleyin.

Bir arama motoru kurulduğunda, bir siteyi taramadan önce on saniye beklemesi veya bir taramadan sonra siteye dönmeden önce on saniye beklemesi ayarlanabilir. Etki neredeyse aynıdır ancak kullanılan arama motoruna bağlı olarak biraz farklılık gösterir. Bir taramadan sonra, 1'lik bir Crawl-delay, arama motorlarının siteyi hemen taramaya başlayacağı anlamına gelir.

Robots.txt Oluşturmak İçin Google Search Console Kullanımı

Menü çubuğundan “tarayıcı erişimi”ni seçerek ücretsiz bir Google Search Console hesabı ile hızlıca bir robots.txt dosyası oluşturabilirsiniz. Temel bir Robots.txt dosyası oluşturmak için siteye geldiğinizde “robots.txt oluştur”u seçin.

“Eylem” altında “engelle”yi ve “User-agent” altında web sitenizde görmek istemediğiniz robotları seçin. “Dizinler ve dosyalar”ı seçin ve erişim dışında tutmak istediğiniz klasörlerin adlarını yazın. “http://www.yoursite.com” hiçbir şekilde bu stratejinin bir parçası olmamalıdır.” Örneğin, aşağıdaki sayfaların görünmesini istemiyorsanız, şunları yapabilirsiniz:

• http://www.yoursite.com/thank-you
• http://www.yoursite.com/free-stuff
• http://www.yoursite.com/private

Google Search Console'da, “dizinler ve dosyalar” alanına aşağıdakileri girin:/thank-you

• /free-stuff
• /private

Bunları tüm robotlar için girdikten ve “kural ekle”ye tıkladıktan sonra, nihai Robots.txt dosyası şöyle görünecektir.

Bunları tüm robotlar için girdikten ve “kural ekle”ye tıkladıktan sonra, nihai Robots.txt dosyası şöyle görünecektir.

Bir istisna yapmak ve bir komutla engellediğiniz bir web sitesine bir robotun erişmesine izin vermek isterseniz, varsayılan bir “İzin Ver” komutu bulunur.

Googlebot, sitenizin fotoğraflar dizinine yalnızca yasaklama komutu yanına yerleştirilirse erişebilir. Ardından, Robots.txt dosyanızı almak için “indir”e tıklayın. Engellemek istediğiniz sayfaları ve dosyaları seçtiğinizde “indir”e tıklayın, tekrar “indir”e tıklayın.

Robots.txt Dosyanızı Kurun

“Robots.txt” adlı bir dosya artık web sitenizin CNC alanının ana (www) dizinine eklenebilir. Bu, artık bulunabileceği anlamına gelir. Filezilla bunun için iyi bir FTP istemcisidir. Taranması engellenmesi gereken URL'lerin bir listesini verdikten sonra robots.txt dosyanızı bir web programcısına yaptırın. Bu ek bir seçenektir. Bu durumda, yetenekli bir web geliştiricisi işi bir saatten kısa sürede bitirecektir.

Noindex vs. Disallow

Birçok kişi, web sitenizin robots.txt dosyasında gezinme çubuğunda hangi kuralı kullanacağını bilmiyor. Bunun nedeni, önceki bölümde verilen nedenlerin Robots.txt noindex kurallarının artık çalışmamasına neden olmasıdır.

Sitenizin web sitesinde bir “noindex” meta etiketi bulunabilir ki bunu arama motorlarının web sayfalarınızdan birini dizinlemesini durdurmak için kullanabilirsiniz. Kural olarak, bu etiket web robotlarının sitenizi ziyaret etmesine izin verir, ancak aynı zamanda arama motorlarına sayfanızı dizinlememelerini söyler.

Uzun vadede noindex etiketi kadar etkili olmayabilir. Disallow kuralı bu etiket kadar etkili olmayabilir. Bu iyi bir şey çünkü robots.txt arama motorlarının sayfanızı taramasını durdurur. Diğer sayfalardan ve web sitelerinden gelen bilgilere dayanarak sayfanızı dizinlemelerini engellemez, ki bu da iyidir.

Bir sayfayı devre dışı bırakıp noindex etiketi ekleseniz bile, robotların bu etiketi bilmeyeceğini ve siz yapsanız bile sayfayı dizinlemeye devam edebileceğini unutmamak önemlidir.

Kaçınmak İsteyeceğiniz Hatalar

robots.txt dosyanızla yapabileceğiniz birçok şeyi ve onu nasıl kullanabileceğinizi öğrendiniz. Bu bölümde, her konuyu daha ayrıntılı olarak ele alacak ve yanlış kullanıldığında SEO üzerinde kötü bir etki yaratabileceğini göstereceğiz.

Halka açık hale getirmek istediğiniz faydalı bilgilere insanların erişmesini engellemek için bir robots.txt dosyası veya “noindex” etiketi kullanamazsınız. Geçmişte, SEO ile ilgili buna benzer birçok şeyin olduğunu gördük. Hepsi sonuçlar üzerinde kötü bir etki yarattı. Tüm web sayfalarınızın yayına girmeden önce noindex ve noblock etiketlerine ve kurallarına sahip olduğundan emin olmak önemlidir.

Crawl-delay direktifleri kullanıyorsanız, bunları çok sık kullanmamalısınız. Çünkü bunlar botların bakabileceği sayfa sayısını sınırlar. Öte yandan, büyük bir web sitesine sahip olmak, yüksek sıralamalar elde etmenizi ve çok sayıda ziyaretçi çekmenizi zorlaştırabilir.

Robot dosyanızın doğru okunmasını sağlamak için dosyanız için doğru Robots.txt formatını kullanmanız gerekir. Robot dosyasında tüm harfler küçük olmalıdır. Adı “robots.txt” olmalıdır. Aksi takdirde çalışmaz.

Kapanış – Robots.TXT'nizi Test Edin

Dosyanızın düzgün çalıştığından emin olmak için şimdi kontrol edilmelidir. Google Search Console'da bir robots.txt test kutusu kullanabilirsiniz, ancak yalnızca eski Google Search Console'u kullandıysanız, ki bu artık kullanılmıyor. Robots.txt test aracı, en son GSC nedeniyle artık çalışmıyor (Google, GSC'ye yeni özellikler eklemek için çok çalışıyor, bu yüzden belki gelecekte Robots.txt test aracını ana gezinmede görebileceğiz).

Robots.txt test aracının neler yapabileceği hakkında daha fazla bilgi edinmek isterseniz, Google'ın yardım sayfasına gidin. Başka bir faydalı araç daha var:

Sağdaki açılır menüden bir proje seçin. Örneğin, şirketinizin web sitesi veya başka bir proje üzerinde çalışabilirsiniz.

Eski robots.txt dosyasını yeni yaptığınızla değiştirmek için önce kutudaki her şeyi çıkarmanız gerekir. Bir testi başlatmak için “Test”e tıklayın.

“Test” değeri “İzin Verildi” olarak değiştirilmelidir. Bu, robots.txt dosyanızın doğru çalıştığından emin olacaktır.

robots.txt dosyanızın doğru olduğundan emin olarak, arama motoru performansınızı ve kullanıcı deneyimini aynı anda iyileştirebilirsiniz. Robotlar sitenizde arama ve dizinleme yaparak zaman geçirebilirse, insanların sitenizde bir şeyler ararken ne gördüğünü kontrol etmeniz daha kolay olur.

Sıkça sorulan sorular