Tarama ve dizine ekleme: Arama motorlarının keşif süreci

Tarama ve dizine ekleme: temel tanımlar

Tarama ve dizine ekleme, arama motorlarının sitenizi keşfetme ve içeriğinizi depolama süreçlerini ayıran iki aşamadır. Tarama (crawling), arama motorlarının URL'leri keşfedip HTML/HTTP yanıtlarını aldığı aşamadır. Dizine ekleme (indexing), taranan içeriğin arama motorunun dizininde saklanıp saklanmayacağının ve hangi ölçütlerle değerlendirilip sıralanabileceğinin belirlendiği aşamadır. Bu üçlemeyi net ayırın: keşif → tarama → dizine ekleme; ayrıca sıralama (ranking) dizine ekleme sonrası uygulanan çoklu sinyallerin sonucudur.

Taramanın nasıl işlediği ve keşif yolları

Arama motorları yeni ve var olan URL'leri birkaç kaynakla keşfeder. Dahili bağlantılar, sitenizin kendi bağlantı yapısı içinde gezinmeyi sağlar; XML sitemap'ler arama motorlarına hangi URL'lerin önemli olduğunu bildirir; harici backlink'ler ise başka siteler üzerinden keşif sağlar. Ayrıca arama motorlarının tekrar ziyaret ettiği bilinen URL listeleri ve önceden keşfedilmiş kaynaklar taramaya yön verir.

Önemli keşif kaynakları

• Dahili bağlantılar: Sayfa keşfi için en güvenilir yöntem. Zayıf iç bağlantılar veya çok derin URL'ler keşfi zorlaştırır.
• XML sitemap'ler: Sayfaların listesini sunar; metadata (lastmod, changefreq) yardımcı olabilir. (Google's sitemap protocol specification: up to 50,000 URLs per sitemap file.)
• Backlink'ler: Dış sitelerden gelen bağlantılar yeni sayfaların keşfine katkı sağlar. Ancak dış sitenin index durumu ve erişilebilirliği önemlidir.
• Discovery API'leri ve yayıncı bildirimleri: Bazı arama motorlarının sunduğu bildirim yolları keşfi hızlandırabilir.

Crawling davranışını etkileyen teknik faktörler

• Sunucu hızı ve yanıt kodları (2xx, 3xx, 4xx, 5xx) – yavaş yanıt taramayı kısıtlar.
• robots.txt kuralları ve X-Robots-Tag başlıkları – taramanın erişimini sınırlar.
• Dinamik yüklemeler / JavaScript render problemi – sayfanın sunulan HTML ile render edilmiş DOM'un eşdeğer olması gerekir.
• Yönlendirme zincirleri ve döngüler – taramayı engelleyebilir veya kaynak israfına yol açar.
• Tarama bütçesi (crawl budget) faktörleri – büyük veya sık değişen sitelerde etkilidir; önceliklendirme gerekir.

Dizine ekleme: değerlendirme, noindex ve canonicals

Bir sayfa tarandıktan sonra arama motorları, sayfayı dizine ekleyip eklememeye karar verir. Bu karar hem sayfanın teknik sinyallerine (robots meta, X-Robots-Tag, canonical) hem de içerik kalitesine ve özgünlüğe dayanır. Dizine ekleme, tarama ile karıştırılmamalıdır: bir sayfa taranabilir ama dizine eklenmeyebilir.

Sık kullanılan dizine ekleme sinyalleri

• <meta name="robots" content="noindex"> veya HTTP başlığında X-Robots-Tag: noindex — arama motorlarına dizine eklememe isteği iletilir.
• canonical etiketi — sayfalar arasındaki tercihli URL'yi belirtir; canonical hedefinin dizine eklenmesi tercih edilir.
• İçerik kalitesi, özgünlük ve kullanıcı değeri — dizine ekleme kararında rol oynar.
• Teknik engeller (login gereksinimi, erişim hataları) — dizine eklemeyi azaltır.

Tarama ve dizine ekleme nasıl doğrulanır — araçlar ve komutlar

Doğrulama iki bağlamda yapılır: (A) Sitenizin kendi sayfaları için sahip olduğunuz doğrulama araçları ve (B) dış kaynaklarda (yayıncılar, backlink sağlayan siteler) gözlemleyebileceğiniz adımlar. Aşağıda her iki bağlam için pratik adımlar vardır.

Sahip olduğunuz site için (yetkili araçlar)

• Google Search Console URL Inspection aracı ile canlı test: URL'in tarama ve dizine ekleme durumunu görür, canlı işleme sırasında hangi kaynakların render edildiğini ve varsa hata mesajlarını kontrol edersiniz.
• Rich Results Test ve Schema Markup Validator: yapılandırılmış verinin doğru işlendiğini kontrol edin.
• Sunucu log analizi: hangi user-agent'ların sitenizi ne sıklıkla taradığı, hangi status kodları döndüğü ve tarama bütçesi kullanımını doğrudan sunucu loglarından görürsünüz.
• Chrome DevTools (Network ve Elements): sayfanın render edilmiş DOM'unu kontrol edin; JavaScript ile dinamik eklenen linklerin kullanıcı ve bot için görünüp görünmediğini doğrulayın.

Sahip olmadığınız dış siteler için (dış doğrulama)

• HTML kaynağını ve render edilmiş DOM'u kontrol etmek: HTML için curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page ; sadece başlıkları görmek için curl -I https://example.com/page kullanın. (curl -I sadece HTTP başlıklarını döndürür.)
• Sayfanın render edilen hali için gerçek tarayıcıda View Source ve Elements panellerini karşılaştırın; JavaScript ile eklenen içeriğin arama motoru için erişilebilir olduğundan emin olun.
• Google'da site:example.com "benzersiz içerik cümlesi" sorgusu — bu, sayfanın Google tarafından keşfedilmiş olup olmadığına dair kamuya açık bir gösterge sağlar; ancak site: operatörü kesin bir index kontrolü değildir.
• Bing Webmaster Tools Site Explorer: Bing tarafından keşif ve index durumunu dışarıdan incelemek için kullanılabilir.

Yaygın hatalar ve nasıl çözülür

Aşağıdaki liste, tarama ve dizine ekleme ile ilgili sık karşılaşılan sorunları ve pratik düzeltmeleri içerir.

1) Sayfalar yanlışlıkla noindex veya X-Robots-Tag ile engellenmiş
Çözüm: meta robots ve sunucu tarafı X-Robots-Tag başlıklarını kontrol edin; Google Search Console URL Inspection'da canlı testi çalıştırın.

2) Kritik sayfalar zayıf dahili bağlantı nedeniyle keşfedilmiyor (orphan pages)
Çözüm: önemli sayfalara mantıklı bir iç bağlantı yapısı ekleyin; breadcrumb ve kategori sayfalarını güçlendirin.

3) JavaScript ile içerik dinamik oluşturuluyor ama render problemi var
Çözüm: sunucu tarafı render (SSR) veya hibrit çözümler düşünün; Chrome DevTools ve GSC canlı testi ile render edilen DOM'u doğrulayın.

4) Yönlendirme zincirleri veya döngüler
Çözüm: yönlendirme zincirlerini düzeltin, gereksiz 301/302 adımlarını kaldırın.

5) Robots.txt yanlış kuralları
Çözüm: robots.txt dosyasını doğrulayın; GSC'deki robots.txt test aracını kullanın ve önemli klasörlerin yanlışlıkla disallow edilmediğinden emin olun.

6) Sunucu hata kodları veya yavaş yanıt
Çözüm: performans iyileştirmeleri, CDN ve sunucu yapılandırması; tarama bütçesi kullanımını loglardan izleyin.

XML sitemap'ler ve robots direktifleri: en iyi uygulamalar

XML sitemap'leri, arama motorlarına sitenizdeki tercihli URL'leri iletmenin düzenli bir yoludur. Sitemap'lerde yalnızca indekslenmesini istediğiniz URL'leri listeleyin; noindex sayfaları sitemap'e koymaktan kaçının. Ayrıca sitemap'leri robots.txt içinde referans gösterebilirsiniz.

Robots.txt, site genelinde tarama erişimini kontrol ederken meta robots ve X-Robots-Tag daha ince ayarlar sağlar. robots.txt ile 'disallow' uygulamak, sayfanın indekslenmesini otomatik olarak engellemez; dizine eklemeyi önlemek için noindex kullanılmalıdır. Ancak, robots.txt ile engellenen sayfalar dizine girmeyebilir çünkü arama motoru sayfayı tarayamayıp içeriği göremez—bu nedenle hangi yöntemin hangi amaçla kullanılacağını net belirleyin.

Ücretli yerleşimler, link öznitelikleri ve Google'ın politikası

Backlink'ler keşif için kaynak olabileceği gibi, ücretli yerleşimler ve sponsorlu içerikler tarama ve dizine ekleme bağlamında dikkat gerektirir. Google, bağlantıların birincil amacı sıralamayı manipüle etmekse bunları link spam olarak değerlendirebilir. Ücretli veya ticarî amaçlı bağlantılar için rel="sponsored" veya rel="nofollow" kullanılması Google'ın açık rehberliğindedir; rel="ugc" kullanıcı tarafından oluşturulan içeriğe uygulanır. rel="dofollow" diye bir öznitelik yoktur — normal bir link, rel özniteliği içermiyorsa 'normal' link olarak işlem görür.

Örnek HTML gösterimi:
• Normal link: örnek
• Sponsorlu içerik: örnek
• Kullanıcı kaynaklı içerik: örnek
• Dizine eklenmesini istemediğiniz linkler için (ek derece şeffaflık): örnek

rel="nofollow" Google tarafından 2019'dan beri bir 'ipuçu' (hint) olarak ele alınır; yani bu öznitelik arama motoru tarafından esnetilebilir. Her durumda, ücretli veya tescilli linkler için doğru rel özniteliğini kullanmak hem Google politikasına uyum sağlar hem de şeffaflık açısından önemlidir.

Yayıncı seçiminde indexlenebilirlik önemlidir: bir backlink yalnızca o sayfa arama motoru tarafından indekslenmişse SEO açısından anlamlı sinyal verme potansiyeline sahiptir. BlogDrip gibi pazar yerlerinde yayıncıları değerlendirirken, yayıncı sayfalarının gerçek zamanlı index durumunu ve erişilebilirliğini kontrol etmek, sadece üçüncü taraf metriklere (DR/DA vb.) bakmaktan daha değerlidir; platformları değerlendirirken index ve crawl durumunun nasıl doğrulandığını sorgulayın.

Kısa checklist: yaygın sorunları hızlı kontrol

• Google Search Console URL Inspection ile canlı testi çalıştırın.
• curl -I ile HTTP başlıklarını kontrol edin; tam HTML için curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://example.com/page kullanın.
• robots.txt ve X-Robots-Tag başlıklarını doğrulayın.
• Önemli sayfaların dahili bağlantı sayısını ve erişim yolunu kontrol edin (orphan page var mı?).
• XML sitemap'inizi güncel tutun ve yalnızca indekslenmesini istediğiniz URL'leri ekleyin.
• Yavaş sayfalar için LCP/INP gibi Core Web Vitals ölçümlerini ve sunucu yanıt sürelerini kontrol edin.
• Backlink geldiği sitenin index durumunu site: sorgusu ve curl ile kontrol edin (site: operatörü kesin değildir, sadece gösterge verir).

Doğrulama örnekleri: adım adım

Adım 1 — Hızlı teknik kontrol: curl -I ve GSC URL Inspection
• curl -I https://example.com/page ile HTTP başlıklarını kontrol edin (status, cache-control, X-Robots-Tag).
• Ardından Google Search Console URL Inspection'da aynı URL için Canlı Test çalıştırın; render edilmiş HTML'yi ve varsa mobil/desktop farklılıklarını inceleyin.

Adım 2 — İçerik erişilebilirliği: Chrome DevTools
• Gerçek kullanıcı görünümü ile bot görünümünü karşılaştırın. Elements panelinde linklerin ve ana içerik bloklarının DOM'da yer aldığını doğrulayın.

Adım 3 — Dış keşif kaynaklarının kontrolü
• Backlink sağlayanı doğrulamak için HTML kaynağı ve curl kullanın; sayfa index durumunu kontrol etmek için site: ve benzersiz içerik sorgularını deneyin.

Adım 4 — Düzenli izlemler
• Sunucu logları ve GSC verilerini periyodik olarak karşılaştırın; yeni sayfaların keşif ve dizine giriş sürecini izleyin.

Kaynaklar ve ileri okuma

Bu bölümde anlatılan doğrulama adımları ve kontrol listeleri, teknik SEO'nun arama motoruyla iletişim kurma temelini oluşturur. Konuların genişletilmiş uygulamaları için site mimarisi, canonical stratejileri ve taranabilirlik üzerine diğer rehber bölümlerine bakın: Teknik SEO Rehberi'ni okuyun.

Sıkça sorulan sorular