Crawling i indeksiranje: vodič za tražilice

Osnovne definicije: crawling, indeksiranje, rangiranje

Tretirajte crawling i indeksiranje kao dvije odvojene faze. Crawling je proces otkrivanja i dohvaćanja: crawler posjećuje URL-ove, dohvaća odgovor servera i evidentira resurse koji utječu na rendering. Indeksiranje je faza ocjene i pohrane: nakon što se stranica dohvaći i (obično) renderira, tražilica odlučuje hoće li pohraniti stranicu u svoj indeks i učiniti je podobnom da se pojavi u rezultatima pretraživanja. Rangiranje je zasebna faza koja određuje poredak indeksiranog sadržaja za upite. Problemi u fazi crawlinga ili indeksiranja sprječavaju stranicu da uopće uđe u konkurenciju za rangiranje.

Kako crawling funkcionira u praksi

Kad crawler zatraži URL, promatra HTTP status kodove, preusmjeravanja, zaglavlja odgovora i HTML/CSS/JS koje server vraća. Crawler otkriva linkove (HTML anchor-e, stavke u sitemapu, hreflang linkove), ugrađene resurse i skripte koje mogu proizvesti dodatne URL-ove za dohvat. Važne operativne napomene:

• Crawleri prate interne linkove i vanjske backlinks kao signale za otkrivanje.

• Robots.txt se provjerava prije dohvaćanja stranica; može spriječiti crawling, ali ne nužno indeksiranje ako postoje drugi signali.

• JavaScript renderiranje: mnogi moderni crawleri renderiraju stranice, ali blokirani ili spori resursi mogu zaustaviti renderiranje i sakriti sadržaj. Koristite server-side rendering ili osigurajte da je kritični sadržaj dostupan u početnom HTML-u kad je moguće.

• Crawl budget i učestalost: tražilice prioritetiziraju koje URL-ove treba ponovno posjetiti. Vrlo velike web-lokacije trebaju kontrolirati broj indeksibilnih URL-ova kako bi izbjegle nepotrebno crawlanje niskovrijednih stranica.

Indeksiranje: što određuje hoće li se stranica pohraniti

Odluke o indeksiranju koriste mnoge signale: robots meta tags, X-Robots-Tag zaglavlja, canonical tagovi, kvaliteta sadržaja, dupliciranje i strukturirani podaci. Da bude crawlana je nužno, ali ne i dovoljno za indeksiranje — stranica može biti crawlana i isključena iz indeksa ako ju tražilica ocijeni niskovrijednom ili je izričito upućena na isključivanje.

Praktični primjeri direktiva koje utječu na indeksiranje:

• HTML meta robots primjer: <meta name="robots" content="noindex, nofollow">

• Primjer canonicala: <link rel="canonical" href="https://example.com/preferred-page">

• Primjer HTTP zaglavlja (X-Robots-Tag): X-Robots-Tag: noindex

Verifikacija: kako provjeriti crawling i indeksiranje (vlastiti site vs third-party)

Za stranice koje posjedujete (autoritativne provjere)

Koristite Google Search Console URL Inspection za potvrdu statusa crawlanja i indeksiranja, pregled live rendera i uočavanje problema s pokrivenošću za taj URL. Izvještaji Coverage i Pages pomažu locirati grupe problema s indeksacijom. Koristite Rich Results Test za validaciju strukturiranih podataka i provjeru je li rezultat podoban za proširene značajke.

Za stranice trećih strana/izdavača (vanjska verifikacija)

Kada ne kontrolirate domenu, oslonite se na javne signale i live fetch-ove. Koristite curl i preglednik za inspekciju HTML-a koji stranica poslužuje, provjerite HTTP zaglavlja i potvrdite da link postoji u izvoru stranice i renderiranom DOM-u. Primjeri naredbi:

• Dohvati samo zaglavlja: curl -I https://example.com/page (vraća samo zaglavlja odgovora).

• Dohvati HTML kao mobilni user-agent: curl -A "Mozilla/5.0 (Linux; Android 12)" https://example.com/page (dohvaća puni HTML odgovor za taj UA).

• Provjerite renderirani DOM u Chrome DevTools Elements panelu ili pomoću headless renderera kako biste bili sigurni da se link ne injektira naknadno na način koji tražilice možda neće izvršiti.

Koristite site: operator (npr. site:publisher.com "unique phrase") kao javni indikator indeksacije — može biti koristan, ali nije definitivno. Za Bing, koristite Bing Webmaster Tools Site Explorer za provjeru signala indeksacije.

Česte pogreške i kako ih popraviti

• Robots.txt blokira važne resurse: robots.txt može spriječiti crawlere da dohvate CSS/JS potrebne za renderiranje sadržaja. Rješenje: dopustite kritične assete ili koristite server-side rendering za ključni sadržaj.

• Slučajno noindex ili X-Robots-Tag zaglavlja: provjerite template-e, staging pravila i CDN edge konfiguraciju zbog zaglavlja koja dodaju noindex. Koristite curl -I za inspekciju zaglavlja.

• Neispravna upotreba canonical-a: usmjeravanje velikog broja stranica na krivi canonical može ukloniti preferirane stranice iz indeksa. Osigurajte da canonical linkovi pokazuju na najbolju jedinstvenu verziju sadržaja.

• Prekomjerno indeksiranje niskovrijednih stranica (faceted navigation, thin archives): smanjite indeksibilne permutacije koristeći canonicalizaciju, rukovanje parametrima ili namjerni noindex za niskovrijedne varijante.

• Snažno oslanjanje na client-side rendering bez server fallbacka: osigurajte da se kritični sadržaj pojavljuje u početnom HTML-u ili se brzo renderira; inače crawleri možda neće izvršiti potrebne skripte ili će indeksiranje trajati duže.

Praktična kontrolna lista za audit

Kratki vodič za pronalaženje i otklanjanje problema s otkrivanjem/indeksacijom. Radite odozgo prema dolje na stranicama ili dijelovima sajta koji su Vam najvažniji.

1. Potvrdite da je namjerni canonical URL poslan u HTML-u i da ne konfliktira sa server redirectima.
2. Provjerite robots.txt zbog disallow pravila koja utječu na stranicu ili njezine CSS/JS assete: curl https://example.com/robots.txt
3. Provjerite response header-e: curl -I https://example.com/page i provjerite X-Robots-Tag, status kodove i cache-control vrijednosti.
4. Validirajte meta robots u HTML-u stranice: provjerite niste li slučajno ostavili noindex.
5. Koristite URL Inspection (Search Console) za autoritativne detalje o crawlanju i indeksiranju za stranice koje posjedujete, i pokrenite Live Test da vidite trenutni renderirani output.
6. Provjerite internal linking: osigurajte da su važne stranice povezane iz globalne navigacije, kategorijskih stranica ili kontekstualnog sadržaja kako bi crawleri mogli doseći te stranice u razumnoj dubini.
7. Revidirajte duplicirani i skoro-duplicirani sadržaj: odlučite koje verzije trebaju biti indeksirane i canonicalizirajte ili koristite noindex gdje je prikladno.

Ažuriranja konteksta za 2026. o kojima biste trebali biti svjesni

Google koristi mobilnu verziju kao primarnu osnovu za crawling i indeksiranje. Od July 2024. Google crawla stranice za Search pomoću Googlebot Smartphone po defaultu. Google je također uklonio tradicionalne cached stranice početkom 2024., pa 'Cached' prikaz više nije resurs za rješavanje problema. Search Generative Experience / AI Overviews sada su mainstream u mnogim SERP-ovima; to što je stranica indeksirana ne jamči da će se pojaviti u AI sažecima, koji koriste dodatnu logiku odabira i sažimanja.

Daljnji savjeti za rješavanje problema

Ako stranice nisu indeksirane unatoč tome što su crawlable, pregledajte server logove kako biste potvrdili pokušaje dohvaćanja od crawlera i response kodove. Server logovi otkrivaju jesu li crawleri dobili 200, 3xx, 4xx ili 5xx odgovore i koji su user-agent-i korišteni. Spori TTFB, česte 5xx greške ili agresivna ograničenja brzine mogu smanjiti učestalost ponovnih posjeta.

Za stranice bogate JavaScriptom, usporedite raw HTML (curl) s renderiranim DOM-om (DevTools) kako biste pronašli sadržaj koji se nikad ne pojavi bez specifičnih korisničkih interakcija. Ako kritični sadržaj zahtijeva interakcije, izložite server-rendered ili pre-rendered verziju za crawlere.

Kratki pregled: korisni alati

• Google Search Console (URL Inspection, Coverage report).

• Rich Results Test i Schema Markup validator za strukturirane podatke.

• Chrome DevTools (Network, Performance, Elements) i headless rendereri.

• curl za inspekciju zaglavlja i sadržaja; server logovi za autoritativne zapise o crawlanju; Bing Webmaster Tools Site Explorer za provjeru Bing indeksa.

FAQ