Crawling i indexiranje: vodič za pretraživače

Osnovne definicije: crawling, indexiranje, rangiranje

Posmatrajte crawling i indexiranje kao dva odvojena stadijuma. Crawling je proces otkrivanja i preuzimanja: crawler posećuje URL-ove, preuzima odgovor servera i beleži resurse koji utiču na renderovanje. Indexiranje je faza procene i skladištenja: nakon što je stranica preuzeta i (obično) renderovana, pretraživač odlučuje da li da je sačuva u indeksu i učini je podobnom da se pojavi u rezultatima pretrage. Rangiranje je zaseban stadijum koji poređa indeksirani sadržaj za queries. Problemi u fazi crawl-a ili indexiranja sprečavaju stranicu da uopšte uđe u takmičenje za rangiranje.

Kako crawling funkcioniše u praksi

Kada crawler zahteva URL, posmatra HTTP status kodove, redirekte, zaglavlja odgovora i HTML/CSS/JS koje server vraća. Crawler otkriva linkove (HTML anchor-e, stavke iz sitemap-a, hreflang linkove), ugrađene resurse i skripte koje mogu proizvesti dodatne URL-ove za preuzimanje. Važne operativne tačke:

• Crawleri prate interne linkove i spoljne backlinks kao signale za otkrivanje.

• Robots.txt se proverava pre preuzimanja stranica; može sprečiti crawling, ali ne mora nužno sprečiti indexiranje ako postoje drugi signali.

• JavaScript renderovanje: mnogi moderni crawleri renderuju stranice, ali blokirani ili spori resursi mogu zaustaviti renderovanje i sakriti sadržaj. Koristite server-side rendering ili obezbedite da je kritični sadržaj dostupan u početnom HTML-u kad je to moguće.

• Crawl budget and frequency: search engines prioritetizuju koje URL-ove ponovo posećuju. Veoma veliki sajtovi treba da upravljaju površinom indexable URL-ova kako bi izbegli nepotrebno crawlanje niskovrednih stranica.

Indexiranje: šta određuje da li se stranica sačuva

Odluke o indexiranju koriste mnoge signale: robots meta tags, X-Robots-Tag header-i, canonical tagovi, kvalitet sadržaja, duplikacija i structured data. To što je stranica crawlovana je neophodno ali nije dovoljno za indexiranje — stranica može biti crawlovana i izuzeta iz indeksa ako engine proceni da je niskovredna ili je eksplicitno naznačeno da se izuzme.

Praktični primeri direktiva koje utiču na indexiranje:

• HTML meta robots primer: <meta name="robots" content="noindex, nofollow">

• Primer canonical taga: <link rel="canonical" href="https://example.com/preferred-page">

• Primer HTTP zaglavlja (X-Robots-Tag): X-Robots-Tag: noindex

Verifikacija: kako proveriti crawling i indexiranje (sopstveni sajt naspram trećih strana)

Za stranice koje posedujete (autoritativne provere)

Koristite Google Search Console's URL Inspection da potvrdite status crawla i indexa, pregledate live render i vidite probleme u Coverage izveštaju za taj URL. Izveštaji Coverage i Pages pomažu da nađete grupe problema sa indexacijom. Koristite Rich Results Test da validirate structured data i proverite da li je rezultat podoban za poboljšane prikaze.

Za stranice trećih lica/izdavača (eksterna verifikacija)

Kada ne kontrolišete domen, oslonite se na javne signale i live fetch-ove. Koristite curl i browser da pregledate HTML koji sajt isporučuje, proverite HTTP zaglavlja i potvrdite da link postoji u izvoru stranice i u renderovanom DOM-u. Primer komandi:

• Dohvati samo zaglavlja: curl -I https://example.com/page (vraća samo zaglavlja odgovora).

• Dohvati HTML kao mobilni user-agent: curl -A "Mozilla/5.0 (Linux; Android 12)" https://example.com/page (dohvata kompletan HTML odgovor za taj UA).

• Proverite renderovan DOM u Chrome DevTools Elements panelu ili pomoću headless renderer-a da biste se uverili da link nije injektovan kasnije na način koji search engines možda neće izvršiti.

Koristite site: operator (npr. site:publisher.com "unique phrase") kao javni pokazatelj indeksacije — može biti koristan ali nije definitivni. Za Bing, koristite Bing Webmaster Tools' Site Explorer za inspekciju signala indeksacije.

Uobičajene greške i kako ih popraviti

• Robots.txt blokira važne resurse: robots.txt može sprečiti crawlere da preuzmu CSS/JS neophodne za renderovanje sadržaja. Rešenje: dozvolite kritične assete ili koristite server-side rendering za osnovni sadržaj.

• Slučajno noindex ili X-Robots-Tag zaglavlja: proverite template-e, staging pravila i CDN edge konfiguraciju za zaglavlja koja dodaju noindex. Koristite curl -I da pregledate zaglavlja.

• Neispravna upotreba canonical taga: upućivanje mnogih stranica na pogrešan canonical može ukloniti preferirane stranice iz indeksa. Uverite se da canonical linkovi pokazuju na najbolju jedinstvenu verziju sadržaja.

• Prekomerno indeksiranje niskovrednih stranica (faceted navigation, thin archives): smanjite broj indexable permutacija koristeći canonicalizaciju, rukovanje parametrima ili namerno noindex-ovanje niskovrednih varijanti.

• Snažno oslanjanje na client-side rendering bez server fallback-a: obezbedite da kritični sadržaj bude u početnom HTML-u ili da se brzo renderuje; inače crawleri možda neće izvršiti neophodne skripte ili će indeksiranje trajati duže.

Praktična kontrolna lista za audit

Kratki pregled za pronalaženje i otklanjanje problema sa otkrivanjem/indexacijom. Radite odozgo-nadole na stranicama ili sekcijama sajta koje su vam najvažnije.

1. Potvrdite da se nameravani canonical URL servisira u HTML-u i da nije u konfliktu sa server redirect-ima.
2. Proverite robots.txt zbog disallow pravila koja utiču na stranicu ili njene CSS/JS assete: curl https://example.com/robots.txt
3. Pregledajte zaglavlja odgovora: curl -I https://example.com/page i potražite X-Robots-Tag, status kodove i cache-control vrednosti.
4. Validirajte meta robots u HTML-u stranice: proverite da li niste nenamerno ostavili noindex.
5. Koristite URL Inspection (Search Console) za autoritativne informacije o crawlu i indexu za stranice koje posedujete, i pokrenite Live Test da vidite trenutno renderovan ishod.
6. Proverite interne linkove: osigurajte da su važne stranice povezane iz globalne navigacije, strana kategorija ili kontekstualnog sadržaja tako da crawleri mogu da ih dosegnu u razumnom broju skokova.
7. Auditujte duplirani i gotovo duplirani sadržaj: odlučite koje verzije treba indeksirati i canonicalizujte ili koristite noindex gde je prikladno.

Ažuriranja konteksta za 2026. koja treba da imate na umu

Google koristi mobilnu verziju kao primarnu osnovu za crawling i indexiranje. Od jula 2024. Google podrazumevano crawluje sa Googlebot Smartphone za Search. Google je takođe uklonio tradicionalne cached stranice početkom 2024., pa 'Cached' prikaz više nije resurs za troubleshooting. Search Generative Experience / AI Overviews su sada rašireni u mnogim SERP-ovima; to što je stranica indeksirana ne garantuje da će se pojaviti u AI sažecima, koji koriste dodatnu logiku selekcije i sažimanja.

Dodatni saveti za rešavanje problema

Ako stranice nisu indeksirane iako su crawlable, pregledajte server logove da potvrdite pokušaje fetch-a od strane crawlera i response kodove. Server logovi otkrivaju da li su crawleri dobili 200, 3xx, 4xx ili 5xx odgovore i koji user-agent-i su korišćeni. Sporo TTFB, česte 5xx greške ili agresivna ograničenja brzine mogu smanjiti učestalost ponovnih poseta.

Za sajtove koji intenzivno koriste JavaScript, uporedite sirovi HTML (curl) sa renderovanim DOM-om (DevTools) da pronađete sadržaj koji se nikad ne pojavljuje bez specifičnih korisničkih interakcija. Ako kritični sadržaj zahteva interakcije, ponudite crawlerima server-rendered ili pre-rendered verziju.

Brzi pregled: korisni alati

• Google Search Console (URL Inspection, Coverage report).

• Rich Results Test i Schema Markup validator za structured data.

• Chrome DevTools (Network, Performance, Elements) i headless renderer-i.

• curl za inspekciju zaglavlja i sadržaja; server logovi za autoritativne zapise crawla; Bing Webmaster Tools Site Explorer za provere Bing indeksa.

FAQ