Kako koristiti robots.txt za SEO

Šta ovaj vodič pokriva

Ovaj članak objašnjava šta robots.txt kontroliše i šta ne, prikazuje ispravnu sintaksu i praktične primere, daje komande iz komandne linije koje možete pokrenuti i navodi korake za rešavanje uobičajenih grešaka. Takođe dobijate savete za verifikaciju koji funkcionišu u 2026. okruženjima za pretragu (mobile-first indexing je podrazumevano za Google od jula 2024. i Google je uklonio tradicionalne keširane stranice početkom 2024.).

Šta je robots.txt i šta kontroliše

robots.txt je običan tekstualni fajl u korenu sajta koji prosleđuje instrukcije za crawling dobro ponašajućim web robots. Deo je Robots Exclusion Standard. Koristite fajl da kažete crawler-ima koje putanje mogu da preuzimaju; on kontroliše crawling, ne indexing ili ranking.

Ključne razlike koje treba imati na umu:

Crawling vs indexing vs ranking — robots.txt utiče na crawling (šta agent preuzima). URL blokiran za crawling i dalje može biti indexed ako na njega linkuju druge stranice i search engine odluči da indexuje URL bez preuzimanja njegovog sadržaja.

robots.txt je preporuka — samo crawleri koji se pridržavaju pravila će je poštovati. Maliciozni botovi, harvesteri spama i neki skeneri je mogu ignorisati.

robots.txt ne zamenjuje kontrole pristupa. Za privatni sadržaj koristite HTTP authentication, zaštitu lozinkom ili serverske kontrole.

Gde robots.txt mora da stoji i osnovna pravila

robots.txt mora biti dostavljen iz korena sajta na tačnom hostu i protokolu na koje se pravila odnose. Primeri lokacija koje su različite: https://example.com/robots.txt i https://sub.example.com/robots.txt. Ne možete staviti robots.txt u podfolder i očekivati da kontroliše ceo domen.

Za praktičnost i primere u ovom vodiču, kanonska test putanja je http://www.yoursite.com/robots.txt.

Sintaksa robots.txt i uobičajene direktive

Minimalan robots.txt koristi direktive grupisane po user-agent. Redovi nisu osetljivi na velika/mala slova za imena direktiva. Primeri ispod koriste standardne tokene koje podržava većina glavnih crawlers:

Blokirajte sve crawlere iz direktorijuma:

User-agent: *

Disallow: /private/

Dozvolite specifičan fajl dok zabranjujete njegov direktorijum (korisno za Googlebot-style parsiranje):

User-agent: *

Disallow: /images/

Allow: /images/logo.png

Sitemaps se mogu deklarisati u robots.txt da usmere crawlere na vaš XML sitemap:

Sitemap: http://www.yoursite.com/sitemap.xml

Pattern matching: major search engines podržavaju asterisk (*) wildcard i znak za kraj stringa ($) u robots.txt obrascima. Ne-standardna direktiva Crawl-delay se ignoriše od strane nekih engine-a (Google ne podržava Crawl-delay).

Praktični primeri

1) Dozvolite svim crawler-ima da preuzimaju sve (podrazumevana bezbedna opcija):

User-agent: *

Disallow:

2) Blokirajte jednog crawler (npr. zabranite određenom agentu pristup celom sadržaju):

User-agent: BadBot

Disallow: /

3) Sprečavanje crawlera da preuzimaju resurse potrebne za renderovanje (uobičajena greška — vidi rešavanje problema):

Disallow: /static/js/

Blokiranje CSS/JS može sprečiti Google da vidi vašu stranicu onako kako je vide korisnici. Pošto Google koristi mobilnu verziju kao primarnu osnovu za crawling and indexing i ocenjuje Core Web Vitals sa renderovane stranice, ne blokirajte resurse potrebne za renderovanje.

Kako verifikovati i otkloniti probleme sa robots.txt

Osnovne provere koje možete pokrenuti van sajta:

Preuzmite telo fajla: curl http://www.yoursite.com/robots.txt — ovo vraća sadržaj fajla koji bi crawler video.

Proverite samo zaglavlja: curl -I http://www.yoursite.com/robots.txt — proverava HTTP status (200 vs 4xx/5xx) i Content-Type. -I vraća samo zaglavlja odgovora.

Pogledajte kako ga pregledači primaju: otvorite https://www.yoursite.com/robots.txt u pregledaču i potvrdite isti sadržaj kao curl.

Pregledajte server logove za stvarne zahteve crawlera ka /robots.txt i za Googlebot ili druge agente koji pokušavaju da preuzmu blokirane stranice — logovi su najpouzdaniji signal ponašanja crawlera treće strane.

Provere koje treba da pokrenete kada posedujete vlasništvo nad sajtom:

Koristite URL Inspection u Google Search Console za pojedinačne stranice da vidite da li je Google preuzeo ili indexovao URL. URL Inspection je autoritativan za property-e koje posedujete.

Nakon promene robots.txt, nadgledajte server logove i Performance izveštaj u Search Console da potvrdite ponašanje crawla za važne stranice.

Uobičajeni znaci problema i šta uraditi

Slučajno ste blokirali CSS/JS — simptom: stranice se renderuju drugačije za crawlere; Rešenje: uklonite putanje resursa iz Disallow tako da crawleri mogu da ih preuzmu.

robots.txt vraća 404/5xx — simptom: neki crawleri mogu tretirati sajt kao potpuno crawlable ili privremeno obustaviti crawling; Rešenje: vratite validan robots.txt koji vraća 200 i ispravan Content-Type.

Blokirali ste ceo host ili protokol postavljanjem robots.txt na pogrešan poddomen — simptom: stranice nestaju iz crawl logova; Rešenje: dodajte robots.txt na ispravan host (i proverite redirects).

Ako je stranica blokirana za crawling ali se i dalje pojavljuje u rezultatima pretrage bez isječka, to znači da je URL indexovan na osnovu eksternih signala iako sadržaj nije preuzet. Da biste uklonili takve URL-ove iz rezultata, koristite odgovarajuću HTTP autentifikaciju, uklonite stranicu ili servirajte noindex direktivu na samoj stranici (noindex zahteva da crawler preuzme stranicu, tako da je nemojte blokirati u robots.txt ako planirate da koristite noindex).

Kontrolna lista: bezbedno postavljanje i pregled robots.txt

Postavite robots.txt u koren sajta za tačan host i protokol.

Testirajte fajl sa curl (telo i zaglavlja) i u pregledaču.

Izbegavajte blokiranje CSS, JavaScript, ili drugih asset-a koji se koriste za renderovanje, osim ako namerno ne želite da sprečite renderovanje za crawlere.

Objavite sitemape u robots.txt da pomognete crawler-ima da otkriju vaše indexable URLs.

Nadgledajte server logove i Search Console zbog ponašanja crawla nakon promena.

Ako vam treba referenca korak-po-korak, pročitajte Read the Technical SEO Guide za širi kontekst o crawlability i Core Web Vitals.

Dodatna razmatranja za 2026.

Pošto Google koristi mobilnu verziju kao primarnu osnovu za crawling i indexing i pošto su tradicionalne keširane stranice uklonjene početkom 2024, sadržaj namerno skriven od crawlera putem robots.txt može biti manje verovatno da će se pojaviti u modernim AI-driven pregledima i Search Generative Experience funkcijama. Ako želite da sadržaj bude dostupan AI pregledima ili da bude korišćen za bogate SERP funkcije, dozvolite crawler-ima da preuzmu i indexuju stranicu i koristite strukturirane podatke gde je prikladno.

FAQ