kako uporabiti datoteko robots.txt za SEO

Kaj ta vodič zajema

Ta objava pojasnjuje, kaj robots.txt nadzoruje in česa ne, prikazuje pravilno sintakso in praktične primere, ponuja ukaze v ukazni vrstici za preverjanje in navaja korake za odpravljanje napak. Dobili boste tudi nasvete za preverjanje, ki delujejo v iskalnih okoljih 2026 (mobile-first indexing je privzeta nastavitev Google od Julija 2024 in Google je v začetku 2024 odstranil tradicionalne predpomnjene strani).

Kaj je robots.txt in kaj nadzoruje

robots.txt je navadna tekstovna datoteka v korenu spletnega mesta, ki sporoča navodila spletnim pajkom. Je del Robots Exclusion Standard. Uporabite datoteko, da pajkom poveste, katere poti smejo pridobiti; nadzoruje brskanje, ne indeksiranja ali rangiranja.

Ključne razlike, ki jih je treba upoštevati:

Brskanje vs indeksiranje vs rangiranje — robots.txt vpliva na brskanje (kaj agent pridobi). URL, blokiran za brskanje, je lahko vseeno indeksiran, če nanj kažejo druge strani in iskalnik izbere indeksirati URL brez pridobitve njegove vsebine.

robots.txt je priporočilen — upoštevali ga bodo le skladni pajki. Zlonamerni boti, spam harvesters in nekateri skenerji ga lahko ignorirajo.

robots.txt ne nadomešča kontrol dostopa. Za zasebne vsebine uporabite HTTP authentication, zaščito z geslom ali ukrepe na strežniški strani.

Kje mora biti robots.txt in osnovna pravila

robots.txt mora biti dostavljena iz korena spletnega mesta na točnem gostitelju in protokolu, za katere veljajo pravila. Primeri lokacij, ki so različne: https://example.com/robots.txt in https://sub.example.com/robots.txt. Datoteke robots.txt ne morete postaviti v podmapo in pričakovati, da bo nadzorovala celotno domeno.

Za priročnost in primere v tem vodiču je kanonična testna pot http://www.yoursite.com/robots.txt.

Sintaksa robots.txt in pogoste direktive

Minimalna robots.txt uporablja direktive, združene po user-agent. Vrstice pri imenih direktiv niso občutljive na velike in male črke. Primeri spodaj uporabljajo standardne tokene, ki jih podpirajo večina večjih pajkov:

Blokirajte vse pajke iz imenika:

User-agent: *

Disallow: /private/

Dovolite določeno datoteko, hkrati pa prepoveste njeno mapo (uporabno za Googlebot-style parsing):

User-agent: *

Disallow: /images/

Allow: /images/logo.png

Sitemape lahko navedete v robots.txt, da usmerite pajke na vaš XML sitemap:

Sitemap: http://www.yoursite.com/sitemap.xml

Ujemanje vzorcev: večji search engines podpirajo nadomestni znak asterisk (*) in znak za konec niza dolar ($) v vzorcih robots.txt. Nestandardna direktiva Crawl-delay je pri nekaterih engines ignorirana (Google ne podpira Crawl-delay).

Praktični primeri

1) Dovolite vsem pajkom pridobiti vse (privzeta varna možnost):

User-agent: *

Disallow:

2) Blokirajte enega pajka (npr. prepovedati določen agent dostop do celotne vsebine):

User-agent: BadBot

Disallow: /

3) Preprečite pajkom pridobivanje virov, potrebnih za upodabljanje (pogosta napaka — glejte odpravljanje težav):

Disallow: /static/js/

Blokiranje CSS/JS lahko prepreči, da bi Google videl vašo stran tako kot uporabniki. Ker Google kot primarno osnovo uporablja mobilno različico za crawling and indexing in ocenjuje Core Web Vitals iz upodobljene strani, ne blokirajte virov, potrebnih za upodabljanje.

Kako preveriti in odpraviti težave z robots.txt

Osnovne kontrole, ki jih lahko izvedete od zunaj mesta:

Pridobite telo datoteke: curl http://www.yoursite.com/robots.txt — to vrne vsebino datoteke, kot bi jo videl pajek.

Preverite samo glave: curl -I http://www.yoursite.com/robots.txt — preveri HTTP status (200 vs 4xx/5xx) in Content-Type. -I vrne samo odzivne glave.

Oglejte si, kako jo prejmejo brskalniki: odprite https://www.yoursite.com/robots.txt v brskalniku in potrdite enako vsebino kot z curl.

Preverite strežniške dnevnike za dejanske zahteve pajkov do /robots.txt in za Googlebot ali druge agente, ki poskušajo pridobiti blokirane strani — dnevniki so najbolj zanesljiv zunanji signal vedenja pajkov.

Kontrole, ki jih morate izvesti, kadar lastite lastnost:

Uporabite Google Search Console’s URL Inspection za posamezne strani, da vidite, ali je Google pridobil ali indeksiral URL. URL Inspection je avtoritativna za lastne lastnosti.

Po spremembi robots.txt spremljajte strežniške dnevnike in poročilo Performance v Search Console, da potrdite vedenje brskanja za pomembne strani.

Pogosti znaki težav in kaj storiti

Pomotoma ste blokirali CSS/JS — simptom: strani se pajku prikažejo drugače kot uporabnikom; rešitev: odstranite poti virov iz Disallow, da jih pajki lahko pridobijo.

robots.txt vrača 404/5xx — simptom: nekateri pajki lahko obravnavajo splet kot popolnoma prebrskan ali začasno ustavijo brskanje; rešitev: obnovite veljavno robots.txt, ki vrača 200 in pravilni Content-Type.

Blokirali ste celoten gostitelj ali protokol z nameščeno robots.txt na napačnem poddomenu — simptom: strani izginejo iz dnevnikov brskanja; rešitev: dodajte robots.txt na pravilen gostitelj (in preverite preusmeritve).

Če je stran blokirana za brskanje, vendar se še vedno pojavlja v rezultatih iskanja brez izvlečka, to pomeni, da je bil URL indeksiran na podlagi zunanjih signalov, čeprav vsebina ni bila pridobljena. Za odstranitev takih URL-jev iz rezultatov uporabite ustrezno HTTP authentication, odstranite stran ali na strani servirajte noindex direktivo (noindex zahteva, da pajek pridobi stran, zato je ne blokirajte v robots.txt, če nameravate uporabiti noindex).

Kontrolni seznam: varno namestite in preglejte robots.txt

Postavite robots.txt v koren spletnega mesta za točen gostitelj in protokol.

Preizkusite datoteko z curl (telo in glave) in v brskalniku.

Izogibajte se blokiranju CSS, JavaScript, ali drugih sredstev, ki se uporabljajo za upodabljanje, razen če namerno želite preprečiti upodabljanje pajkom.

Navedite sitemape v robots.txt, da pomagate pajkom odkriti vaše indeksabilne URL-je.

Spremljajte strežniške dnevnike in Search Console za vedenje brskanja po spremembah.

Če potrebujete korak-po-koraku referenco, preberite Read the Technical SEO Guide za širši kontekst o crawlability in Core Web Vitals.

Dodatna premisleka v 2026

Ker Google kot primarno osnovo uporablja mobilno različico za brskanje in indeksiranje in ker so bile tradicionalne predpomnjene strani odstranjene v začetku 2024, je vsebina, namensko skrita pred pajki z robots.txt, manj verjetno, da se bo pojavila v sodobnih AI-povzetkih in funkcijah Search Generative Experience. Če želite, da je vsebina na voljo AI-povzetkom ali uporabi v bogatih SERP funkcijah, dovolite pajkom, da pridobijo in indeksirajo stran, ter uporabite strukturirane podatke, kjer je to primerno.

FAQ