Robots.txt: kaj je in kako deluje

Kaj je robots.txt?

robots.txt (Robots Exclusion Protocol) je navadna besedilna datoteka na korenu gostitelja — npr. https://example.com/robots.txt — ki posreduje enostavna navodila user-agents (web crawlers). Je javna in strojno berljiva; ne služi za avtentikacijo ali skrivanje vsebine. Crawlers berejo robots.txt, da ugotovijo, katere poti lastnik strani raje želi, da se jim izognejo ali jih prioritizira.

Zakaj je robots.txt pomemben za SEO

Robots.txt nadzoruje crawling. Crawling je faza odkrivanja in pridobivanja, kako iskalniki komunicirajo z vašo stranjo; če je crawler preprečen pri pridobivanju URL, morda ne bo videl on-page direktiv (kot so meta robots) ali vsebine strani, potrebne za indexacijo. To pomeni, da lahko robots.txt posredno vpliva na indexacijo. Ne določa neposredno vrstnega reda uvrstitev — ranking uporablja številne signale po indexiranju. Uporabite robots.txt za zaščito strežniških virov, preprečevanje crawlanja podvojenih ali internih orodnih strani ter zagotovite, da crawlers dostopajo do virov, potrebnih za pravilno renderiranje.

Kako robots.txt deluje

Crawler najprej zahteva /robots.txt, preden zahteva druge strani na istem gostitelju, in uporabi prvo ujemajočo se User-agent sekcijo ter njene direktive. Pogoste direktive, podprte pri večjih crawlerjih, vključujejo User-agent, Disallow, Allow in Sitemap. Podpora za pattern matching in dodatne direktive se razlikuje po crawlerjih — Google prepoznava vzorce, kot so * in $, in upošteva pravila prednosti Allow/Disallow po svoji dokumentaciji.

Tipične direktive in primeri

Minimalen primer robots.txt:

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

Opombe: robots.txt postavite v koren spletnega mesta. Če robots.txt vrne HTTP 404, ga večina crawlerjev obravnava kot 'no restrictions'; če ga ni mogoče pridobiti ali vrne strežniške napake, se vedenje crawlerjev lahko razlikuje — testirajte in spremljajte, da se izognete nenamernemu širokemu blokiranju. Za vedenje in primere specifične za Google si oglejte Google's robots.txt dokumentacijo.

Vrste robots.txt

Različni vzorci robots.txt se uporabljajo glede na cilj. Spodaj so pogosti pristopi s kratkimi prednostmi in pomanjkljivostmi.

- Site-wide block (Disallow: /)
Prednosti: takoj prepreči dostop crawlerjem do celotnega gostitelja.
Slabosti: prepreči crawlerjem pridobivanje vsebin in virov; lahko ustavi indexacijo javnih strani.

- Path-specific rules (Disallow: /private/)
Prednosti: enostavno izključite notranje ali administratorske poti.
Slabosti: robots.txt je javno dostopen; ne navajajte občutljivih poti, za katere pričakujete, da jih boste obdržali skrivne.

- User-agent specific rules (User-agent: Googlebot)
Prednosti: prilagodite vedenje za določene crawlerje.
Slabosti: večje vzdrževanje; nekateri crawlerji ignorirajo nestandardne direktive.

Kako začeti z robots.txt

1) Določite, kaj je potrebno zaščititi pred crawlingom (strežniško intenzivna področja, staging poti) in kaj mora ostati dostopno crawlerjem (javne strani, CSS/JS potrebni za renderiranje).
2) Ustvarite navadno besedilno datoteko z imenom robots.txt v korenu strani. Testirajte lokalno in na staging gostitelju pred nameščanjem v produkcijo.
3) Nameščajte in preverjajte z spodnjim tehničnim kontrolnim seznamom. Ohranjajte datoteko preprosto in dokumentirajte morebitna pravila specifična za User-agent, da bodo bodoči vzdrževalci razumeli namen.

Pogoste napake pri robots.txt

• Zanašanje na robots.txt za skrivanje občutljivih podatkov — robots.txt je javno dostopen in ni namenjen varnosti. Uporabite avtentikacijo ali odstranite vir.
• Blokiranje CSS/JS, potrebnih za renderiranje — to lahko škoduje razumevanju postavitve in vsebine strani s strani iskalnikov.
• Blokiranje strani, ki vsebujejo meta noindex — če je Googlebot blokiran pri pridobivanju strani, ne more videti meta noindex direktive.
• Postavljanje robots.txt v podpot (npr. /blog/robots.txt) — crawlers iščejo datoteko samo na korenski ravni.

• Sintaktične napake in napačne HTTP statusne kode — zagotovite, da je datoteka postrežena z ustreznim odgovorom HTTP 200.

Preverjanje robots.txt: tehnični kontrolni seznam

Uporabite spodnje preverjanja po nameščanju ali posodobitvi robots.txt. Vsaka točka navaja, kje preveriti in jasno merilo uspeha.**File reachable** — kje preveriti: curl -I https://example.com/robots.txt — uspešno, ko zahteva vrne HTTP 200 in je vsebina datoteke pričakovana.
**Correct directives** — kje preveriti: curl https://example.com/robots.txt ali view-source v brskalniku — uspešno, ko se vrstice User-agent/Disallow/Allow ujemajo z vašo politiko.
**Not blocking rendering assets** — kje preveriti: Chrome DevTools Network and Coverage ali pridobitev preko crawler simulatorja — uspešno, ko CSS/JS, potrebni za renderiranje, niso onemogočeni.
**Google-block check (own site)** — kje preveriti: Google Search Console

URL Inspection — uspešno, ko Inspection prikaže, da je URL dostopen za crawling in ni označeno kot Blocked by robots.txt.
**External crawl check** — kje preveriti: uporabite curl ali third-party crawler, da zahtevate blokiran URL in potrdite, da stran vrača 200, a crawlerju je bil zavrnjen dostop — uspešno, ko se vedenje ujema s pričakovanji.
**Sitemap presence** — kje preveriti: vsebina robots.txt in Google Search Console Sitemaps poročilo — uspešno, ko je URL sitemape naveden v robots.txt ali poslan v Search Console in sprejet.

Orodja in ukazi za preverjanje robots.txtcurl (samo glave): curl -I https://example.com/robots.txt — vrne HTTP status in odzivne glave. curl (cela datoteka): curl https://example.com/robots.txt — izpiše vsebino za pregled. Chrome DevTools: odprite URL datoteke ali poglejte omrežne zahteve strani, da potrdite, da so viri dovoljeni. Google Search Console URL Inspection: za URL, ki ga imate v lasti, orodje poroča, ali Google vidi stran in ali je bila blokirana z robots.txt.Bing Webmaster Tools

Site Explorer lahko pokaže, kako je Bing obdelal datoteko za strani, ki jih potrdite. Uporabite strežniške dnevnike, da potrdite, kateri user-agents so zahtevali robots.txt in kako pogosto.Za avtoritativne podrobnosti o podprtih direktivah in prednostih, si oglejte uradno dokumentacijo na

https://developers.google.com/search/docs/advanced/robots/intro

Preberite Technical SEO Guide

Pogosto zastavljena vprašanja

V: Če z robots.txt blokiram stran, ali bo izginila iz iskalnih rezultatov?
O: Blokiranje z robots.txt prepreči crawlerjem pridobivanje strani, kar običajno prepreči, da bi videli on-page signale. Blokirana stran se lahko še vedno pojavi v rezultatih iskanja na podlagi zunanjih signalov (vnos samo z URL), vendar ji bo manjkala predpomnjena izrezka ali renderirana vsebina. Če želite zahtevati odstranitev, uporabite orodja za odstranjevanje indeksov za URL-je, ki jih imate v lasti; za nadzor indeksacije prek metapodatkov poskrbite, da je stran dostopna za crawling, da crawlerji lahko vidijo meta robots:noindex direktivo.

V: Ali lahko uporabim robots.txt za blokiranje specifičnih botov?
O: Dodate lahko User-agent-specifične sekcije za ciljanje znanih crawlerjev. Vendar je robots.txt sistem spoštovanja: dobro vedenje crawlerji ga upoštevajo, zlonamerni boti ga lahko ignorirajo. Za močnejše zaščite uporabite avtentikacijo, IP filtriranje ali požarni zid.

V: Ali naj vključim svojo sitemap v robots.txt?
O: Vključitev Sitemap: https://example.com/sitemap.xml v robots.txt je priročen način, da crawlers usmerite do sitemape; prav tako pošljite sitemape neposredno v Google Search Console za strani, ki jih upravljate.V: Ali se robots.txt uporablja po protokolu in gostitelju?
O: Da. robots.txt se pridobi na ravni gostitelja in protokola: https://example.com/robots.txt je ločen od http://example.com/robots.txt ali https://sub.example.com/robots.txt

. Datoteko postavite na enak scheme in host, ki ga uporablja vaša stran.V: Kako mobile-first indexing vpliva na robots.txt?
O: Google uporablja mobilno različico kot svojo primarno osnovo za crawling and indexing. Since July 2024, Google crawls sites for Search with Googlebot Smartphone by default. Prepričajte se, da robots.txt ne blokira po pomoti virov na mobilno strežanih straneh, ki so potrebni za pravilno renderiranje in indexacijo.

V: Kje najdem uradna navodila?
O: Glejte Google's robots.txt dokumentacijo na https://developers.google.com/search/docs/advanced/robots/intro in vire Schema.org in W3C za sorodne prakse crawlinga in indexiranja.

Zgradite avtoriteto s kakovostnimi backlinks