Robots.txt: čo to je a ako funguje

Čo je robots.txt?

robots.txt (Robots Exclusion Protocol) je textový súbor umiestnený v koreňovom adresári hostiteľa — napr. https://example.com/robots.txt — ktorý poskytuje jednoduché inštrukcie pre user-agents (web crawlers). Je verejný a strojovo čitateľný; neslúži na autentifikáciu ani skrývanie obsahu. Crawlers čítajú robots.txt, aby zistili, ktoré cesty chce vlastník stránky, aby sa im vyhýbali alebo ktoré uprednostňoval.

Prečo je robots.txt dôležitý pre SEO

Robots.txt riadi crawling. Crawling je fáza objavovania a sťahovania, počas ktorej vyhľadávače interagujú s vašou stránkou; ak je crawler zablokovaný pri sťahovaní URL, nemusí vidieť on-page direktívy (ako meta robots) ani obsah stránky potrebný na indexovanie. To znamená, že robots.txt môže nepriamo ovplyvniť indexovanie. Nepôsobí priamo na poradie vo výsledkoch — ranking využíva množstvo signálov po indexovaní. Použite robots.txt na ochranu serverových zdrojov, zabránenie crawlovaniu duplicitných alebo interných nástrojových stránok a zabezpečenie, aby crawlers mali prístup k assetom potrebným pre správne renderovanie.

Ako robots.txt funguje

Crawler stiahne /robots.txt predtým, než požaduje iné stránky na tom istom hoste, a aplikuje prvú zodpovedajúcu User-agent sekciu a jej direktívy. Bežné direktívy podporované hlavnými crawlers zahŕňajú User-agent, Disallow, Allow a Sitemap. Podpora pattern matchingu a ďalších direktív sa líši podľa crawlera — Google rozpoznáva vzory ako * a $ a rešpektuje pravidlá precedencie Allow/Disallow podľa svojej dokumentácie.

Bežné direktívy a príklady

Minimálny príklad robots.txt:

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

Poznámky: umiestnite robots.txt do koreňa stránky. Ak robots.txt vráti HTTP 404, väčšina crawlerov to interpretuje ako 'bez obmedzení'; ak ho nie je možné načítať alebo vracia chyby servera, správanie crawlerov sa môže líšiť — testujte a monitorujte, aby ste predišli náhodnému blokovaniu. Pre správanie a príklady špecifické pre Google sa obráťte na Google's robots.txt documentation.

Typy robots.txt

Rôzne vzory robots.txt sa používajú podľa cieľa. Nižšie sú bežné prístupy s krátkymi výhodami a nevýhodami.

- Blokovanie celej stránky (Disallow: /)
Pros: okamžite zabráni crawlerom prístupu k celému hostovi.
Cons: zabráni crawlerom sťahovať obsah a assets; môže zastaviť indexovanie verejných stránok.

- Pravidlá pre konkrétne cesty (Disallow: /private/)
Pros: jednoduché vylúčenie interných alebo administrátorských ciest.
Cons: robots.txt je verejný; nevypisujte citlivé cesty, ktoré chcete udržať v tajnosti.

- Pravidlá špecifické pre User-agent (User-agent: Googlebot)
Pros: prispôsobiť správanie pre konkrétne crawlers.
Cons: vyššia údržba; niektoré crawlers ignorujú nestandardné direktívy.

Ako začať s robots.txt

1) Rozhodnite, čo je potrebné chrániť pred crawlingom (časti zaťažujúce server, staging cesty) a čo musí zostať dostupné crawlerom (verejné stránky, CSS/JS potrebné na renderovanie).
2) Vytvorte textový súbor s názvom robots.txt v koreňovom adresári stránky. Testujte lokálne a na staging hoste pred nasadením do produkcie.
3) Nasadte a overte pomocou technického checklistu nižšie. Udržujte súbor jednoduchý a zdokumentujte akékoľvek pravidlá špecifické pre User-agent, aby budúci správci rozumeli zámeru.

Bežné chyby pri robots.txt

• Spoliehať sa na robots.txt, že skryje citlivé údaje — robots.txt je verejný a nemal by sa používať na zabezpečenie. Použite autentifikáciu alebo odstráňte zdroj.
• Blokovanie CSS/JS potrebných na renderovanie — to môže poškodiť, ako vyhľadávače rozumejú rozloženiu a obsahu stránky.
• Blokovanie stránok, ktoré obsahujú meta noindex — ak je Googlebot zablokovaný pred načítaním stránky, nemôže vidieť meta robots:noindex direktívu.
• Umiestnenie robots.txt pod subcestou (napr. /blog/robots.txt) — crawlers hľadajú iba súbor v koreňovej úrovni.
• Syntaktické chyby a nesprávne HTTP status kódy — uistite sa, že súbor je podávaný s vhodnou odpoveďou 200.

Overenie robots.txt: technický checklist

Použite nižšie uvedené kontroly po nasadení alebo aktualizácii robots.txt. Každá položka uvádza, kde overiť a jasnú podmienku úspechu.

**File reachable** — kde overiť: curl -I https://example.com/robots.txt — prejde, ak požiadavka vráti HTTP 200 a súbor obsahuje očakávaný obsah.
**Correct directives** — kde overiť: curl https://example.com/robots.txt alebo view-source v prehliadači — prejde, ak riadky User-agent/Disallow/Allow zodpovedajú vašej politike.
**Not blocking rendering assets** — kde overiť: Chrome DevTools Network and Coverage alebo simulátor crawlera — prejde, ak CSS/JS potrebné pre renderovanie nie sú disallowed.
**Google-block check (own site)** — kde overiť: Google Search Console URL Inspection — prejde, keď Inspection ukáže, že URL je crawlable a nie je "Blocked by robots.txt".
**External crawl check** — kde overiť: použite curl alebo externý crawler na požiadanie blokovanej URL a potvrďte, že stránka vracia 200, ale crawleru bol odmietnutý prístup — prejde, keď správanie zodpovedá očakávaniam.
**Sitemap presence** — kde overiť: obsah robots.txt a report Sitemaps v Google Search Console — prejde, keď je URL sitemap uvedená v robots.txt alebo odoslaná v Search Console a akceptovaná.

Nástroje a príkazy na overenie robots.txt

curl (iba hlavičky): curl -I https://example.com/robots.txt — vráti HTTP status a hlavičky odpovede. curl (celý súbor): curl https://example.com/robots.txt — vypíše obsah na kontrolu. Chrome DevTools: otvorte URL súboru alebo pozrite sieťové požiadavky stránky, aby ste potvrdili, že assety sú povolené. Google Search Console URL Inspection: pre vlastnenú URL nástroj ukáže, či Google vidí stránku a či bola zablokovaná robots.txt.Bing Webmaster ToolsSite Explorer môže ukázať, ako Bing spracoval súbor pre overené stránky. Použite serverové logy na potvrdenie, ktoré user-agents požiadali robots.txt a ako často.

Pre autoritatívne podrobnosti o podporovaných direktívach a precedencii konzultujte oficiálnu dokumentáciu na https://developers.google.com/search/docs/advanced/robots/intro

Prečítajte si Technický SEO sprievodca

Často kladené otázky

Otázka: Ak zablokujem stránku cez robots.txt, zmizne z výsledkov vyhľadávania?
Odpoveď: Blokovanie cez robots.txt zabraňuje crawlerom načítať stránku, čo ich zvyčajne odoberie o on-page signály. Zablokovaná stránka sa môže stále objaviť vo výsledkoch na základe externých signálov (záznam len s URL), ale nebude mať uložený snímok ani vykreslený obsah. Pre odstránenie použite nástroje na odstránenie indexu pre URL, ktoré vlastníte; ak chcete kontrolovať indexovanie cez metadata, uistite sa, že stránka je crawlable, aby crawleri videli meta robots:noindex direktívu.

Otázka: Môžem použiť robots.txt na blokovanie konkrétnych botov?
Odpoveď: Môžete pridať sekcie špecifické pre User-agent, aby ste zacielili známe crawlers. Robots.txt je však čestný systém: slušní crawlers ho dodržia, škodlivé boty ho môžu ignorovať. Pre silnejšiu ochranu použite autentifikáciu, IP filtering alebo firewall.

Otázka: Mal by som zahrnúť svoj sitemap do robots.txt?
Odpoveď: Zahrnutie Sitemap: https://example.com/sitemap.xml v robots.txt je pohodlný spôsob, ako nasmerovať crawlers na váš sitemap; tiež odošlite sitemapy priamo v Google Search Console pre stránky, ktoré vlastníte.

Otázka: Platí robots.txt pre každý protokol a host?Odpoveď: Áno. robots.txt sa načítava pre každý host a protokol: https://example.com/robots.txt je samostatný od http://example.com/robots.txt alebo https://sub.example.com/robots.txt

. Umiestnite súbor na rovnaký protokol a host, ktoré používa váš web.Otázka: Ako ovplyvňuje mobile-first indexing robots.txt?
Odpoveď: Google používa mobilnú verziu ako primárny základ pre crawling and indexing

. Od júla 2024 Google predvolene crawluje stránky pre Search pomocou Googlebot Smartphone. Uistite sa, že robots.txt náhodou neblokuje zdroje na mobilne podávaných stránkach, ktoré sú potrebné pre správne renderovanie a indexovanie.Otázka: Kde nájdem oficiálne usmernenie?
Odpoveď: Pozrite si dokumentáciu Google robots.txt na https://developers.google.com/search/docs/advanced/robots/intro a zdroje Schema.org a W3C o súvisiacich praktikách crawlingu a indexovania.

Budujte autoritu kvalitnými backlinks