Ako používať robots.txt pre SEO

Čo táto príručka pokrýva

V tomto článku vysvetlíme, čo robots.txt riadi a čo nie, ukážeme správnu syntax a praktické príklady, poskytneme príkazy do terminálu, ktoré môžete spustiť, a uvedieme kroky na riešenie bežných chýb. Získate aj overovacie tipy fungujúce v vyhľadávacích prostrediach 2026 (mobile-first indexing je predvolený režim Google od júla 2024 a Google začiatkom 2024 odstránil tradičné kešované stránky).

Čo je robots.txt a čo riadi

robots.txt je obyčajný textový súbor v koreňovom adresári stránky, ktorý komunikuje pokyny pre crawlers. Je súčasťou Robots Exclusion Standard. Použite súbor na oznámenie crawlers, ktoré cesty môžu stiahnuť; riadi crawling, nie indexing ani ranking.

Kľúčové rozdiely, ktoré treba mať na pamäti:

Crawling vs indexing vs ranking — robots.txt ovplyvňuje crawling (čo agent stiahne). URL zablokovaná pre crawling môže byť stále indexovaná, ak na ňu odkazujú iné stránky a vyhľadávač sa rozhodne indexovať URL bez stiahnutia jej obsahu.

robots.txt má len odporúčací charakter — budú ho dodržiavať len crawlers, ktoré ho rešpektujú. Škodlivé boty, harvestre spamu a niektoré skenery ho môžu ignorovať.

robots.txt nenahrádza prístupové kontroly. Použite HTTP authentication, ochranu heslom alebo server-side kontroly pre súkromný obsah.

Kde musí robots.txt sídliť a základné pravidlá

robots.txt musí byť sprístupnený z koreňa stránky na presnom hoste a protokole, pre ktoré pravidlá platia. Príklady rôznych umiestnení: https://example.com/robots.txt a https://sub.example.com/robots.txt. Nemôžete umiestniť robots.txt do podadresára a očakávať, že bude riadiť celú doménu.

Pre jednoduchšie príklady v tejto príručke je kanonická testovacia cesta http://www.yoursite.com/robots.txt.

Syntax robots.txt a bežné direktívy

Minimálny robots.txt používa direktívy zoskupené podľa user-agent. Riadiace riadky nie sú citlivé na veľkosť písma v názvoch direktív. Nižšie uvedené príklady používajú štandardné tokeny podporované väčšinou crawlerov:

Zablokovať všetky crawlers z adresára:

User-agent: *

Disallow: /private/

Povoliť konkrétny súbor a zároveň zablokovať jeho adresár (užitočné pre spracovanie v štýle Googlebot):

User-agent: *

Disallow: /images/

Allow: /images/logo.png

V robots.txt môžete deklarovať sitemapy, aby ste navigovali crawlers na váš XML sitemap:

Sitemap: http://www.yoursite.com/sitemap.xml

Porovnávanie vzorov: hlavné vyhľadávače podporujú zástupný znak asterisk (*) a koncový znak dolár ($) v patrónach robots.txt. Nestandardná direktíva Crawl-delay je niektorými vyhľadávačmi ignorovaná (Google Crawl-delay nepodporuje).

Praktické príklady

1) Povoliť všetkým crawlerom stiahnuť všetko (predvolená bezpečná možnosť):

User-agent: *

Disallow:

2) Zablokovať jediný crawler (napr. zablokovať konkrétneho agenta zo všetkého obsahu):

User-agent: BadBot

Disallow: /

3) Zabrániť crawlerom sťahovať zdroje potrebné pre rendering (bežná chyba — pozri riešenie problémov):

Disallow: /static/js/

Blokovanie CSS/JS môže zabrániť Google vidieť Vašu stránku tak, ako ju vidia používatelia. Keďže Google používa mobilnú verziu ako primárny základ pre crawling and indexing a zároveň hodnotí Core Web Vitals z renderovanej stránky, neblokujte zdroje potrebné na rendering.

Ako overovať a riešiť problémy s robots.txt

Základné overenia, ktoré môžete spustiť z vonkajšieho prostredia:

Stiahnuť telo súboru: curl http://www.yoursite.com/robots.txt — toto vráti obsah súboru, ktorý uvidí crawler.

Skontrolovať len hlavičky: curl -I http://www.yoursite.com/robots.txt — overí HTTP status (200 vs 4xx/5xx) a Content-Type. -I vracia len odpoveď s hlavičkami.

Zobraziť, ako to prijímajú prehliadače: otvorte https://www.yoursite.com/robots.txt v prehliadači a potvrďte rovnaký obsah ako pri curl.

Skontrolujte serverové logy pre skutočné requesty crawlerov na /robots.txt a pre Googlebot alebo iné agenti, ktoré sa pokúšajú stiahnuť zablokované stránky — logy sú najspoľahlivejší tretí signál o správaní crawlerov.

Kontroly, ktoré by ste mali vykonať, ak vlastníte danú vlastnosť:

Využite URL Inspection v Google Search Console pre jednotlivé stránky, aby ste videli, či Google URL stiahol alebo indexoval. URL Inspection je autoritatívny pre vlastnosti, ktoré vlastníte.

Po zmene robots.txt monitorujte serverové logy a Performance report v Search Console, aby ste potvrdili crawling správanie pre dôležité stránky.

Bežné príznaky problémov a čo robiť

Neúmyselne ste zablokovali CSS/JS — príznak: stránky sa crawlerom renderujú inak; Riešenie: odstráňte cesty k zdrojom z Disallow, aby si ich crawlers mohli stiahnuť.

robots.txt vracia 404/5xx — príznak: niektoré crawlers môžu považovať stránku za plne crawlable alebo dočasne pozastaviť crawling; Riešenie: obnovte platný robots.txt, ktorý vracia 200 a správny Content-Type.

Zablokovali ste celý host alebo protokol umiestnením robots.txt na nesprávnom subdoméne — príznak: stránky miznú z crawl logov; Riešenie: pridajte robots.txt na správny host (a skontrolujte redirecty).

Ak je stránka zablokovaná pre crawling, ale stále sa zobrazuje vo výsledkoch vyhľadávania bez úryvku, znamená to, že URL bola indexovaná na základe externých signálov, aj keď obsah nebol stiahnutý. Na odstránenie takýchto URL z výsledkov použite správnu HTTP authentication, odstráňte stránku alebo naservírujte noindex direktívu na samotnej stránke (noindex vyžaduje, aby crawler stránku stiahol, preto ju neblokujte v robots.txt, ak plánujete použiť noindex).

Kontrolný zoznam: bezpečné nasadenie a revízia robots.txt

Umiestnite robots.txt do koreňa stránky pre presný host a protokol.

Otestujte súbor pomocou curl (telo aj hlavičky) a v prehliadači.

Vyhnite sa blokovaniu CSS, JavaScript, alebo iných assetov používaných pri renderovaní, pokiaľ zámerne nechcete zabrániť crawlovaniu pri renderovaní.

Oznámte sitemapy v robots.txt, aby ste crawlers pomohli objaviť vaše indexable URL.

Monitorujte serverové logy a Search Console kvôli crawling správaniu po zmenách.

Ak potrebujete krok za krokom referenciu, prečítajte si Read the Technical SEO Guide pre širší kontext o crawlability a Core Web Vitals.

Dodatočné úvahy v roku 2026

Keďže Google používa mobilnú verziu ako primárny základ pre crawling a indexing a keďže tradičné kešované stránky boli odstránené začiatkom 2024, obsah úmyselne skrytý pred crawlers cez robots.txt bude menej pravdepodobné, že sa objaví v moderných AI‑riadených prehľadoch a v funkciách Search Generative Experience. Ak chcete, aby bol obsah dostupný AI prehľadom alebo použiteľný pre bohaté SERP funkcie, povoľte crawlers stiahnuť a indexovať stránku a použite štruktúrované dáta, kde je to vhodné.

Často kladené otázky

Kde musí byť robots.txt umiestnený?

robots.txt musí byť dostupný v koreňovom adresári na presnom hoste a protokole, ktoré chcete riadiť, napríklad https://www.example.com/robots.txt. Pravidlá sa neprelínajú z rodičovskej domény na subdomény.

Môže zablokovanie stránky v robots.txt odstrániť stránku z výsledkov vyhľadávania?

Zablokovanie stránky pre crawling nemusí vždy zabrániť zobrazeniu URL vo výsledkoch vyhľadávania, ak na ňu odkazujú iné stránky. Na zabránenie indexovaniu povoľte crawlovanie stránky a vráťte noindex direktívu alebo použite server-side prístupové kontroly.

Ako rýchlo nadobudnú účinnosť zmeny v robots.txt?

Crawlers periodicky sťahujú robots.txt; neexistuje univerzálne pevné časové obdobie. Na potvrdenie zmeny skontrolujte serverové logy pre nové požiadavky na /robots.txt a monitorujte Search Console a crawl logy pre zmeny správania.

Mám použiť robots.txt na skrytie súkromného obsahu?

Nie. robots.txt je verejný súbor a nemali by ste sa naň spoliehať pri ochrane citlivých údajov. Použite autentifikáciu, odstráňte obsah z verejných ciest alebo servírujte vhodné HTTP odpovede na zabránenie prístupu.

Ako umožním prístup len jednému crawleru (napr. Googlebot) na moju stránku?

Môžete zahrnúť user-agent skupinu pre konkrétny crawler a prísnejšie skupiny pre ostatných, napríklad:

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /

Majte na pamäti, že to závisí od user-agent stringov a od crawlers, ktoré sa správajú slušne; nie je to bezpečná kontrola prístupu.