Robots.txt: какво е и как работи

Какво е robots.txt?

robots.txt (Протоколът Robots Exclusion) е текстов файл, разположен в корена на хоста — например https://example.com/robots.txt — който дава прости инструкции за обхождане на user-agents (web crawlers). Той е публичен и машинно-четим; не служи за автентикация или скриване на съдържание. Краулърите четат robots.txt, за да разберат кои пътища собственикът на сайта предпочита да избягват или да приоритизира.

Защо robots.txt има значение за SEO

robots.txt контролира обхождането. Обхождането е етапът на откриване и извличане, при който търсачките взаимодействат със сайта ви; ако един краулър е блокиран да извлече даден URL, може да не види on-page директиви (като meta robots) или съдържание на страницата, нужно за индексиране. Това означава, че robots.txt може индиректно да повлияе на индексирането. Той не задава директно реда на класиране — за класиране се използват много сигнали след индексирането. Използвайте robots.txt, за да защитите ресурсите на сървъра, да избегнете обхождане на дублирани или вътрешни инструменти и да се уверите, че краулърите могат да достъпят активи, необходими за правилно рендиране.

Как работи robots.txt

Краулър заявява /robots.txt преди да поиска други страници от същия хост и прилага първата съвпадаща User-agent секция и нейните директиви. Често поддържаните директиви от основните краулъри включват User-agent, Disallow, Allow и Sitemap. Поддръжката на pattern matching и допълнителни директиви варира при различните краулъри — Google разпознава шаблони като * и $ и спазва правилата за приоритет между Allow/Disallow според документацията си.

Типични директиви и примери

Минимален robots.txt пример:

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

Бележки: поставете robots.txt в корена на сайта. Ако robots.txt върне HTTP 404, повечето краулъри го третират като 'без ограничения'; ако файлът не може да бъде получен или връща сървърни грешки, поведението на краулърите може да варира — тествайте и наблюдавайте, за да избегнете случайно широко блокиране. За специфично поведение на Google и примери, консултирайте се с документацията за robots.txt на Google.

Видове robots.txt

Различни модели на robots.txt се използват в зависимост от целта. По-долу са общи подходи с кратки плюсове и минуси.

- Блокиране на целия сайт (Disallow: /)
Плюсове: незабавно предотвратява достъпа на краулъри до целия хост.
Минуси: пречи на краулърите да извличат съдържание и ресурси; може да спре индексирането на публични страници.

- Правила за конкретни пътеки (Disallow: /private/)
Плюсове: лесно изключване на вътрешни или админ пътища.
Минуси: robots.txt е публичен; не посочвайте чувствителни пътеки, които очаквате да останат тайни.

- Правила за конкретни User-agent (User-agent: Googlebot)
Плюсове: адаптиране на поведението за определени краулъри.
Минуси: увеличена поддръжка; някои краулъри игнорират нестандартни директиви.

Как да започнете с robots.txt

1) Решете кои области трябва да се защитят от обхождане (ресурсоемки части, staging пътеки) и кои трябва да останат достъпни за краулърите (публични страници, CSS/JS нужни за рендиране).
2) Създайте текстов файл с име robots.txt в корена на сайта. Тествайте локално и на staging преди да публикувате в продукция.
3) Деплойвайте и проверете, като използвате техническия контролен списък по-долу. Дръжте файла прост и документирайте всякакви User-agent-специфични правила, за да бъде ясно намерението на бъдещите поддържащи.

Чести грешки с robots.txt

• Разчитане на robots.txt за скриване на чувствителни данни — robots.txt е публичен и не бива да се използва за сигурност. Използвайте автентикация или премахнете ресурса.
• Блокиране на CSS/JS, нужни за рендиране — това може да навреди на разбирането на страницата от търсачките относно нейния изглед и съдържание.
• Блокиране на страници, които съдържат meta noindex — ако Googlebot е блокиран да извлече страницата, той няма да види директивата meta noindex.
• Поставяне на robots.txt под под-път (напр. /blog/robots.txt) — краулърите търсят само файла на root ниво.• Синтактични грешки и неправилни HTTP статус кодове — уверете се, че файлът се сервира с подходящ отговор 200.

Верификация на robots.txt: технически контролен списък

Използвайте проверките по-долу след публикуване или обновяване на robots.txt. Всяка точка посочва къде да проверите и ясно условие за преминаване.

**File reachable** — къде да проверите: curl -I https://example.com/robots.txt — преминава, когато заявката върне HTTP 200 и файлът е очакваното съдържание.
**Correct directives** — къде да проверите: curl https://example.com/robots.txt или view-source в браузъра — преминава, когато редовете User-agent/Disallow/Allow съвпадат с политиката ви.
**Not blocking rendering assets** — къде да проверите: Chrome DevTools Network и Coverage или чрез симулатор на краулър — преминава, когато CSS/JS, необходими за рендиране, не са забранени.
**Google-block check (own site)** — къде да проверите: Google Search Console URL Inspection — преминава, когато инспекцията показва, че URL е достъпен за обхождане и не е 'Blocked by robots.txt'.
**External crawl check** — къде да проверите: използвайте curl или външен краулър, за да заявите блокиран URL и потвърдите, че страницата връща 200, но краулърът е отказан достъп — преминава, когато поведението съвпада с очакванията.
**Sitemap presence** — къде да проверите: съдържанието на robots.txt и отчета Sitemaps в Google Search Console — преминава, когато URL на sitemap е изброен в robots.txt или е подаден и приет в Search Console.Инструменти и команди за верификация на robots.txt

curl (headers only): curl -I https://example.com/robots.txt — връща HTTP статус и response headers. curl (full file): curl https://example.com/robots.txt — отпечатва съдържанието за инспекция. Chrome DevTools: отворете URL на файла или разгледайте мрежовите заявки на страницата, за да потвърдите, че активите са разрешени. Google Search Console URL Inspection: за URL, който притежавате, инструментът показва дали Google вижда страницата и дали е била блокирана от robots.txt.

Bing Webmaster ToolsSite Explorer може да покаже как Bing е обработил файла за сайтове, които сте верифицирали. Използвайте сървърните логове, за да потвърдите кои user-agents са заявили robots.txt и колко често.За авторитетни подробности за поддържаните директиви и приоритет, консултирайте официалната документация на

https://developers.google.com/search/docs/advanced/robots/introПрочетете техническото SEO ръководство

Често задавани въпроси

В: Ако блокирам страница с robots.txt, ще изчезне ли от резултатите от търсенето?
О: Блокирането чрез robots.txt предотвратява извличането на страницата от краулърите, което обикновено спира тях от виждането на on-page сигнали. Блокираната страница все още може да се появи в резултатите на базата на външни сигнали (вписване само с URL), но ще липсва кеширан фрагмент или рендирано съдържание. За заявка за премахване използвайте инструментите за премахване на индекси за URL-ове, които притежавате; ако искате да контролирате индексирането чрез метаданни, уверете се, че страницата е достъпна за обхождане, за да може краулърът да види meta robots:noindex директивата.

В: Мога ли да използвам robots.txt, за да блокирам конкретни ботове?
О: Можете да добавите User-agent-специфични секции, за да таргетирате известни краулъри. Въпреки това robots.txt е система на честта: добре държащите се краулъри я следват, злонамерените ботове може да я игнорират. За по-силна защита използвайте автентикация, IP филтриране или firewall.

В: Трябва ли да включа sitemap в robots.txt?
О: Добавянето на Sitemap: https://example.com/sitemap.xml в robots.txt е удобен начин да насочите краулърите към вашата sitemap; също така подавайте sitemap директно в Google Search Console за сайтове, които контролирате.

В: Приложимо ли е robots.txt за протокол и хост?

О: Да. robots.txt се изтегля за всеки хост и протокол: https://example.com/robots.txt е отделно от http://example.com/robots.txt или https://sub.example.com/robots.txt. Поставете файла на същата схема и хост, които използва вашият сайт.

В: Как mobile-first индексирането влияе на robots.txt?mobile-first индексиране оказва влияние върху robots.txt?
О: Google използва мобилната версия като основна основа за обхождане и индексиране. От юли 2024 г. Google обхожда сайтовете за Search с Googlebot Smartphone по подразбиране. Уверете се, че robots.txt не блокира ресурси на мобилните версии на страниците, които са необходими за правилно рендиране и индексиране.

В: Къде мога да намеря официални указания?
О: Консултирайте се с документацията за robots.txt на Google на https://developers.google.com/search/docs/advanced/robots/intro и ресурсите на Schema.org и W3C за свързани практики по обхождане и индексиране.

Изградете авторитет с качествени backlinks