Как да използвате robots.txt за SEO

Какво обхваща това ръководство

В тази статия обясняваме какво robots.txt контролира и какво не контролира, показваме правилен синтаксис и практични примери, даваме командни проверки, които можете да изпълните, и изброяваме стъпки за възстановяване от чести грешки. Ще получите и съвети за верификация, които работят в 2026 search environments (mobile-first indexing е по подразбиране за Google от July 2024 и Google премахна традиционните cached pages в early 2024).

Какво е robots.txt и какво контролира

robots.txt е plain text файл в корена на сайта, който комуникира crawling инструкции към добре‑поведаващи се web robots. Той е част от Robots Exclusion Standard. Използвайте файла, за да кажете на crawlers кои пътища могат да извличат; той контролира crawling, не indexing или ranking.

Ключови различия, които да имате предвид:

Crawling vs indexing vs ranking — robots.txt влияе върху crawling (какво агентът извлича). Един URL, блокиран от crawling, все пак може да бъде индексиран ако други страници се свързват към него и търсачката реши да индексира URL-а без да извлече съдържанието му.

robots.txt е advisory — само compliant crawlers ще го спазват. Зловредни ботове, spam harvesters и някои скенери могат да го игнорират.

robots.txt не замества контролите за достъп. Използвайте HTTP authentication, защита с парола или server-side контроли за частно съдържание.

Къде трябва да се намира robots.txt и основни правила

robots.txt трябва да се сервира от корена на сайта на точния хост и протокол, за който правилата важат. Примери за различни локации:https://example.com/robots.txt и https://sub.example.com/robots.txt. Не можете да поставите robots.txt в подпапка и да очаквате той да контролира целия домейн.

За удобство и примери в това ръководство каноничният тестов път е http://www.yoursite.com/robots.txt.

Синтаксис на robots.txt и често използвани директиви

Минимален robots.txt използва директиви групирани по user-agent. Имената на директивите са case-insensitive. Примерите по-долу използват стандартните token-и, поддържани от повечето големи crawlers:

Блокиране на всички crawlers от директория:

User-agent: *

Disallow: /private/

Позволяване на конкретен файл докато се забранява цялата директория (полезно за Googlebot-style parsing):

User-agent: *

Disallow: /images/

Allow: /images/logo.png

Sitemaps могат да се декларират в robots.txt, за да насочат crawlers към вашияXML sitemap:

Sitemap: http://www.yoursite.com/sitemap.xml

Съвпадение по шаблон: големите search engines поддържат asterisk (*) wildcard и end-of-string dollar ($) в robots.txt шаблоните. Нестандартната директива Crawl-delay се игнорира от някои engines (Google не поддържа Crawl-delay).

Практически примери

1) Позволете на всички crawlers да извличат всичко (по подразбиране безопасен вариант):

User-agent: *

Disallow:

2) Блокирайте един crawler (например, забранете на конкретен agent достъп до цялото съдържание):

User-agent: BadBot

Disallow: /

3) Попречете на crawlers да извличат ресурси, необходими за rendering (честа грешка — вижте troubleshooting):

Disallow: /static/js/

Блокирането на CSS/JS може да попречи на Google да види вашата страница така, както я виждат потребителите. Тъй като Google използва mobile version като основна база заcrawling and indexing и оценява Core Web Vitals от рендираната страница, не блокирайте ресурси, необходими за rendering.

Как да проверите и отстраните проблеми с robots.txt

Основни проверки, които можете да изпълните извън сайта:

Извлечете съдържанието на файла: curl http://www.yoursite.com/robots.txt — това връща съдържанието на файла, което crawler би видял.

Проверете само хедърите: curl -I http://www.yoursite.com/robots.txt — проверява HTTP статуса (200 vs 4xx/5xx) и Content-Type. -I връща само response headers.

Вижте как го получават браузърите: отворете https://www.yoursite.com/robots.txt в браузър и потвърдете, че съдържанието е същото като при curl.

Инспектирайте server logs за реални заявки от crawlers към /robots.txt и за Googlebot или други агенти, опитващи се да извлекат блокирани страници — логовете са най-надеждният външен сигнал за поведението на crawler-ите.

Проверки, които трябва да направите когато притежавате собствеността:

Използвайте URL Inspection в Google Search Console за отделни страници, за да видите дали Google е извлякъл или индексирал даден URL. URL Inspection е авторитетен за собствените ви свойства.

След промяна на robots.txt наблюдавайте server logs и Performance report в Search Console, за да потвърдите crawl поведението за важните страници.

Чести признаци на проблеми и какво да направите

Случайно блокирахте CSS/JS — симптом: страниците се рендират различно за crawlers; Решение: премахнете пътищата към ресурсите от Disallow, така че crawlers да могат да ги извличат.

robots.txt връща 404/5xx — симптом: някои crawlers могат да третират сайта като напълно crawlable или да прекратят crawling временно; Решение: възстановете валиден robots.txt, който връща 200 и правилен Content-Type.

Поставили сте robots.txt на грешния субдомейн и сте блокирали целия хост или протокол — симптом: страниците изчезват от crawl логовете; Решение: добавете robots.txt на правилния хост (и проверете redirects).

Ако страница е блокирана за crawling, но все още се появява в резултатите от търсене без откъс, това показва, че URL е бил индексиран от външни сигнали въпреки че съдържанието не е било извлечено. За да премахнете такива URL-и от резултатите, използвайте правилна HTTP authentication, премахнете страницата или подайте noindex директива на самата страница (noindex изисква crawler-ът да извлече страницата, така че не я блокирайте в robots.txt ако планирате да използвате noindex).

Контролен списък: пуснете и прегледайте robots.txt безопасно

Поставете robots.txt в корена на сайта за точния хост и протокол.

Тествайте файла с curl (body и headers) и в браузър.

Избягвайте да блокирате CSS, JavaScript, или други ресурси, използвани за rendering, освен ако не искате умишлено да предотвратите rendering от crawlers.

Обявете sitemaps в robots.txt, за да помогнете на crawlers да откриват вашите indexable URLs.

Наблюдавайте server logs и Search Console за crawl поведението след промени.

Ако ви трябва стъпка по стъпка справочник, прочетете Прочетете Ръководството за Technical SEO за по-широк контекст относно crawlability и Core Web Vitals.

Допълнителни съображения през 2026

Тъй като Google използва mobile version като основна база за crawling and indexing и тъй като традиционните cached pages бяха премахнати в early 2024, съдържанието, умишлено скрито от crawlers чрез robots.txt, може да има по-малки шансове да изпъкне в модерни AI-driven overviews и в Search Generative Experience функции. Ако искате съдържанието да е достъпно за AI overviews или да бъде използвано за богати SERP функции, позволете на crawlers да извличат и индексират страницата и използвайте структурирани данни, когато е подходящо.

Често задавани въпроси

Къде трябва да се хоства robots.txt?

robots.txt трябва да е достъпим в корена на точния хост и протокол, който искате да контролирате, например https://www.example.com/robots.txt. Правилата не се прехвърлят от родителски домейн към субдомейни.

Може ли блокирането на страница в robots.txt да я премахне от резултатите от търсенето?

Блокирането на страница за crawling не винаги предотвратява URL-а да се появи в резултатите от търсене, ако други страници се свързват към него. За да предотвратите индексиране, позволете страницата да бъде crawled и върнете noindex директива или използвайте server-side контроли за достъп.

Колко бързо влизат в сила промените в robots.txt?

Crawlers изтеглят robots.txt периодично; няма универсален фиксиран срок. За да потвърдите промяна, проверете server logs за нови заявки към /robots.txt и наблюдавайте Search Console и crawl логовете за промени в поведението.

Трябва ли да използвам robots.txt за да скрия частно съдържание?

Не. robots.txt е публичен файл и не трябва да се използва за защита на чувствителни данни. Използвайте authentication, премахнете съдържанието от публични пътища или върнете подходящи HTTP response codes, за да предотвратите достъпа.

Как да позволя само на един crawler (например Googlebot) да достъпва моя сайт?

Можете да включите user-agent група за конкретен crawler и по‑ограничителни групи за останалите, например:

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /

Имайте предвид, че това разчита на user-agent низове и добре‑поведаващи се crawlers; това не е сигурен контрол за достъп.