Як використовувати robots.txt для SEO

Про що цей посібник

У цій публікації пояснюється, що robots.txt контролює, а що ні, показано правильний синтаксис і практичні приклади, наведено командні перевірки, які Ви можете виконати, і перелік кроків усунення несправностей для відновлення після поширених помилок. Ви також отримаєте поради з верифікації, що працюють у середовищах пошуку 2026 року (mobile-first indexing — це налаштування за замовчуванням у Google з липня 2024 року, а Google видалив традиційні кешовані сторінки на початку 2024 року).

Що таке robots.txt і що воно контролює

robots.txt — це простий текстовий файл у корені сайту, який передає інструкції зі сканування добросовісним веб-роботам. Він є частиною стандарту Robots Exclusion Standard. Використовуйте файл, щоб вказати краулерам, які шляхи їм дозволено запитувати; він контролює сканування, а не індексацію чи ранжування.

Ключові відмінності, які слід пам’ятати:

Сканування, індексація та ранжування — robots.txt впливає на сканування (що агент завантажує). URL, заблокований для сканування, може все одно опинитися в індексі, якщо на нього посилаються інші сторінки й пошукова система вирішить індексувати URL без отримання його вмісту.

robots.txt має рекомендаційний характер — його дотримуватимуться лише коректні краулери. Зловмисні боти, скрипти для збору спаму та деякі сканери можуть ігнорувати його.

robots.txt не замінює механізми контролю доступу. Для приватного вмісту використовуйте HTTP authentication, захист паролем або серверні обмеження.

Де має розміщуватися robots.txt і базові правила

robots.txt повинен віддаватися з кореня сайту на точному хості та протоколі, для якого діють правила. Приклади розташувань, що є різними:https://example.com/robots.txt та https://sub.example.com/robots.txt. Ви не можете розмістити robots.txt у підпапці й очікувати, що він контролюватиме весь домен.

Для зручності та прикладів у цьому посібнику канонічним тестовим шляхом є http://www.yoursite.com/robots.txt.

Синтаксис robots.txt і поширені директиви

Мінімальний robots.txt використовує директиви, згруповані за user-agent. Імена директив нечутливі до регістру. Наведені нижче приклади використовують стандартні токени, підтримувані більшістю основних краулерів:

Заборонити всім краулерам доступ до папки:

User-agent: *

Disallow: /private/

Дозволити конкретний файл при забороні його директорії (корисно для парсингу у стилі Googlebot):

User-agent: *

Disallow: /images/

Allow: /images/logo.png

У robots.txt можна вказатиXML sitemap:

Sitemap: http://www.yoursite.com/sitemap.xml

Підтримка шаблонів: провідніпошукові системи підтримують символ підстановки зірочка (*) та символ кінця рядка ($) у патернах robots.txt. Нестандартну директиву Crawl-delay деякі рушії ігнорують (Google не підтримує Crawl-delay).

Практичні приклади

1) Дозволити всім краулерам завантажувати все (безпечний варіант за замовчуванням):

User-agent: *

Disallow:

2) Заблокувати одного краулер (наприклад, заборонити конкретному агенту доступ до всього вмісту):

User-agent: BadBot

Disallow: /

3) Заборонити краулерам завантажувати ресурси, необхідні для рендерингу (поширена помилка — див. розділ усунення несправностей):

Disallow: /static/js/

Блокування CSS/JS може перешкодити Google побачити сторінку так, як бачать її користувачі. Оскільки Google використовує мобільну версію як основну основу для сканування та індексації та оцінює Core Web Vitals за результатами відрендереної сторінки, тому не блокуйте ресурси, необхідні для рендерингу.

Як перевіряти та усувати неполадки robots.txt

Базові перевірки, які Ви можете виконати ззовні сайту:

Отримати тіло файлу: curl http://www.yoursite.com/robots.txt — це повертає вміст файлу, який бачить краулер.

Перевірити лише заголовки: curl -I http://www.yoursite.com/robots.txt — перевіряє HTTP-статус (200 проти 4xx/5xx) та Content-Type. -I повертає лише заголовки відповіді.

Подивитися, як файл отримують браузери: відкрийте https://www.yoursite.com/robots.txt у браузері та підтвердіть, що вміст збігається з curl.

Переглядайте серверні логи на наявність реальних запитів краулерів до /robots.txt та запитів Googlebot чи інших агентів на заблоковані сторінки — логи є найнадійнішим стороннім індикатором поведінки краулера.

Перевірки, які слід виконати, якщо Ви володієте ресурсом:

Використайте URL Inspection у Google Search Console для окремих сторінок, щоб дізнатися, чи Google завантажував або індексував URL. URL Inspection є авторитетним для властивостей, якими Ви володієте.

Після зміни robots.txt моніторте серверні логи та звіт Performance у Search Console, щоб підтвердити поведінку сканування для важливих сторінок.

Поширені ознаки проблем і що робити

Ви випадково заблокували CSS/JS — симптом: сторінки рендеряться по‑іншому для краулерів; Рішення: видаліть шляхи до ресурсів з Disallow, щоб краулери могли їх завантажувати.

robots.txt повертає 404/5xx — симптом: деякі краулери можуть вважати сайт повністю доступним для сканування або тимчасово припинити сканування; Рішення: відновіть дійсний robots.txt, який повертає 200 та правильний Content-Type.

Ви заблокували цілий хост або протокол, розмістивши robots.txt на неправильному субдомені — симптом: сторінки зникають у логах сканування; Рішення: додайте robots.txt на правильний хост (і перевірте редиректи).

Якщо сторінка заблокована для сканування, але все одно з’являється в результатах пошуку без фрагмента, це означає, що URL було проіндексовано з зовнішніх сигналів, хоча вміст не був отриманий. Щоб видалити такі URL з результатів, використайте належну HTTP authentication, видаліть сторінку або подайте директиву noindex на самій сторінці (noindex вимагає, щоб краулер отримав сторінку, тому не блокуйте її в robots.txt, якщо плануєте використовувати noindex).

Контрольний список: як безпечно розгорнути та перевірити robots.txt

Розмістіть robots.txt у корені сайту для точного хоста та протоколу.

Перевірте файл за допомогою curl (тіло та заголовки) та у браузері.

Уникайте блокування CSS, JavaScript, чи інших ресурсів, необхідних для рендерингу, якщо Ви навмисно не хочете завадити рендерингу краулерам.

Оголосіть sitemaps у robots.txt, щоб допомогти краулерам виявляти ваші індексовані URL.

Моніторте серверні логи та Search Console щодо поведінки сканування після змін.

Якщо Вам потрібен покроковий посібник, прочитайте Прочитайте технічний посібник з SEO для ширшого контексту щодо доступності для сканування та Core Web Vitals.

Додаткові міркування у 2026 році

Оскільки Google використовує мобільну версію як основну для сканування та індексації і традиційні кешовані сторінки були видалені на початку 2024 року, вміст, який навмисно прихований від краулерів через robots.txt, може менш імовірно з’являтися в сучасних AI‑керованих оглядах та функціях Search Generative Experience. Якщо Ви хочете, щоб вміст був доступний для AI-оглядів або використовувався для багатих SERP-функцій, дозволяйте краулерам завантажувати та індексувати сторінку й використовуйте структуровані дані там, де це доречно.

Часті питання

Де має бути розміщений robots.txt?

robots.txt має бути доступний у корені точного хоста й протоколу, який Ви хочете контролювати, наприклад https://www.example.com/robots.txt. Правила не поширюються з батьківського домену на субдомени.

Чи може блокування сторінки в robots.txt видалити її з результатів пошуку?

Блокування сторінки для сканування не завжди перешкоджає появі URL у результатах пошуку, якщо інші сторінки посилаються на нього. Щоб запобігти індексації, дозвольте сторінці бути сканованою й поверніть директиву noindex або використайте серверні механізми контролю доступу.

Як швидко вступають у силу зміни в robots.txt?

Краулери періодично завантажують robots.txt; універсального фіксованого терміну немає. Щоб підтвердити зміну, перевірте серверні логи на нові запити до /robots.txt та моніторте Search Console і логи сканування на предмет змін поведінки.

Чи слід використовувати robots.txt для приховування приватного вмісту?

Ні. robots.txt — це публічний файл і не варто покладатися на нього для захисту конфіденційних даних. Використовуйте автентифікацію, приберіть вміст з публічних шляхів або надсилайте відповідні HTTP-коди відповіді, щоб заборонити доступ.

Як дозволити доступ лише одному краулеру (наприклад, Googlebot) до мого сайту?

Ви можете включити групу user-agent для конкретного краулера й більш обмежувальні групи для інших, наприклад:

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /

Пам’ятайте, що це спирається на user-agent рядки та коректну поведінку краулерів; це не є надійним механізмом контролю доступу.