Robots.txt SEO: efektyviai valdykite nuskaitymą

Ką daro robots.txt — ir ko jis nedaro

Robots.txt yra paprasto teksto failas, patalpintas svetainės šakniniame kataloge (https://example.com/robots.txt). Jo vaidmuo yra siaurai apibrėžtas: jis pateikia crawling instrukcijas gerai elgiantiems crawleriams. Naudokite jį norėdami sumažinti nereikalingus užklausimus mažos vertės sritims ir pagerinti crawl efektyvumą; nepasikliaukite juo valdyti indexation arba slėpti jautrų turinį.

Valdo crawling, ne indexation

Disallow direktyva neleidžia atitinkamiems crawleriams užklausti URL kelio. Jei puslapis užblokuotas nuo crawling’o, paieškos varikliai vis tiek gali indeksuoti jo URL pagal išorinius signalus (pvz., nuorodas), bet jie nematys puslapio HTML ar meta robots žymų. Patikimai neleisti indeksuoti — leiskite crawling’ą, kad crawler galėtų perskaityti meta robots noindex žymą arba naudoti X-Robots-Tag atsakymo antraštę su noindex pačiame resurse.

Viešas, rekomendacinis ir ne saugumo valdymas

Robots.txt yra viešai prieinamas ir rekomendacinis: bet kas gali jį perskaityti per /robots.txt, o kenkėjiški crawleriai gali ignoruoti direktyvas. Neskelbkite paslapčių ar privatinių kelių robots.txt; traktuokite jį kaip crawl-control dokumentą, o ne prieigos kontrolės mechanizmą.

Pagrindinė sintaksė ir dažnos direktyvos

Dauguma svetainių naudoja mažą direktyvų rinkinį. Specifikacija ir praktiniai plėtiniai, kuriuos palaiko pagrindiniai paieškos varikliai, apima bazines patterns, wildcards ir sitemap nuorodas. Laikykite taisykles paprastas ir, jei įmanoma, dokumentuokite tikslą komentaruose.

Pagrindinės direktyvos (pavyzdžiai parodyti kaip literaliai eilutės):

• User-agent: <bot-name> — taikykite vienam crawleriui; naudokite User-agent: * visiems crawleriams.
• Disallow: /path/ — neleidžia užklausų keliams po /path/.
• Allow: /path/file.js — aiškiai leidžia kelią po uždraustu tėviniu keliu (palaiko pagrindiniai varikliai).
• Sitemap: https://example.com/sitemap.xml — nurodo crawleriams jūsų XML sitemap(us).
• Wildcards: * (atitinka bet kokią seką) ir $ (eilutės pabaiga) praktiškai palaikomi pagrindinių variklių; naudokite juos atsargiai, kai taikote užklausų parametrų modeliams.
• Neoficialios direktyvos: Crawl-delay ir Host pripažįstamos kai kurių crawlerių, bet jos nėra originalios specifikacijos dalis — ištestuokite elgseną tiems user-agentams, kurie Jums aktualūs.

Kaip robots.txt sąveikauja su indeksavimu ir reitingavimu

Atskirkite crawling, indexing ir ranking: robots.txt veikia crawling etapą (ar crawleris užklausia URL). Indexavimui reikalinga, kad crawleris perskaitytų puslapio turinį arba meta/X-Robots-Tag. Ranking yra vėlesnis procesas, kuris remiasi signalais, iš dalies gaunamais iš puslapio turinio; jeigu crawleris negali užklausti puslapio, tie turinio signalai tampa neprieinami.

Praktinės pasekmės:

• Uždraudus puslapį robots.txt, paieškos variklis negali užklausti puslapio, kad perskaitytų meta robots noindex žymes ar struktūrizuotus duomenis.
• Jei svarbus resursas (CSS/JS) užblokuotas, mobile-first indexing ir rendering gali nepastebėti puslapio teisingai; kadangi Google naudoja mobilią versiją kaip pagrindinį pagrindą crawling and indexing, ir kadangi Googlebot Smartphone yra numatytasis crawler nuo July 2024, leiskite resursus, reikalingus renderingui mobiliajame.

Patikra: kaip ištestuoti, ką crawleriai iš tiesų mato

Patikrinkite robots.txt prieinamumą ir turinį iš išorės ir patvirtinkite, kaip Jūsų svetainė reaguoja į tikrus crawlerių užklausimus. Naudokite serverio logus, tiesioginius užklausimus ir Search Console įrankius puslapiams, kuriuos valdote.

Greitos patikros su curl

Norėdami paimti HTTP atsakymo antraštes robots.txt (tik antraštės):

• curl -I https://example.com/robots.txt — grąžina tik atsakymo antraštes; patikrinkite statuso kodą ir Content-Type.

Norėdami atsiųsti visą failą kaip specifinį user-agent (HTML ir direktyvos):

• curl -A "Googlebot" https://example.com/robots.txt — grąžina failo turinį naudojant nurodytą user-agent eilutę.

Serverio logai ir realaus crawl įrodymai

Tikrinkite serverio logus dėl užklausų į /robots.txt ir dėl crawlerių user-agentų, tokių kaip Googlebot ar Bingbot. Logai parodo užklausų dažnumą, atsakymo kodus ir ar crawleriai bandė užklausti uždraustus URL. Puslapiams, kuriuos valdote, naudokite Search Console URL Inspection, kad pamatytumėte crawl ir index signalus; trečių šalių puslapiams site: užklausa duoda indikaciją, bet nėra galutinė.

Dažnos klaidos ir kaip jas ištaisyti

Venkite šių dažnų klaidų valdant robots.txt.

• Blokuojamas CSS/JS, reikalingas renderingui: sprendimai — leiskite asset keliams, kurių reikia mobiliajam renderingui, kad Googlebot Smartphone galėtų tiksliai renderinti puslapius.
• Tikėtis, kad robots.txt noindexins URL: sprendimai — pašalinkite Disallow tam puslapiui ir naudokite meta robots noindex arba X-Robots-Tag antraštę, kad paieškos varikliai galėtų pamatyti instrukciją.
• Nurodyti jautrius URL robots.txt: sprendimai — neatskleiskite privačių kelių robots.txt; apsaugokite juos autentifikacija ir tinkama serverio pusės prieigos kontrole.
• Per daug sudėtingos wildcard taisyklės, netyčia atitinkančios galiojančius puslapius: sprendimai — patikrinkite kiekvieną pattern su pavyzdiniais URL ir dokumentuokite intenciją komentaruose, laikydami taisykles kiek įmanoma konkretesnes.

Rekomenduojamos robots.txt strategijos

Rinkitės konservatyvų, testuojamą požiūrį: laikykite robots.txt minimalų, nurodykite crawleriams sitemap’us ir teikite pirmenybę puslapio lygio meta/X-Robots-Tag valdymui indeksavimui.

Praktiniai modeliai:

• Numatytas leidimas su sitemap: įtraukite User-agent: * ir Sitemap direktyvą, kad crawleriai greitai atrastų Jūsų struktūrą.
• Uždrauskite mažos vertės užklausų puslapius ar vidinę paiešką, bet venkite blokuoti parametrų modelių, kurie taip pat atitinka canonical turinį; teikite pirmenybę parametrų valdymui per sitemap ar canonical žymes.
• Staging arba development: blokuokite crawlerius, kol staging yra viešas, bet prieš paleidimą pašalinkite arba pakeiskite bloką; nepasikliaukite robots.txt kaip vienintele priemone priešprodukcinėms bylos apsaugoti.

Pavyzdžiai, kuriuos galite pritaikyti

Paprasta svetainė su sitemap

User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml

Dažnas CMS (leisti admin-ajax)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

Staging blokas (viešas serveris, bet dar negyvas)

User-agent: *
Disallow: /

Įspėjimas: staging blokai turi būti pašalinti prieš paleidimą; taip pat apsaugokite staging autentifikacija, kad paieškos varikliai ir trečios šalys negalėtų netyčia indeksuoti, jeigu robots failas yra pakeistas.

Robots.txt priežiūra dideliuose projektuose

Didelėms svetainėms traktuokite robots.txt kaip konfigūracijos artefaktą: laikykite jį source control, peržiūrėkite pakeitimus pull request’uose ir diegkite kartu su svetaine, kad staging ir production turėtų teisingus, aplinkai pritaikytus failus. Automatizuokite testus, kurie paima išdiegtą robots.txt ir validuoja taisyklių sintaksę su reprezentaciniais URL.

Jei valdote kelis subdomenus, prisiminkite, kad robots.txt yra host-specifinis: taisyklės example.com/robots.txt netaikomos sub.example.com.

DUK

Ar robots.txt gali užkirsti kelią puslapiui pasirodyti paieškos rezultatuose?

Ne patikimai. Robots.txt gali sustabdyti crawlerį nuo puslapio užklausos, bet paieškos varikliai vis tiek gali indeksuoti URL pagal išorines nuorodas ar kitus signalus. Norint užkirsti kelią indeksavimui, leiskite crawling’ą ir naudokite meta robots noindex žymą puslapyje arba X-Robots-Tag: noindex atsakymo antraštę, kad crawleris galėtų perskaityti instrukciją.

Kaip patikrinti, ar Google laikosi mano robots.txt?

Iš išorės paimkite https://example.com/robots.txt su curl, kad patvirtintumėte failą ir statuso kodus, patikrinkite serverio logus dėl Googlebot užklausų į failą ir į puslapius, kuriuos tikitės, kad bus crawlinami, ir naudokite Search Console URL Inspection puslapiams, kuriuos valdote, kad pamatytumėte crawl bandymus ir index būseną. site: užklausa suteikia viešą indikaciją, bet nėra galutinė.

Ar turėčiau blokuoti URL parametrus robots.txt?

Elkitės atsargiai. Blokuoti parametrizuotus URL gali taupyti crawl budget, bet rizikuoja paslėpti canonicalizuotą ar indeksuotą turinį, jei patternai per platūs. Teikite pirmenybę canonical žymoms, parametrų valdymui sitemape arba serverio pusės peradresavimams, kur tinkama; ištestuokite bet kokį pattern kruopščiai prieš diegdami.

Ar Crawl-delay saugu laikyti patikimu?

Crawl-delay yra neoficiali direktyva ir jos palaikymas priklauso nuo crawlerio. Svetainėms, kurioms reikia crawl-rate kontrolės, teikite pirmenybę serverio pusės rate limiting, robots meta tags konkretiems puslapiams arba crawleriui skirtoms nustatymams tokiuose servisuose kaip Bing Webmaster Tools. Visada testuokite elgseną konkretiems user-agentams, kuriuos taikote.