Robots.txt SEO: kontroller crawling effektivt

Hva robots.txt gjør — og hva den ikke gjør

robots.txt er en ren tekstfil plassert i nettstedets rot (https://example.com/robots.txt). Rollen er begrenset: den gir instruksjoner for crawling til veloppførte crawlere. Bruk den for å redusere unødvendige forespørsler mot sider med lav verdi og for å forbedre crawl-effektiviteten; ikke stol på den for å styre indeksering eller skjule sensitivt innhold.

Kontrollerer crawling, ikke indeksering

En Disallow-direktiv hindrer kompatible crawlere fra å hente en URL-sti. Hvis en side er blokkert for crawling, søkemotorer kan fortsatt indeksere URL-en basert på eksterne signaler (for eksempel lenker), men de vil ikke se sidens HTML eller meta robots-tagger. For å forhindre indeksering pålitelig, tillat crawling slik at crawleren kan lese en meta robots noindex-tag eller bruke en X-Robots-Tag-responsheader med noindex på ressursen selv.

Offentlig, rådgivende — ikke et sikkerhetskontroll

robots.txt er offentlig tilgjengelig og rådgivende: alle kan lese den på /robots.txt, og ondsinnede crawlere kan ignorere direktivene. Ikke list hemmeligheter eller private stier i robots.txt; se på den som et dokument for å styre crawling, ikke som en tilgangskontroll.

Kjernesyntaks og vanlige direktiver

De fleste nettsteder bruker et lite sett direktiver. Spesifikasjonen og de praktiske utvidelsene som store søkemotorer bruker støtter grunnleggende mønstre, wildcards og pekere til sitemap. Hold reglene enkle og dokumenter hensikten i kommentarer når det er mulig.

Nøkkel‑direktiver (eksempler vist som bokstavelige linjer):

• User-agent: <bot-name> — målrett én crawler; bruk User-agent: * for alle crawlere.
• Disallow: /path/ — forhindre henting av stier under /path/.
• Allow: /path/file.js — eksplisitt tillat en sti under en blokkert overordnet (støttes av store søkemotorer).
• Sitemap: https://example.com/sitemap.xml — peker crawlere til din XML sitemap(er).
• Wildcards: * (matcher hvilken som helst sekvens) og $ (slutt-i-streng) støttes i praksis av store motorer; bruk dem med forsiktighet for mønstre med spørringsparametre.
• Ikke-standard direktiver: Crawl-delay og Host gjenkjennes av noen crawlere, men er ikke del av den originale standarden — test oppførsel for de user-agents du bryr deg om.

Hvordan robots.txt påvirker indeksering og rangering

Skill mellom crawling, indeksering og rangering: robots.txt påvirker crawlingsfasen (om en crawler henter en URL). Indeksering krever at crawleren leser sideinnhold eller en meta/X-Robots-Tag. Rangering er en etterfølgende prosess som baserer seg på signaler, noen av dem fra sideinnhold; hvis en crawler ikke kan hente en side, er disse innholdsbaserte signalene utilgjengelige.

Praktiske konsekvenser:

• Å blokkere en side i robots.txt betyr at søkemotoren ikke kan hente siden for å lese meta robots noindex-tagger eller strukturert data.
• Hvis en viktig ressurs (CSS/JS) er blokkert, mobile-first indexing og renderingen kan mislykkes i å vise siden korrekt; siden Google bruker mobilversjonen som sitt primære grunnlag for crawling and indexing, og siden Googlebot Smartphone er standardcrawler fra og med July 2024, tillat ressurser som kreves for rendering på mobil.

Verifikasjon: hvordan teste hva crawlerne faktisk ser

Verifiser robots.txt tilgjengelighet og innhold eksternt, og bekreft hvordan nettstedet ditt svarer på ekte crawler-forespørsler. Bruk serverlogger, direkte forespørsler og Search Console-verktøy for sider du eier.

Raske sjekker med curl

For å hente HTTP-respons-headere for robots.txt (kun headere):

• curl -I https://example.com/robots.txt — returnerer kun respons-headere; kontroller statuskode og Content-Type.

For å hente hele filen som en spesifikk user-agent (HTML og direktiver):

• curl -A "Googlebot" https://example.com/robots.txt — returnerer filinnholdet ved bruk av den angitte user-agent-strengen.

Serverlogger og bevis fra ekte crawling

Inspiser serverlogger for forespørsler til /robots.txt og for crawler user-agents som Googlebot eller Bingbot. Logger viser hentefrekvens, responskoder og om crawlere forsøkte disallowed-URL-er. For sider du eier, bruk Search Console’s URL Inspection for å se crawl- og indeksignaler; for tredjepartssider gir en site:-spørring en indikasjon, men ikke et konkret svar.

Vanlige feil og hvordan rette dem

Unngå disse vanlige feilene når du administrerer robots.txt.

• Blokkere CSS/JS som trengs for rendering: løsninger — tillat baner til assets som kreves av mobilrenderingspipelinjen slik at Googlebot Smartphone kan rendre sider korrekt.
• Forvente at robots.txt noindexer URL-er: løsninger — fjern Disallow for siden og bruk en meta robots noindex eller X-Robots-Tag-header slik at søkemotorer kan se instruksen.
• Liste sensitive URL-er i robots.txt: løsninger — ikke eksponer private stier i robots.txt; beskytt dem med autentisering og riktig server-side tilgangskontroll.
• Altfor komplekse wildcard-regler som utilsiktet matcher gyldige sider: løsninger — test hvert mønster med eksempel-URL-er og dokumenter hensikt i kommentarer, og hold reglene så spesifikke som mulig.

Anbefalte robots.txt-strategier

Adopter en konservativ, testbar tilnærming: hold robots.txt minimal, pek crawlere til sitemaps, og foretrekk sidebaserte meta/X-Robots-Tag-kontroller for indeksstyring.

Praktiske mønstre:

• Standard tillatelse pluss sitemap: inkluder User-agent: * og en Sitemap-direktiv slik at crawlere raskt kan oppdage strukturen din.
• Blokker spørringssider med lav verdi eller interne søkeresultater, men unngå å blokkere parameter-mønstre som også matcher kanonisk innhold; foretrekk parameterhåndtering i sitemap eller via canonical-tagger.
• Staging eller utvikling: blokker crawlere mens staging er offentlig, men fjern eller endre blokkeringen før lansering; ikke stol på robots.txt som eneste beskyttelse for pre-produksjonsressurser.

Eksempler du kan tilpasse

Enkelt nettsted med sitemap

User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml

Vanlig CMS (tillat admin-ajax)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

Staging-blokk (offentlig server, men ikke live ennå)

User-agent: *
Disallow: /

Advarsel: staging-blokkeringer må fjernes før lansering; sikre også staging med autentisering slik at søkemotorer og tredjepart ikke ved et uhell indekserer hvis robots-filen endres.

Vedlikehold av robots.txt i stor skala

For store nettsteder, behandle robots.txt som en konfigurasjonsartefakt: hold den i versjonskontroll, gjennomgå endringer i pull requests, og deploy sammen med nettstedet slik at staging og produksjon har korrekte, miljøspesifikke filer. Automatiser tester som henter den deployerte robots.txt og validerer regelsyntaks mot representative URL-er.

Hvis du driver flere subdomener, husk at robots.txt er verts-spesifikk: regler på example.com/robots.txt gjelder ikke for sub.example.com.

FAQ