Robots.txt: hva det er og hvordan det fungerer
robots.txt er en ren tekstfil plassert i rotkatalogen på et nettsted som angir crawl-regler for web crawlers (User-agent, Disallow, Allow, Sitemap). Den kontrollerer crawling-atferd og kan påvirke indeksering, men ikke rangering direkte.
Hva er robots.txt?
robots.txt (Robots Exclusion Protocol) er en ren tekstfil liggende i rotkatalogen på et host — f.eks. https://example.com/robots.txt — som gir enkle crawl-instruksjoner til user-agents (web crawlers). Den er offentlig og maskinlesbar; den autentiserer ikke eller skjuler innhold. Crawlers leser robots.txt for å finne hvilke stier nettstedseier foretrekker at de unngår eller prioriterer.
Hvorfor robots.txt er viktig for SEO
Robots.txt kontrollerer crawling. Crawling er fasen for oppdagelse og henting av hvordan søkemotorer samhandler med nettstedet ditt; hvis en crawler blokkeres fra å hente en URL, kan den ikke se on-page-direktiver (som meta robots) eller sidens innhold som trengs for å bli indeksert. Det betyr at robots.txt kan påvirke indeksering indirekte. Den setter ikke rangering direkte — rangering bestemmes av mange signaler etter indeksering. Bruk robots.txt for å beskytte serverressurser, unngå crawling av dupliserte eller interne verktøysider, og sørg for at crawlers kan få tilgang til ressurser som kreves for korrekt rendering.
Hvordan robots.txt fungerer
En crawler henter /robots.txt før den forespør andre sider på samme host og anvender den første matchende User-agent stanza og dens direktiver. Vanlige direktiver støttet av store crawlers inkluderer User-agent, Disallow, Allow og Sitemap. Støtte for mønstermatching og tilleggskommander varierer per crawler — Google kjenner igjen mønstre som * og $ og følger Allow/Disallow-presedensregler i sin dokumentasjon.
Vanlige direktiver og eksempler
Et minimalt robots.txt-eksempel:
User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
Merk: plasser robots.txt i rotkatalogen. Hvis robots.txt returnerer en HTTP 404, tolker de fleste crawlers det som «ingen restriksjoner»; hvis den ikke kan hentes eller returnerer serverfeil, kan crawler-oppførsel variere — test og overvåk for å unngå utilsiktet bred blokkering. For Google-spesifikk oppførsel og eksempler, se Googles robots.txt-dokumentasjon.
Typer av robots.txt
Ulike mønstre for robots.txt brukes avhengig av målsetningen. Nedenfor er vanlige tilnærminger med korte fordeler og ulemper.
- Site-wide block (Disallow: /)
Fordeler: forhindrer umiddelbart crawler-tilgang til hele hosten.
Ulemper: hindrer crawlers i å hente innhold og ressurser; kan stoppe indeksering av offentlige sider.
- Path-specific rules (Disallow: /private/)
Fordeler: enkelt å ekskludere interne eller administrative stier.
Ulemper: robots.txt er offentlig; ikke list sensitive stier du forventer å holde hemmelige.
- User-agent specific rules (User-agent: Googlebot)
Fordeler: skreddersy oppførsel for spesifikke crawlers.
Ulemper: økt vedlikehold; noen crawlers ignorerer ikke-standard direktiver.
Kom i gang med robots.txt
1) Bestem hva som trenger beskyttelse mot crawling (servertunge områder, staging-stier) og hva som må være tilgjengelig for crawlers (offentlige sider, CSS/JS som trengs for rendering).
2) Lag en ren tekstfil som heter robots.txt i rotkatalogen. Test lokalt og på staging før du deployer til produksjon.
3) Deploy og verifiser ved hjelp av den tekniske sjekklisten nedenfor. Hold filen enkel og dokumenter eventuelle User-agent-spesifikke regler slik at fremtidige vedlikeholdere forstår hensikten.
Vanlige robots.txt-feil
• Å stole på robots.txt for å skjule sensitive data — robots.txt er offentlig og bør ikke brukes som sikkerhet. Bruk autentisering eller fjern ressursen.
• Å blokkere CSS/JS som trengs for rendering — dette kan skade hvordan søkemotorer forstår sidens oppsett og innhold.
• Å blokkere sider som inneholder meta noindex — hvis Googlebot er blokkert fra å hente siden, kan den ikke se meta robots:noindex-direktivet.
• Å plassere robots.txt under en understi (f.eks. /blog/robots.txt) — crawlers ser kun etter rotfilen.
• Syntaksfeil og feil HTTP-statuskoder — sørg for at filen leveres med en passende 200-respons.
Verifisering av robots.txt: teknisk sjekkliste
Bruk kontrollene nedenfor etter deploy eller oppdatering av robots.txt. Hvert punkt viser hvor du kan verifisere og en klar bestått-betingelse.
**File reachable** — hvor å verifisere: curl -I https://example.com/robots.txt — bestås når forespørselen returnerer HTTP 200 og filen inneholder det forventede innholdet.
**Correct directives** — hvor å verifisere: curl https://example.com/robots.txt eller view-source i nettleseren — bestås når User-agent/Disallow/Allow-linjene samsvarer med policyen din.
**Not blocking rendering assets** — hvor å verifisere: Chrome DevTools Network og Coverage eller hent via en crawler-simulator — bestås når CSS/JS som trengs for rendering ikke er disallowed.
**Google-block check (own site)** — hvor å verifisere: Google Search Console URL Inspection — bestås når Inspection viser at URL-en er crawlable og ikke "Blocked by robots.txt".
**External crawl check** — hvor å verifisere: bruk curl eller en tredjeparts crawler for å be om en blokkert URL og bekreft at siden returnerer 200 men crawleren ble nektet tilgang — bestås når oppførselen samsvarer med forventningene.
**Sitemap presence** — hvor å verifisere: robots.txt-innhold og Google Search Console Sitemaps-rapport — bestås når sitemap-URL-en er listet i robots.txt eller sendt inn i Search Console og akseptert.
Verktøy og kommandoer for å verifisere robots.txt
curl (headers only): curl -I https://example.com/robots.txt — returnerer HTTP-status og responsheaders. curl (full file): curl https://example.com/robots.txt — skriver ut innholdet for inspeksjon. Chrome DevTools: åpne filens URL eller se sideforespørsler i nettverksfanen for å bekrefte at ressurser er tillatt. Google Search Console URL Inspection: for en URL du eier, rapporterer verktøyet om Google ser siden og om den ble blokkert av robots.txt.Bing Webmaster ToolsSite Explorer kan vise hvordan Bing håndterte filen for nettsteder du verifiserer. Bruk serverlogger for å bekrefte hvilke user-agents som ba om robots.txt og hvor ofte.
For autoritative detaljer om støttede direktiver og presedens, se den offisielle dokumentasjonen på https://developers.google.com/search/docs/advanced/robots/intro
Ofte stilte spørsmål
Q: Hvis jeg blokkerer en side med robots.txt, vil den forsvinne fra søkeresultater?
A: Å blokkere med robots.txt hindrer crawlers fra å hente siden, noe som vanligvis forhindrer dem fra å se on-page-signaler. En blokkert side kan fortsatt dukke opp i søkeresultater basert på eksterne signaler (kun URL-oppføring), men den vil mangle et cachet utdrag eller gjengitt innhold. For å be om fjerning, bruk index removal tools for URL-er du eier; for å kontrollere indeksering via metadata, sørg for at siden er crawlable slik at crawlers kan se et meta robots:noindex-direktiv.
Q: Kan jeg bruke robots.txt til å blokkere spesifikke bots?
A: Du kan legge til User-agent-spesifikke stanzas for å målrette kjente crawlers. Men robots.txt er et æresystem: veloppdragne crawlers følger det, mens ondsinnede bots kan ignorere det. For sterkere beskyttelse, bruk autentisering, IP-filtrering eller en brannmur.
Q: Bør jeg inkludere sitemap i robots.txt?
A: Å inkludere Sitemap: https://example.com/sitemap.xml i robots.txt er en praktisk måte å peke crawlers til sitemapen; send også sitemaps direkte i Google Search Console for nettsteder du kontrollerer.
Q: Gjelder robots.txt per protokoll og host?
A: Ja. robots.txt hentes per host og protokoll: https://example.com/robots.txt er separat fra http://example.com/robots.txt eller https://sub.example.com/robots.txt. Plasser filen på samme scheme og host som brukes av nettstedet ditt.
Q: Hvordan påvirker mobile-first indexing robots.txt?
A: Google bruker den mobile versjonen som sitt primære grunnlag for crawling and indexing. Siden July 2024 crawler Google nettsteder for Search med Googlebot Smartphone som standard. Sørg for at robots.txt ikke utilsiktet blokkerer ressurser på de mobilserverte sidene som kreves for korrekt rendering og indeksering.
Q: Hvor finner jeg offisiell veiledning?
A: Se Googles robots.txt-dokumentasjon på https://developers.google.com/search/docs/advanced/robots/intro og Schema.org og W3C-ressursene for praksis knyttet til crawling og indeksering.
Relaterte termer
Crawler: hva det er og hvorfor det betyr noe for SEO
En crawler er en automatisert bot som henter nettsider, følger lenker og ressurser for å finne innhold for søkemotorer; crawlede sider blir kandidater for indeksering (Google uses Googlebot Smartphone by default since July 2024).
Søkemotorer: Hvordan de fungerer og SEO-grunnleggende
Søkemotorer er programvaresystemer som oppdager, gjennomsøker, indekserer og henter nettinnhold for å svare på brukerforespørsler; moderne SERPs viser også AI Overviews, rich results og rangerte oppføringer bestemt av mange signaler.
Søkealgoritme: definisjon, hvordan den fungerer og SEO-påvirkning
En søkealgoritme er settet med programvareregler søkemotorer bruker for å oppdage, crawle, indeksere og rangere nettsider for søk ved å kombinere relevanssignaler, innholdskvalitet, link-signaler og AI-avledede intensjonsmodeller for å ordne resultater.
Søkemotorrangeringer: definisjon og hvordan de fungerer
Søkemotorrangeringer er rekkefølgen søkemotorer presenterer indekserte sider for en bestemt søkefrase; rangeringer reflekterer mange signaler — relevans, backlinks, innholdskvalitet, sideopplevelse og brukerintensjon — og samhandler med AI-overblikk i 2026.
Meta tags: typer, bruk og SEO beste praksis
Meta tags er HTML‑elementer som gir metadata om en side (title, description, robots‑direktiver, social preview‑tagger og andre). Søkemotorer og plattformer leser dem for å påvirke indeksering, SERP‑utdrag og presentasjon.
On-page SEO: definisjon, sjekkliste og verifisering
On-page SEO er å optimalisere en sides innhold, HTML og UX slik at den er relevant, indekserbar og nyttig for brukere og moderne søkemotorer — inkludert mobile-first rendering, structured data, canonicals og page performance.