Sådan bruger du robots.txt til SEO

Hvad denne guide dækker

Dette indlæg forklarer, hvad robots.txt kontrollerer og ikke kontrollerer, viser korrekt syntaks og praktiske eksempler, giver kommandolinjekontroller du kan køre, og lister fejlsøgningsskridt til at rette almindelige fejl. Du får også verifikationstips, der virker i 2026 søgemiljøer (mobile-first indexing er Google’s default since July 2024 and Google removed traditional cached pages in early 2024).

Hvad robots.txt er, og hvad den kontrollerer

robots.txt er en plain text-fil i site-roden, der kommunikerer crawling-instruktioner til velopførte web robots. Den er en del af Robots Exclusion Standard. Brug filen til at fortælle crawlers hvilke stier de må hente; den kontrollerer crawling, ikke indexing eller ranking.

Vigtige forskelle at huske:

Crawling vs indexing vs ranking — robots.txt påvirker crawling (hvad en agent henter). En URL blokeret fra crawling kan stadig blive indexed, hvis andre sider linker til den og søgemaskinen vælger at indexe URL’en uden at hente dens indhold.

robots.txt er vejledende — kun crawlere, der følger standarden, vil overholde den. Ondsindede bots, spam-harvestere og nogle scannere kan ignorere den.

robots.txt erstatter ikke adgangskontrol. Brug HTTP authentication, adgangskodebeskyttelse eller server-side kontroller for privat indhold.

Hvor robots.txt skal ligge og grundregler

robots.txt skal serveres fra site-roden på den nøjagtige host og protokol, som reglerne gælder for. Eksempelplaceringer, der er forskellige: https://example.com/robots.txt og https://sub.example.com/robots.txt. Du kan ikke placere en robots.txt i en undermappe og forvente, at den kontrollerer hele domænet.

For enkelheds skyld og eksempler i denne guide er den kanoniske teststi http://www.yoursite.com/robots.txt.

robots.txt syntaks og almindelige direktiver

En minimal robots.txt bruger direktiver grupperet efter user-agent. Linjer er case-insensitive for direktivnavne. Eksemplerne nedenfor bruger de standardtokens, som de fleste større crawlers understøtter:

Bloker alle crawlers fra en mappe:

User-agent: *

Disallow: /private/

Tillad en specifik fil samtidig med at dens mappe blokeres (brugbart for Googlebot-agtig parsing):

User-agent: *

Disallow: /images/

Allow: /images/logo.png

Sitemaps kan deklareres i robots.txt for at pege crawlers mod dit XML sitemap:

Sitemap: http://www.yoursite.com/sitemap.xml

Mønstermatchning: større search engines understøtter asterisk (*) wildcard og slut-tegnets dollar ($) i robots.txt-mønstre. Det ikke-standardiserede Crawl-delay-direktiv ignoreres af nogle engines (Google does not support Crawl-delay).

Praktiske eksempler

1) Tillad alle crawlers at hente alt (standard, sikker mulighed):

User-agent: *

Disallow:

2) Bloker en enkelt crawler (fx bloker en specifik agent fra alt indhold):

User-agent: BadBot

Disallow: /

3) Forhindre crawlers i at hente ressourcer, der er nødvendige for rendering (almindelig fejl — se fejlsøgning):

Disallow: /static/js/

At blokere CSS/JS kan forhindre Google i at se din side, som brugerne ser den. Da Google bruger mobilversionen som sin primære basis for crawling and indexing og evaluerer Core Web Vitals fra den renderede side, så bloker ikke ressourcer, der er nødvendige for rendering.

Hvordan du verificerer og fejlsøger robots.txt

Grundlæggende checks du kan køre udefra sitet:

Hent filens indhold: curl http://www.yoursite.com/robots.txt — dette returnerer den fil, en crawler ville se.

Tjek kun headers: curl -I http://www.yoursite.com/robots.txt — verificerer HTTP-status (200 vs 4xx/5xx) og Content-Type. -I returnerer kun responsheaders.

Se hvordan browsere modtager den: åbn https://www.yoursite.com/robots.txt i en browser og bekræft, at indholdet er det samme som med curl.

Undersøg serverlogs for faktiske crawler-forespørgsler til /robots.txt og efter Googlebot eller andre agenter, der forsøger at hente blokerede sider — logs er det mest pålidelige tredjepartssignal på crawler-adfærd.

Checks du bør køre, når du ejer ejendommen:

Brug Google Search Console’s URL Inspection for enkelte sider for at se, om Google har hentet eller indexed en URL. URL Inspection er autoritativ for de ejendomme, du ejer.

Efter ændring af robots.txt, overvåg serverlogs og Performance-rapporten i Search Console for at bekræfte crawl-adfærd for vigtige sider.

Almindelige tegn på problemer og hvad du skal gøre

Du har ved et uheld blokeret CSS/JS — symptom: sider renderer forskelligt for crawlers; Løsning: fjern ressourcestier fra Disallow, så crawlers kan hente dem.

robots.txt returnerer 404/5xx — symptom: nogle crawlers kan betragte sitet som fuldt crawlable eller midlertidigt suspendere crawling; Løsning: gendan en gyldig robots.txt, som returnerer 200 og korrekt Content-Type.

Du blokerede et helt host eller protokol ved at placere robots.txt på forkert subdomæne — symptom: sider forsvinder fra crawl-logs; Løsning: tilføj robots.txt til den korrekte host (og tjek redirects).

Hvis en side er blokeret fra crawling men stadig vises i søgeresultater uden uddrag, indikerer det, at URL’en blev indexed ud fra eksterne signaler, selvom indholdet ikke blev hentet. For at fjerne sådanne URL’er fra resultaterne, brug korrekt HTTP authentication, fjern siden, eller returner et noindex-direktiv på selve siden (noindex kræver, at crawleren henter siden, så bloker den ikke i robots.txt, hvis du planlægger at bruge noindex).

Tjekliste: implementér og gennemgå robots.txt sikkert

Placer robots.txt i site-roden for den præcise host og protokol.

Test filen med curl (indhold og headers) og i en browser.

Undgå at blokere CSS, JavaScript, eller andre assets, der bruges til rendering, medmindre du bevidst vil forhindre rendering for crawlers.

Angiv sitemaps i robots.txt for at hjælpe crawlers med at finde dine indexable URLs.

Overvåg serverlogs og Search Console for crawl-adfærd efter ændringer.

Hvis du har brug for en trin-for-trin-reference, læs Read the Technical SEO Guide for bredere kontekst om crawlability og Core Web Vitals.

Yderligere overvejelser i 2026

Fordi Google bruger mobilversionen som primær basis for crawling og indexing og fordi traditionelle cached pages blev fjernet i begyndelsen af 2024, kan indhold, der bevidst skjules for crawlers via robots.txt, være mindre tilbøjeligt til at dukke op i moderne AI-drevne overblik og Search Generative Experience-funktioner. Hvis du vil have indhold tilgængeligt for AI-overblik eller brugt til rige SERP-funktioner, tillad crawlers at hente og indexe siden og brug structured data, hvor det er relevant.

FAQ