Robots.txt: hvad det er og hvordan det virker
robots.txt er en almindelig tekstfil placeret i rodmappen på et website, som angiver crawl-regler for webcrawlers (User-agent, Disallow, Allow, Sitemap). Den styrer crawling-adfærd og kan påvirke indeksering indirekte, men ikke rangering direkte.
Hvad er robots.txt?
robots.txt (Robots Exclusion Protocol) er en almindelig tekstfil placeret i rodmappen på et host — f.eks. https://example.com/robots.txt — som giver simple crawl-instruktioner til user-agents (web crawlers). Den er offentligt tilgængelig og maskinlæselig; den autentificerer ikke eller skjuler indhold. Crawlers læser robots.txt for at forstå, hvilke stier ejeren foretrækker, at de undgår eller prioriterer.
Hvorfor robots.txt betyder noget for SEO
Robots.txt styrer crawling. Crawling er den fase, hvor søgemaskiner opdager og henter indhold, de interagerer med dit site; hvis en crawlerblokeres fra at hente en URL, kan den ikke se on-page-direktiver (som meta robots) eller sidens indhold, der er nødvendigt for indeksering. Det betyder, at robots.txt indirekte kan påvirke indeksering. Den afgør ikke direkte rangordning — ranking bruger mange signaler efter indeksering. Brug robots.txt til at beskytte serverressourcer, undgå at crawle duplikerede eller interne værktøjssider, og sørg for, at crawlers kan få adgang til ressourcer, der er nødvendige for korrekt rendering.Hvordan robots.txt fungererEn crawler henter /robots.txt før den anmoder om andre sider på samme host og anvender den først matchende User-agent-stanza og dens direktiver. Almindelige direktiver, som større crawlers understøtter, er User-agent, Disallow, Allow og Sitemap. Støtte til mønster-matchning og ekstra direktiver varierer mellem crawlers — Google genkender mønstre som * og $ og følger Allow/Disallow-prioritetsregler ifølge deres dokumentation.
Typiske direktiver og eksempler
Et minimalt robots.txt-eksempel:
User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
Bemærk: placer robots.txt i site-roden. Hvis robots.txt returnerer HTTP 404, behandler de fleste crawlers det som 'ingen begrænsninger'; hvis den ikke kan hentes eller returnerer serverfejl, kan crawler-adfærden variere — test og overvåg for at undgå utilsigtet bred blokering. For Google-specifik adfærd og eksempler, se Google's robots.txt-dokumentation.
Typer af robots.txt
Forskellige mønstre af robots.txt bruges afhængigt af målet. Nedenfor er almindelige tilgange med korte fordele og ulemper.
- Site-wide block (Disallow: /)
Pros: forhindrer straks crawler-adgang til hele hosten.
Cons: forhindrer crawlers i at hente indhold og ressourcer; kan stoppe indeksering af offentlige sider.
- Path-specific rules (Disallow: /private/)
Pros: nemt at udelukke interne eller admin-stier.
Cons: robots.txt er offentlig; list ikke følsomme stier, du forventer at holde hemmelige.
- User-agent specific rules (User-agent: Googlebot)
Pros: skræddersy adfærd til specifikke crawlers.
Cons: øget vedligeholdelse; nogle crawlers ignorerer ikke-standard direktiver.
Sådan kommer du i gang med robots.txt
1) Beslut, hvad der skal beskyttes mod crawling (server-tunge områder, staging-stier) og hvad der skal forblive tilgængeligt for crawlers (offentlige sider, CSS/JS krævet for rendering).
2) Opret en almindelig tekstfil kaldet robots.txt i site-roden. Test lokalt og på en staging-host, før du udruller til produktion.
3) Udrul og verificér ved hjælp af den tekniske tjekliste nedenfor. Hold filen enkel og dokumentér eventuelle User-agent-specifikke regler, så fremtidige vedligeholdere forstår hensigten.
Almindelige robots.txt-fejl
• At stole på robots.txt for at skjule følsomme data — robots.txt er offentlig og bør ikke bruges som sikkerhed. Brug autentificering eller fjern ressourcen.
• Blokering af CSS/JS nødvendigt for rendering — dette kan skade, hvordan søgemaskiner forstår en sides layout og indhold.
• Blokering af sider, der indeholder meta noindex — hvis Googlebot er blokeret fra at hente siden, kan den ikke se meta noindex-direktivet.
• Placering af robots.txt under en understi (f.eks.
/blog/robots
.txt) — crawlers leder kun efter root-niveau filen.• Syntaksfejl og forkerte HTTP-statuskoder — sørg for, at filen serveres med et passende 200-svar.Verifikation af robots.txt: teknisk tjekliste
Brug kontrollerne nedenfor efter udrulning eller opdatering af robots.txt. Hvert punkt angiver, hvor du kan verificere, og et klart godkendelseskriterium.
**File reachable** — hvor du kan verificere: curl -I https://example.com/robots.txt — godkendt når forespørgslen returnerer HTTP 200 og filen er forventet indhold.
**Correct directives** — hvor du kan verificere: curl https://example.com/robots.txt eller view-source i browseren — godkendt når User-agent/Disallow/Allow-linjerne matcher din policy.
**Not blocking rendering assets** — hvor du kan verificere: Chrome DevTools Network og Coverage eller hent via en crawler-simulator — godkendt når CSS/JS nødvendige for rendering ikke er disallowed.
**Google-block check (own site)** — hvor du kan verificere:
Google Search Console URL Inspection — godkendt når Inspection viser, at URL'en er crawlable og ikke "Blocked by robots.txt".
**External crawl check** — hvor du kan verificere: brug curl eller en tredjepartscrawler til at anmode om en blokeret URL og bekræft, at siden returnerer 200, men at crawleren blev nægtet adgang — godkendt når adfærden matcher forventningerne.
**Sitemap presence** — hvor du kan verificere: robots.txt-indhold og Google Search Console Sitemaps-rapport — godkendt når sitemap-URL'en er listet i robots.txt eller indsendt i Search Console og accepteret.Værktøjer og kommandoer til at verificere robots.txt
curl (headers only): curl -I https://example.com/robots.txt — returnerer HTTP-status og respons-headere. curl (full file): curl https://example.com/robots.txt — printer indhold til inspektion. Chrome DevTools: åbn filens URL eller se sideforespørgsler i netværksfanen for at bekræfte, at assets er tilladt. Google Search Console URL Inspection: for en URL du ejer, rapporterer værktøjet, om Google ser siden og om den var blokeret af robots.txt.
Bing Webmaster Tools Site Explorer kan vise, hvordan Bing håndterede filen for sites, du verificerer. Brug serverlogs for at bekræfte, hvilke user-agents anmodede om robots.txt og hvor ofte.For autoritative detaljer om understøttede direktiver og prioritet, se den officielle dokumentation på
https://developers.google.com/search/docs/advanced/robots/introLæs Technical SEO Guide
Q: Hvis jeg blokerer en side med robots.txt, forsvinder den så fra søgeresultater?
A: At blokere via robots.txt forhindrer crawlers i at hente siden, hvilket normalt forhindrer dem i at se on-page-signaler. En blokeret side kan stadig dukke op i søgeresultater baseret på eksterne signaler (kun URL), men den vil mangle en cachet snippet eller renderet indhold. For at anmode om fjernelse, brug index removal-værktøjer for URLs du ejer; for at kontrollere indeksering via metadata, sørg for at siden kan crawles, så crawlers kan se meta robots:noindex-direktivet.
Q: Kan jeg bruge robots.txt til at blokere specifikke bots?
A: Du kan tilføje User-agent-specifikke stanzas for at målrette kendte crawlers. Dog er robots.txt et æres-system: velopførte crawlers følger det, mens ondsindede bots kan ignorere det. For stærkere beskyttelse, brug autentificering, IP-filtering eller en firewall.
Q: Bør jeg inkludere mit sitemap i robots.txt?
A: At inkludere Sitemap: https://example.com/sitemap.xml i robots.txt er en praktisk måde at pege crawlers imod dit sitemap; indsend også sitemaps direkte i Google Search Console for sites du kontrollerer.
Q: Gælder robots.txt per protokol og host?
A: Ja. robots.txt hentes per host og protokol: https://example.com/robots.txt er adskilt fra http://example.com/robots.txt eller https://sub.example.com/robots.txt. Placer filen på samme protokol og host som dit site bruger.
Q: Hvordan påvirker mobile-first indexing robots.txt?
A: Google bruger den mobile version som sit primære grundlag for crawling and indexing. Siden July 2024 crawler Google som standard med Googlebot Smartphone for Search. Sørg for, at robots.txt ikke utilsigtet blokerer ressourcer på de mobile-servede sider, som er nødvendige for korrekt rendering og indeksering.
Q: Hvor kan jeg finde officiel vejledning?
A: Se Google's robots.txt-dokumentation på https://developers.google.com/search/docs/advanced/robots/intro og Schema.org- og W3C-ressourcer for relaterede crawling- og indekseringspraksisser.
Relaterede emner
Crawler: hvad det er, og hvorfor det betyder noget for SEO
En crawler er en automatiseret bot, der henter websider, følger links og ressourcer for at opdage indhold for søgemaskiner; crawlede sider bliver kandidater til indeksering (Google bruger Googlebot Smartphone som standard siden July 2024).
Søgemaskiner: hvordan de virker og SEO i korte træk
Søgemaskiner er softwaresystemer, der opdager, crawler, indekserer og henter webindhold for at besvare brugerforespørgsler; moderne SERPs viser også AI Overviews, rich results og rangerede listings bestemt af mange signaler.
Søgealgoritme: definition, funktion & SEO-påvirkning
En søgealgoritme er det sæt softwareregler, som en søgemaskine bruger til at opdage, crawle, indeksere og rangere websider for søgeforespørgsler ved at kombinere relevanssignaler, indholdskvalitet, link-signaler og AI-afledte intent-modeller for at ordne resultater.
Placeringer i søgemaskiner: definition og hvordan de fungerer
Placeringer i søgemaskiner er den rækkefølge, søgemaskiner præsenterer indekserede sider for en given forespørgsel; placeringer afspejler mange signaler—relevans, backlinks, indholdskvalitet, page experience og brugerintention—og interagerer med AI-overviews i 2026.
Meta-tags: typer, anvendelse og bedste SEO-praksis
Meta-tags er HTML-elementer, der leverer metadata om en side (titel, beskrivelse, robots-direktiver, sociale preview-tags med mere). Søgemaskiner og platforme læser dem for at påvirke indeksering, SERP-uddrag og præsentation.
On-page SEO: definition, tjekliste og verifikation
On-page SEO er at optimere en sides indhold, HTML og UX, så den er relevant, indekserbar og nyttig for brugere og moderne søgemaskiner — inkl. mobile-first rendering, structured data, canonicals og sideperformance.