Robots.txt — vad det är och hur det fungerar
Robots.txt är en textfil i webbplatsens rot som instruerar sökmotorrobotar vilka URL:er eller kataloger som får genomsökas eller inte; den påverkar upptäckt och indexeringsmöjlighet men bestämmer inte sidornas rankning.
Vad är robots.txt?
Robots.txt är en enkel textfil i webbplatsens rot (exempel: https://example.com/robots.txt) som följer Robots Exclusion Protocol. Filen innehåller direktiv som anger vilka sökvägar sökmotorrobotar får eller inte får hämta. Ett grundläggande exempel:
User-agent: *
Disallow: /privat/
Allow: /publikt/
Sitemap: https://example.com/sitemap.xml
Varför robots.txt spelar roll för SEO
Robots.txt påverkar främst två tekniska processer: crawling (upptäckt) och indexering — alltså vilken version av innehållet sökmotorn kan läsa. Genom att styra vad som crawlas kan du minska onödig crawlbörda och skydda interna resurser. Tänk på att skilja mellan crawling, indexering och ranking: robots.txt kan blockera crawling av en sida, vilket ofta minskar chansen att den indexeras, men det påverkar inte direkt hur andra sidor rankas i sökresultaten.
Hur robots.txt fungerar
När en robot ska hämta en URL kontrollerar den först robots.txt i webbplatsens rotkatalog för att se om åtkomst är tillåten. Är URL:en blockerad enligt direktiven hämtar roboten inte sidan. Observera att robots.txt är en frivillig standard — artiga robotar som Googlebot och Bingbot följer filen, men vissa botar ignorerar den. En blockerad sida kan ändå indexeras om sökmotorn hittar externa länkar och får metadata utan att hämta innehållet.
Skillnaden mellan crawling, indexering och ranking
Crawling är hämtning av innehåll. Indexering avgör om och hur innehållet lagras i sökmotorns index. Ranking bestämmer hur sökresultaten ordnas. Robots.txt påverkar främst crawling. Konsekvensen blir ofta att en blockerad sida inte indexeras eller att indexeringen begränsas, men en enskild sidas position i SERP bestäms av många andra signaler än om den crawlats.
Typer av robots.txt-regler
Vanliga direktiv och hur de används:
• User-agent — anger vilka robotar regeln gäller för (exempel: User-agent: Googlebot).
• Disallow — blockerar URL-mönster (exempel: Disallow: /admin/).
• Allow — tillåter undantag inom blockerade sökvägar (användbart för Googlebot).
• Sitemap — pekar på en sitemap (många sökmotorer respekterar detta).
• Crawl-delay — används av vissa sökmotorer, men stödet varierar; använd med försiktighet.
Komma igång med robots.txt
1) Placera robots.txt i webbplatsens rot: https://dindomän.se/robots.txt.
2) Håll syntaxen enkel och använd # för anteckningar.
3) Lägg till Sitemap-raden så att sökmotorer hittar sitemaps.
4) Undvik att blockera resurser som behövs för att rendera sidan (CSS/JS). Det kan påverka hur sökmotorn tolkar och indexerar sidan.
Robots.txt kontrollera: teknisk checklista
Robots.txt synlig från rot — kriteriet uppfylls när filen nås via https://dinwebbplats.se/robots.txt och returnerar 200 OK.
Blockerar viktiga resurser — att verifiera — gäller när inga nödvändiga CSS/JS-filer för page load är listade under Disallow.
**Sitemap-rad** — var att verifiera — passes när robots.txt innehåller en giltig Sitemap: https://…-rad.
Du ska verifiera specifika robotregler när User-agent- och Allow/Disallow-mönster stämmer överens med det avsedda beteendet.
Verifiera med verktyg
curl — hämta filen och kontrollera statuskod och innehåll. Använd curl -I https://example.com/robots.txt för HTTP-headers eller curl https://example.com/robots.txt för hela innehållet. För att simulera en viss robot, använd curl -A "Googlebot" https://example.com/robots.txt.
Browser DevTools — öppna DevTools Network och ladda sidan för att kontrollera att nödvändiga CSS/JS returneras och inte blockeras. Om resurser returnerar 403/404 eller inga hämtas kan robots.txt vara orsaken.
Google Search Console (egna sidor) — URL Inspection visar om Google angett att robots.txt blockerar sidan och ger diagnostik för den specifika URL:en. Verktyget fungerar bara för domäner du äger.
Bing Webmaster Tools Site Explorer — erbjuder liknande funktionalitet som låter dig se hur Bing tolkar robots.txt och crawlar din webbplats.
Vanliga misstag med robots.txt
• Blockera assets: Att lägga in Disallow för CSS/JS i robots.txt gör att sökmotorer ofta inte kan rendera sidan korrekt.
• Felaktig filplacering: robots.txt måste ligga i webbplatsens rotkatalog — en fil i en undermapp ignoreras.
• Felaktiga mönster: Stöd för globala wildcard och tolkning varierar mellan robotar — testa alltid mot målcrawlern.
• Förväxla inte robots.txt med meta-robots: robots.txt blockerar crawling, meta-robots (noindex) styr indexering — använd rätt verktyg för ditt mål.
Det är en vanlig missuppfattning att robots.txt hindrar en sida från att visas i sökresultat. I praktiken blockerar robots.txt crawl och därmed ofta indexering, men en sida kan ändå listas om andra webbplatser länkar till den. Vill du uttryckligen förhindra indexering av en åtkomlig sida ska du använda meta-robots noindex på sidan.
Vanliga frågor
Kan jag blockera hela webbplatsen med robots.txt?
Ja — genom att lägga User-agent: * följt av Disallow: / blockerar du artiga robotar från att hämta sidor. Tänk på att detta också kan hindra sökmotorer från att visa innehåll; använd med försiktighet.
Skyddar robots.txt känslig information?
Nej. robots.txt är offentligt åtkomlig och bör inte användas som säkerhetsmekanism. Om du behöver skydda innehåll, använd autentisering eller server-side accesskontroller.
Fungerar Crawl-delay med Googlebot?
Stödet för Crawl-delay varierar, så Google rekommenderar att du använder Search Console för att reglera crawlhastigheten på domäner du äger istället för att förlita dig på Crawl-delay i robots.txt.
Bygg auktoritet med kvalitativa backlinks
Teknisk SEO är nödvändig för att sökmotorer ska hitta och tolka ditt innehåll, men långsiktig organisk synlighet kräver också ämnesrelevans och auktoritet. Vill du kombinera rätt teknisk grund med externa placeringsmöjligheter kan en marknadsplats för publicering hjälpa dig att hitta relevanta kanaler.
Relaterade termer
Crawler — vad det är och varför det påverkar SEO
En crawler är ett automatiserat program som hämtar och renderar webbsidor för sökmotorers indexering; den följer länkar, respekterar robots‑direktiv och påverkar vilka sidor en sökmotor kan hitta och lagra.
Sökmotorer: vad de är och hur de fungerar
Sökmotorer är system som upptäcker (crawling), lagrar (indexing) och rankar webbinnehåll för att svara på sökfrågor; moderna resultat kan innehålla traditionella listningar, AI‑översikter och vertikala svar.
Sökalgoritm: vad det är och betydelse för SEO
Sökalgoritm är den matematiska och regelbaserade process sökmotorer använder för att hitta, utvärdera och rangordna webbsidor för en sökfråga; idag inkluderar detta signaler från mobil-first crawling, indexdata och AI-driven sammanfattning i SERP.
Sökmotorrankningar: definition och SEO‑påverkan
Sökmotorrankningar är positionen en webbsida eller URL får i sökmotorernas resultatsidor för en given sökfråga; rankningen speglar hur sökmotorns index och rankingalgoritmer värderar relevans, auktoritet och användarsignaler år 2026.
Meta-taggar: vad de är och vad de betyder för SEO
Meta-taggar är HTML-element i sidans <head> som beskriver innehållet och ger indexerings- och visningsinstruktioner — till exempel title, meta description, meta robots och Open Graph — och påverkar visning, delning och indexering.
On-page SEO — vad det är och teknisk checklista
On-page SEO är praxis att optimera enskilda webbsidor för bättre indexering och synlighet i sökresultat genom innehåll, HTML-taggar, strukturerad data, interna länkar och användarupplevelse; det påverkar indexeringsutrymmet mer än direkt rankordning.