Så använder du robots.txt för teknisk SEO

Vad du får ut av den här guiden

Den här artikeln förklarar vad robots.txt gör, visar praktiska exempel på syntax, går igenom hur filen påverkar crawling, indexering och ranking i sökmotorer, listar vanliga misstag och ger konkreta felsökningssteg med curl och Google Search Console.

Vad är robots.txt?

robots.txt är en textfil i webbplatsens rotkatalog som ger instruktioner till web crawlers om vilka delar av webbplatsen de får hämta. Filen ligger alltid på /robots.txt, till exempel https://www.domain.com/robots.txt. Crawlern hämtar oftast den här filen innan den begär andra sidor på domänen.

Viktiga begränsningar: robots.txt styr endast crawling (vilka URL:er sökmotorer får försöka hämta). Den garanterar inte att en URL inte indexeras om andra webbplatser länkar till den. För att uttryckligen förhindra indexering använder du en crawlbar sida med ett noindex-meta eller en HTTP-header som X-Robots-Tag: noindex. Om du blockerar en sida i robots.txt kan sökmotorer fortfarande indexera URL:en baserat på externa länkar eftersom de inte kan läsa meta-taggen som ligger i sidans HTML.

Grundläggande syntax och exempel

En robots.txt består av en eller flera grupper med directives. En grupp börjar med en eller flera User-agent-rader följt av Disallow/Allow-rader. Exempel:

Tillåt allt:

User-agent: *
Disallow:

Blockera hela webbplatsen:

User-agent: *
Disallow: /

Blockera en katalog men tillåt en undermapp:

User-agent: *
Disallow: /private/
Allow: /private/public-file.html

Sitemap-direktivet är användbart i robots.txt för att peka sökmotorer till din sitemap:

Sitemap: https://www.domain.com/sitemap.xml

Hur robots.txt påverkar crawling, indexering och ranking

Crawling, indexering och ranking är tre olika steg: Crawling = hämtning av URL:er; Indexering = beslut om vad som sparas i sökmotorns index; Ranking = hur sidor ordnas i ett sökresultat. robots.txt styr främst crawling.

Praktiska följder att ha i åtanke:
- Om du blockerar CSS/JS som behövs för rendering kan det försämra sökmotorns förmåga att rendera sidan och påverka uppmätta Core Web Vitals.
- En URL som är blockerad i robots.txt kan ändå bli känd för sökmotorn via externa länkar och dyka upp i index utan innehåll. För att förhindra indexering, använd en crawlbar sida med noindex eller en korrekt X-Robots-Tag.

Vanliga misstag och fallgropar

Flera vanliga misstag som ofta leder till oönskade effekter:

• Av misstag blockera CSS eller JavaScript — det kan störa rendering och Core Web Vitals.
• Tro att Disallow förhindrar indexering — Disallow hindrar crawling men inte alltid indexering.
• Placera robots.txt i fel katalog eller serverkonfiguration så att den inte är tillgänglig på /robots.txt.
• Publicera känsliga URL:er i robots.txt (t.ex. http://www.yoursite.com/thankyou eller http://www.yoursite.com/private) — robots.txt är publikt synlig och avslöjar sökvägar.

Praktisk felsökning: kommandon och kontrollpunkter

Följande steg fungerar när du vill kontrollera att din robots.txt levereras korrekt och att en sida inte blockeras oavsiktligt.

1) Hämta filens headers (på så sätt ser du statuskod och cache-regler):

curl -I https://www.domain.com/robots.txt

2) Hämta innehållet i filen för att kontrollera syntax:

curl https://www.domain.com/robots.txt

3) Emulera en specifik user-agent om du vill se särskilda direktiv som riktar sig mot vissa crawlers:

curl -A "Googlebot/2.1 (+http://www.google.com/bot.html)" https://www.domain.com/robots.txt

4) Kontrollera hur en specifik sida svarar och om en X-Robots-Tag används:

curl -I https://www.domain.com/path/to/page

Sök efter en header som X-Robots-Tag, exempelvis: X-Robots-Tag: noindex

5) För sidor du äger: använd URL Inspection i Google Search Console för att se exakt om Google anser att en URL är blockad av robots.txt eller har en annan indexeringsstatus. URL Inspection ger ett mer auktoritativt svar för dina egna sidor.

Säkerhets- och sekretessnotering

robots.txt är publikt åtkomlig och får inte användas för att dölja känslig information. Länkar du i filen till områden som är avsedda att vara privata (exempelvis http://www.yoursite.com/thankyou, http://www.yoursite.com/free-stuff eller http://www.yoursite.com/private) avslöjar dessa sökvägar för alla som kontrollerar filen. För skydd krävs autentisering eller serverkonfiguration som returnerar en 401/403-status.

Best practice-checklista

• Placera filen på /robots.txt och kontrollera att servern returnerar 200 för filen.
• Tillåt CSS/JS som krävs för rendering, särskilt med tanke på att Google använder mobilversionen som primär basis för crawling och indexering (Googlebot Smartphone är standard sedan juli 2024).
• Använd noindex på sidor du vill hålla utanför index, men låt sökmotorn crawla sidan så att noindex kan läsas.
• Peka till din sitemap i robots.txt med Sitemap: https://www.domain.com/sitemap.xml.
• Testa ändringar i staging-miljö först och verifiera i serverloggar att riktiga crawlers (t.ex. Googlebot) når sidorna.

Verktyg och resurser för kontroll

Använd följande verktyg när du felsöker:
- curl för att hämta headers och innehåll
- Chrome DevTools Network + Elements för att se renderat innehåll och blockerade resurser
- Serverloggar för att verifiera vilka user-agents som hämtat vilka URL:er
- Google Search Console URL Inspection för dina egna sidor (visar om Google anser att en URL är blockad eller inte)

Avslutande råd

robots.txt är ett kraftfullt verktyg för att styra crawler-aktivitet, men det är inte en säkerhetsmekanism och påverkar främst crawling. Tänk alltid igenom om du behöver blockera crawling eller om du istället bör använda noindex eller serverautentisering. Testa ändringar, granska serverloggar och använd URL Inspection i Google Search Console för sidor du äger.

För en djupare teknisk genomgång kan du också Läs Technical SEO-guiden.

Vanliga frågor