robots.txt: uitleg en wat het betekent voor SEO

Wat is robots.txt?

robots.txt is een tekstbestand geplaatst in de rootdirectory van een website (bijv. https://voorbeeld.nl/robots.txt). Het bevat regels die webcrawlers instrueren welke URL-paden ze mogen of niet mogen ophalen. Het bestand regelt crawling — de manier waarop crawlers je site bezoeken — maar zegt op zichzelf niets over de positie van pagina's in de zoekresultaten; indexatie en ranking volgen van andere signalen.

Waarom robots.txt van belang is voor SEO

Robots.txt beïnvloedt welke content crawlers kunnen ophalen en dus welke content ze kunnen analyseren voor indexatie. Als crawlers belangrijke CSS/JS of pagina's worden geblokkeerd, kan dat problemen geven bij rendering en daarmee bij indexatie. Belangrijk: een geblokkeerde URL kan nog steeds in de index verschijnen als andere sites ernaar verwijzen; om indexatie van een pagina te voorkomen moet je doorgaans toestaan dat de pagina gecrawld wordt en een meta-robots: noindex gebruiken of een X-Robots-Tag header sturen.

Hoe robots.txt werkt

Wanneer een crawler je site bezoekt, vraagt die eerst /robots.txt op. Het bestand wordt gelezen en de eerste regels die van toepassing zijn op de User-agent bepalen welke paden de crawler mag ophalen. Crawling = ophalen van URL's; indexatie = beslissen of en hoe een URL in de zoekindex wordt opgenomen; ranking = bepalen van volgorde in zoekresultaten. robots.txt regelt primair het ophalen (crawling) en beïnvloedt indexatie indirect wanneer crawlers geen content kunnen lezen.

Een eenvoudige regelset ziet er zo uit: User-agent: * (algemeen), Disallow: /private/ (blokkeer pad), Allow: /assets/css/ (staat specifiek pad toe). Voorbeeldregels:

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://voorbeeld.nl/sitemap.xml

Types van robots.txt-regels en support

Onderstaande directive-typen komen veel voor; support varieert per crawler.

- User-agent — specificeert welke crawler-groep een block raakt.
- Disallow — verbiedt het ophalen van een pad.
- Allow — expliciet toestaan van een pad (gebruikelijk bij Google).
- Sitemap — verwijst naar sitemapbestanden.
- Wildcards (* en $) — worden door Google en veel andere crawlers ondersteund voor patroonmatching; de exacte ondersteuning varieert per bot.
- Crawl-delay — wordt door sommige crawlers gebruikt, maar Google negeert deze waarde.

Hoe te beginnen met robots.txt

1) Plaats het bestand in de root van je site: https://jouwdomein.nl/robots.txt. 2) Houd het simpel: test eerst een minimal set regels. 3) Vermijd blokkeren van CSS/JS die nodig zijn voor rendering. 4) Gebruik Sitemap: om crawlers naar je sitemap te verwijzen. 5) Voor gevoelige data: vertrouw niet op robots.txt als beveiliging; gebruik authenticatie of verberg via serverconfiguratie.

robots.txt controleren: technische checklist

- Robots.txt bereikbaar — waar te verifiëren — curl -I https://voorbeeld.nl/robots.txt of bezoek in de browser — passes when HTTP 200 en leesbare regels.
- Correcte inhoud — waar te verifiëren — open het bestand in een tekstviewer — passes when relevante User-agent/Disallow regels aanwezig en geen per ongeluk brede Disallow: /.
- Server-respons en content-type — waar te verifiëren — curl -I (controleer statuscode en Content-Type) — passes when 200 OK en Content-Type tekst/plain (of ander leesbaar type).
- Effect op crawling — waar te verifiëren — serverlogs of access logs (zoek naar Googlebot-requests) — passes when gewenste bots geen 403/403-achtige fouten terugkrijgen voor toegestane paden.
- Hoe Google jouw pagina ziet — waar te verifiëren — Google Search Console URL Inspection (alleen voor je eigen site) — passes when URL toegankelijk en gerenderd; als GSC niet kan renderen, onderzoek robots.txt en resources.
- Publieke indexatiesignaal — waar te verifiëren — gebruik site:example.com en zoekopdrachten met unieke zinnen — passes when resultaten overeenkomen met verwachtingen (site: is een indicatie, geen definitieve indexatiegarantie).

Praktische testcommando's:
- Haal bestand op: curl -I https://voorbeeld.nl/robots.txt
- Bekijk content als Googlebot: curl -A "Googlebot" https://voorbeeld.nl/robots.txt
- Controleer serverlogs op user-agent-strings (Googlebot) en responscodes om te zien of bots je regels respecteren.

Veelgemaakte fouten met robots.txt

- Per ongeluk hele site blokkeren: Disallow: / geplaatst tijdens testing.
- CSS/JS blokkeren die nodig zijn voor rendering, waardoor pagina's verkeerd worden geïnterpreteerd.
- Verwachten dat robots.txt gevoelige data beschermt — robots.txt is openbaar en geen beveiligingsmaatregel.
- Gebruik van noindex terwijl crawling geblokkeerd is: crawlers kunnen de noindex-meta niet lezen als ze niet mogen crawlen.
- Verkeerde locatie: robots.txt moet in de root staan; een bestand in /submap/ telt niet voor de site-root.
- Serverfouten of redirects op /robots.txt waardoor crawlers fouten krijgen en minder content ophalen.

Veelgestelde vragen