robots.txt: Was es ist und wie es funktioniert

Was ist robots.txt?

robots.txt ist eine einfache Textdatei, die sich im Stammverzeichnis einer Website befindet (https://example.com/robots.txt). Sie kommuniziert Richtlinien für Webcrawler mittels einfacher Direktiven wie User-agent, Disallow, Allow und Sitemap. robots.txt steuert, welche URLs Crawler anfragen dürfen — sie ist ein Mechanismus zur Steuerung des Crawling‑Zugriffs, nicht ein universelles Instrument zur Steuerung der Indexierung oder zur Zugriffskontrolle für Menschen.

Warum robots.txt für SEO relevant ist

robots.txt beeinflusst primär das Crawling: welche Seiten Crawler anfragen (Crawling) und damit welche Inhalte Google oder Bing technisch sehen können (Indexierung). Unterschiedlich: Crawling ≠ Indexierung ≠ Ranking. Nur weil eine URL per robots.txt blockiert ist, heißt das nicht automatisch, dass sie nicht indexiert wird; wenn andere Seiten auf diese URL verweisen, kann eine Suchmaschine sie unter Umständen trotzdem kennen. Um Indexierung zuverlässig zu verhindern, sollten Sie Meta‑Robots‑Tags oder den HTTP‑Header X-Robots-Tag verwenden und die Seite nicht per robots.txt blockieren.

Wie robots.txt funktioniert

Suchmaschinen erwarten die Datei unter /robots.txt und parsen sie zeilenweise. Eine einfache robots.txt sieht so aus:

User-agent: *
Disallow: /private/
Allow: /private/public-page.html
Sitemap: https://example.com/sitemap.xml

Wichtige Hinweise zur Funktionsweise: Google und andere bots lesen die Datei vor dem Crawlen; Direktiven sind Hinweise, die abhängig vom Crawler unterschiedlich interpretiert werden können (beispielsweise behandelt nicht jeder Crawler Crawl-delay gleich). Wildcards und Pfadmuster werden von vielen Suchmaschinen unterstützt, aber Details der Pattern‑Matching‑Regeln unterscheiden sich.

Arten von robots.txt‑Direktiven

Übersicht über gängige Direktiven und Verhalten:

- Disallow — verhindert, dass ein Crawler bestimmte Pfade anfragt. Beispiel: Disallow: /admin/
- Allow — explizit erlaubte Pfade (nützlich bei restriktiveren Disallow‑Regeln)
- User-agent — legt fest, auf welche Crawler die Regel angewendet wird (z. B. User-agent: Googlebot)
- Sitemap — verweist auf eine Sitemap-Datei; Suchmaschinen nutzen diese zusätzlich zur robots.txt
- Crawl-delay — Anweisung zur Verlangsamung der Anfragefrequenz; wird nicht von allen Suchmaschinen respektiert
- Wildcards/Pattern — viele Crawler unterstützen Platzhalter wie * oder $ für Dateiendungen; genaue Syntax ist crawlerabhängig

robots.txt anlegen und testen

Kurzcheck zum Erstellen: lege eine UTF‑8‑kodierte Textdatei names robots.txt im Root deiner Domain ab; sie muss unter https://deinedomain.tld/robots.txt erreichbar sein. Vermeide BOM‑Header und benutze korrekte URL‑Pfadangaben. Füge eine Sitemap‑Direktive hinzu, wenn vorhanden.

Beispiel minimal:

User-agent: *
Disallow:

Prüfen und troubleshooting: praktische Werkzeuge

curl — schnelle Prüfung der Datei

Mit curl siehst du, was der Server ausliefert. Beispiel: curl -s https://example.com/robots.txt gibt die Datei aus; curl -I https://example.com/robots.txt zeigt die HTTP-Header (Statuscode, Content-Type).Wenn du anzeigen möchtest, was ein bestimmter User‑Agent erhält, nutze curl -A "Googlebot/2.1 (+http://www.google.com/bot.html)" https://example.com/robots.txt.

Server‑Logs und User‑Agent‑Analyse

Analyse der Server‑Logs zeigt, welche Crawler welche URLs anfragen und ob Zugriffe blockiert werden. Prüfe Zugriffszeiten, Statuscodes (z. B. 200 vs 403/404) und die User‑Agent‑Strings, um zu sehen, ob Crawler deine robots.txt lesen und die angegebenen Pfade anfragen.

Google Search Console & Bing Webmaster Tools

Für eigene Properties bieten Google Search Console und Bing Webmaster Tools Einblicke zu Crawl‑Fehlern, Indexierungsstatus und (bei Bedarf) Hinweise zur robots.txt‑Erreichbarkeit. Verwende die URL‑Inspection in Search Console, um zu sehen, wie Google eine konkrete URL sieht; bei Problemen zeigen diese Tools oft Crawl‑Fehlermeldungen an.

Praktische Checkliste: robots.txt kontrollieren

**robots.txt erreichbar** — where to verify: curl -I https://yourdomain.tld/robots.txt — passes when: HTTP 200 und Content-Type text/plain liefert die Datei.

**Direktiven korrekt angewendet** — where to verify: lokale Parser oder curl + manuelle Prüfung — passes when: Disallow/Allow-Regeln matchen erwartete Pfade.

**Keine unbeabsichtigte Blockade** — where to verify: Server‑Logs & URL‑Inspection — passes when: wichtige Seiten werden von Crawlern angefragt und liefern 200.

**Sitemap‑Eintrag vorhanden** — where to verify: robots.txt-Datei selbst — passes when: Sitemap: https://yourdomain.tld/sitemap.xml aufgeführt und erreichbar.

**noindex vs Blockierung** — where to verify: Seitencode & robots.txt — passes when: für noindex eine Seite nicht per robots.txt blockiert ist, damit Crawler die Meta‑Tags lesen können.

**Crawl‑Rate beobachten** — where to verify: Server‑Logs & Webmaster Tools — passes when: Anfragefrequenz entspricht erwarteter Serverlast und Crawler verhält sich wie beabsichtigt.

Häufige Fehler bei robots.txt

Gängige Fehler, die du vermeiden solltest:

- robots.txt versehentlich Seiten blockieren, die indexiert werden sollen (z. B. durch zu breite Disallow‑Muster)
- Einsatz von robots.txt, um sensible Inhalte zu verstecken (robots.txt schützt nicht vor Zugriff, sie verhindert nur Crawling)
- Erwartung, dass robots.txt Indexierung steuert — Meta‑noindex im HTML wirkt nicht, wenn die Seite per robots.txt blockiert ist und nicht gecrawlt werden kann
- Syntaxfehler oder falsche Zeilenendungen, die Parser verwirren
- Annahme, dass alle Crawler dieselben Direktiven verstehen (Nicht‑Suchmaschinen‑Bots können sich anders verhalten)

Wenn du sensible Dateien sicher schützen musst, verwende serverseitige Zugriffskontrollen (z. B. HTTP‑Auth, Zugriffskontrollen), nicht nur robots.txt.

Zum Technical-SEO-Guide

Häufig gestellte Fragen

Autorität durch hochwertige Backlinks aufbauen