Robots.txt SEO: Crawling effizient steuern

Was robots.txt leistet — und was nicht

robots.txt ist eine einfache, öffentlich sichtbare Textdatei im Stammverzeichnis einer Domain, die konformen Crawlern Hinweise gibt, welche Pfade sie crawlen dürfen und welche nicht. Ihre Aufgabe ist primär die Steuerung des Crawl-Verhaltens und die Schonung des Crawl-Budgets — sie ist kein Mittel, um Seiten direkt zu "ranken" oder privaten Inhalt sicher zu halten.

Wichtig zu unterscheiden: Crawling, Indexierung und Ranking sind getrennte Schritte. robots.txt beeinflusst Crawling. Ob ein URL in den Suchindex landet oder wie er gerankt wird, hängt zusätzlich von Indexierbarkeit, On‑Page‑Signalen und externen Links ab.

Grundlegende Syntax und Direktiven

robots.txt besteht aus Abschnitten mit einer oder mehreren "User-agent:"-Zeilen gefolgt von Direktiven wie "Disallow:" oder "Allow:". Moderne Suchmaschinen (z. B. Google, Bing) unterstützen außerdem einfache Muster wie "*" und "$".

Beispiele (inline): Eine offene Site: User-agent: *
Disallow:

Verzeichnis sperren, aber eine Datei erlauben: User-agent: *
Disallow: /private/
Allow: /private/public-file.html

Komplette Sperre: User-agent: *
Disallow: /

Gültige Direktiven

Die wichtigsten Direktiven sind:

• User-agent: legt fest, für welchen Crawler der Block gilt (z. B. "Googlebot" oder "*").
• Disallow: verweigert das Crawlen eines Pfads.
• Allow: erlaubt Ausnahmen innerhalb eines gesperrten Bereichs (wichtig für Google-kompatible Parser).
• Sitemap: eine robots.txt kann auf die Sitemap verweisen, z. B. "Sitemap: https://example.com/sitemap.xml".

Wie Suchmaschinen robots.txt verwenden

Suchmaschinen laden robots.txt bevor sie URLs einer Domain crawlen. Die Datei wird gelesen und als Hinweis für die anschließenden Crawl-Entscheidungen genutzt; viele Crawler cachen robots.txt kurzfristig. Änderungen sind daher nicht unbedingt sofort wirksam.

Wichtig: Wenn eine Seite durch robots.txt vom Crawlen ausgeschlossen ist, kann eine Suchmaschine die URL trotzdem in den Index aufnehmen, wenn andere Quellen (z. B. externe Links) auf sie verweisen — die Suchmaschine hat dann jedoch keinen Zugriff auf den Seitentext für die Indexierung oder zur Bewertung.

Für mobile-first indexing: Google verwendet die mobile Version als primäre Basis für Crawling und Indexierung; seit Juli 2024 crawlt Google mit Googlebot Smartphone standardmäßig. Sorge also dafür, dass für mobile Crawler wichtige Ressourcen (CSS, JS) nicht durch robots.txt blockiert sind, damit Seiten korrekt gerendert und bewertet werden können.

Praktische Implementierung: Best Practices

Konkrete Empfehlungen, bevor du die Datei änderst:

1. Lege robots.txt im Stammverzeichnis ab: die Datei muss unter "https://example.com/robots.txt" liegen; Unterverzeichnisse haben eigene robots.txt-Dateien nicht.
2. Vermeide das Blockieren von CSS/JS, die für das Rendern der Seite nötig sind — blockierte statische Ressourcen können zu falscher Darstellung oder schlechter Bewertung führen.
3. Sichere Konfigurationen zuerst in einer Staging-Umgebung; teste Änderungen vor dem Live‑Rollout.
4. Nutze die "Sitemap:"-Angabe, um Suchmaschinen auf deine Sitemaps aufmerksam zu machen.
5. Setze keine robots.txt‑Regel als Ersatz für "noindex". Wenn du verhindern willst, dass eine Seite indexiert wird, lasse die Seite crawlbar und verwende eine Meta‑Robots‑Anweisung oder einen X‑Robots‑Tag: noindex. Wenn du Crawling verhinderst, kann die Suchmaschine die noindex-Anweisung nicht sehen.

Technische Details, die du beachten solltest

• robots.txt ist öffentlich sichtbar — keine sensiblen Pfade dort aufführen. Nutze stattdessen Zugriffsbeschränkungen (HTTP-Auth) oder entferne Inhalte vom Server.
• robots.txt sollte UTF-8-kodiert und ohne Byte Order Mark (BOM) gespeichert sein; ein BOM kann das Parsen stören.
• Pattern‑Support (z. B. "*", "$") ist bei großen Suchmaschinen vorhanden, aber Verhalten kann zwischen Crawlern variieren — teste spezifische Muster.

Verifikation und Troubleshooting

So prüfst du robots.txt und seine Wirkung — für deine Site und für fremde Seiten:

1) Inhalt der robots.txt abrufen

Im Terminal: curl -fsSL https://example.com/robots.txt — liefert den aktuellen Inhalt. Wenn du nur Header sehen willst, nutze curl -I https://example.com/robots.txt ("-I" zeigt nur Response-Header).

2) Verhalten eines Crawlers simulieren

Um zu sehen, wie der Server auf einen bestimmten User-Agent reagiert, kannst du die User-Agent-Kennung setzen:

curl -A "Googlebot" https://example.com/pfad/zielseite

Nutze "-I" wenn du nur Header sehen willst (z. B. um Redirects oder HTTP-Status zu prüfen).

3) Indexierungs- und Zugriffsstatus (eigene Site)

Für URLs deiner eigenen Property ist das Google Search Console URL Inspection‑Tool die zuverlässigste Quelle, um zu sehen, ob Google eine URL kennt, ob Crawling blockiert ist und welche Version gecrawlt wurde. Nutze die Live-Testfunktion, um Änderungen zu verifizieren.

4) Server-Logs und Crawling-Statistiken

Prüfe Server-Logs, um zu sehen, ob und wann Crawler deine URLs anfragen. Logs zeigen auch, ob Crawler auf die robots.txt zugegriffen haben und welche Statuscodes zurückgegeben wurden.

Häufige Fehler und wie du sie vermeidest

• Einträge mit globaler Wirkung: Ein versehentliches "Disallow: /" blockiert die gesamte Seite. Teste jede Änderung in einer kontrollierten Umgebung.
• Blocking von Ressourcen: CSS- oder JS-Dateien nicht blockieren, sonst fehlen Renderdaten und Core Web Vitals‑Messungen können leiden.
• Falsche Annahme, dass robots.txt Indexierung verhindert: Wenn du eine Seite komplett aus dem Index haben möchtest, verwende eine noindex-Anweisung und erlaube Crawling, oder entferne die Seite serverseitig.
• Fehlerhafte Kodierung oder BOM: Speichere robots.txt ohne BOM und in UTF-8, sonst können Crawler sie nicht korrekt parsen.
• Vertrau nicht auf robots.txt für Privatsphäre: Die Datei ist öffentlich und listet vertrauliche Pfade offen. Verwende Zugriffskontrollen, wenn Inhalte geschützt werden müssen.

Praxisbeispiele und typische Patterns

1) Standard: öffentliche Site, Sitemap verweisen

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

2) Shop: Checkout-Ordner vom Crawlen ausschließen

User-agent: *
Disallow: /checkout/
Disallow: /cart/
Allow: /media/

3) Ausnahme in einem gesperrten Verzeichnis erlauben

User-agent: *
Disallow: /private/
Allow: /private/public-info.html

Abschließende Regeln für den Betrieb

Behandle robots.txt als ein Werkzeug im technischen SEO‑Werkzeugkasten, nicht als Allheilmittel. Nutze sie, um unnötige Crawl‑Last zu begrenzen, wichtige Ressourcen zugänglich zu lassen und Crawlern deine Sitemaps zu zeigen. Für Index‑Kontrolle verwende noindex/X‑Robots‑Tag und für sensible Inhalte serverseitige Zugriffsregeln.

FAQ