Robots.txt-Datei für SEO nutzen: So geht's

Was die robots.txt ist und was sie nicht tut

Die Datei robots.txt liegt im Stammverzeichnis einer Website (z. B. https://www.domain.com/robots.txt). Sie gibt Web‑Crawlern Hinweise, welche Pfade sie lesen dürfen (User-agent / Disallow / Allow) und kann auf Sitemaps verweisen. Wichtig: robots.txt steuert primär Crawling, nicht Indexierung oder Ranking. Eine Disallow‑Regel kann verhindern, dass ein Crawler die Inhalte abruft; wenn das Ziel ist, eine URL aus dem Index zu entfernen, ist robots.txt allein meist nicht zuverlässig.

Grundlegende Elemente und Syntax

Die wichtigsten Direktiven in einer robots.txt sind:

• User-agent: legt den Crawler fest (z. B. User-agent: * für alle)
• Disallow: Pfad, der nicht gecrawlt werden soll (z. B. Disallow: /private/)
• Allow: erlaubt Ausnahmen innerhalb eines geblockten Verzeichnisses (von Google verstanden)
• Sitemap: verweist auf die Sitemap-URL (z. B. Sitemap: https://www.domain.com/sitemap.xml)
• Wildcard-Muster (*, $) werden von Google unterstützt; andere Crawler können abweichen

Beispiel (vollständige, einfache robots.txt):

User-agent: *
Disallow: /admin/
Allow: /admin/public-info.html
Sitemap: https://www.domain.com/sitemap.xml

Praxis: typische Anwendungsfälle und Empfehlungen

Wann robots.txt sinnvoll ist:

• Crawler-Last steuern: bestimmte Crawler oder Pfade vorübergehend drosseln
• Nicht-öffentliche Dateisystempfade für normale Suchmaschinen verbergen (aber nicht als Geheimhaltungsschutz benutzen)
• Sitemap-Verweise zentral angeben, damit Crawler alle Sitemap-Standorte finden

Praktische Empfehlung zur Entfernung von URLs aus dem Index: Wenn Sie möchten, dass eine Seite nicht mehr indexiert wird, erlauben Sie meist das Crawlen und setzen Sie ein Meta-Tag "noindex" oder einen X-Robots-Tag-Header; erst wenn die Seite entfernt ist, können Sie gegebenenfalls eine Disallow-Regel setzen. Wenn Sie das Crawling komplett verhindern, sieht Google die Meta-Tags nicht, weil die Seite nicht abgerufen wird.

Spezialfälle:

• Bilder/CSS/JS blockieren: Vermeiden Sie das Blockieren von Ressourcen, die für das Rendering wichtig sind. Seit Mobile‑first‑indexing (Google crawlt standardmäßig mit Googlebot Smartphone) sollten relevante Ressourcen zugänglich sein, damit Google die Seite korrekt rendert.
• Verwendung von Crawl-delay: Nicht Teil des Robots Exclusion Standard für Google; einige andere Crawler respektieren Crawl‑delay, Google ignoriert es in der Regel.

Fehler und Fallstricke, die Sie vermeiden sollten

Wesentliche Fehlerquellen:

• robots.txt blockiert das Crawlen wichtiger CSS/JS: Folge kann fehlerhafte Darstellung und schlechtere Bewertung von Core Web Vitals sein.
• Versuch, sensible Daten via robots.txt zu verbergen: robots.txt ist öffentlich und listet Pfade offen; nutzen Sie keine robots.txt für Zugangskontrolle.
• Annehmen, dass Disallow = kein Index: Wenn andere Seiten auf die geblockte URL verlinken, kann sie trotzdem in den Suchergebnissen erscheinen (ohne Textauszug).

Prüfen und Fehlerbehebung (Tools & Commands)

So prüfen Sie die robots.txt von außen:

• Robots.txt herunterladen (Inhalt): curl -s https://www.domain.com/robots.txt
• Nur Header prüfen: curl -I https://www.domain.com/robots.txt (zeigt HTTP-Status, Content-Type, Cache-Control)
• Testen, wie eine spezifische User-Agent-Version die Datei sieht: curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://www.domain.com/robots.txt

Überprüfung für eigene URLs: Verwenden Sie die URL-Inspection in Google Search Console, um zu sehen, wie Google eine bestimmte URL crawlt und ob sie blockiert wird. Für fremde Domains funktioniert die URL-Inspection nicht, weil Sie dort keine Property besitzen; nutzen Sie dann die curl- und Server-Log-Methoden.

Server-Logs auswerten: Prüfen Sie, ob echte Googlebot-User‑Agents Ihre Seiten anfragen. Logs zeigen, ob Googlebot beim Abruf auf HTTP‑Statuscodes wie 403/404 stößt oder ob die robots.txt Abweisung erfolgt.

Spezielle Hinweise zu Sitemaps, Statuscodes und Public-URLs

Sitemap-Direktive: Tragen Sie Sitemap-URLs in robots.txt ein, damit Crawler diese automatisch finden. Beispiel: Sitemap: https://www.domain.com/sitemap.xml. Sitemaps sollten unter erreichbaren URLs liegen; Sie können mehrere Sitemap-Zeilen nutzen.

HTTP-Statuscodes: Prüfen Sie, dass die robots.txt mit HTTP 200 zurückkommt. Ein 5xx- oder 404-Status kann dazu führen, dass Crawler ältere Versionen verwenden oder das Crawling einschränken.

Public nature: robots.txt ist öffentlich lesbar — veröffentlichen Sie dort keine sensiblen Pfade. Wenn Sie Inhalte wirklich schützen wollen, verwenden Sie Authentifizierung oder andere serverseitige Zugriffskontrollen (z. B. HTTP-Auth, IP-Restriktion).

Konkrete Beispiele mit den im Text erwähnten URLs

Ein mögliches Szenario: Sie wollen den Ordner /private/ nicht crawlen, aber eine Bestätigungsseite erlauben. robots.txt am Pfad http://www.yoursite.com/robots.txt könnte so aussehen:

User-agent: *
Disallow: /private/
Allow: /private/thank-you.html
Sitemap: http://www.yoursite.com/sitemap.xml

Hinweis: Wenn die URL Ihrer Thank‑you‑Seite eine andere Form hat (z. B. http://www.yoursite.com/thankyou oder http://www.yoursite.com/thank-you), passen Sie die Allow-Regel entsprechend an. Links zu Beispielen in diesem Beitrag: http://www.yoursite.com/thankyou, http://www.yoursite.com/thank-you, http://www.yoursite.com/free-stuff, http://www.yoursite.com/private.

Checkliste vor dem Deployment

• robots.txt auf Staging und Production vergleichen; absolute Pfade prüfen
• Sicherstellen, dass wichtige Ressourcen (CSS/JS/Bilder) nicht versehentlich geblockt sind
• Sitemap-Zeile prüfen (korrekte Domain, https vs http) und testen: https://www.domain.com/robots.txt
• Nach Änderung: Server-Cache und CDN-Edge-Caches invalidieren, damit Crawler die neue robots.txt abrufen

Wenn Sie Inhalte vollständig aus dem Index entfernen wollen, nutzen Sie URL-Removal-Tools in Google Search Console für eigene Properties, oder sorgen Sie dafür, dass die Seite erlaubt wird und ein Meta-Tag bzw. X-Robots-Tag noindex gesetzt ist — erst danach können Sie ggf. das Crawlen blockieren.

Weitere Referenz-URL: https://www.domain.com/robots.txt (Beispielpfad zur üblichen Position der Datei).

Wenn Sie mehr technische Details zu Crawling, Indexierung und Core Web Vitals lesen möchten, finden Sie zusätzliche Anleitungen im Technical-SEO-Guide.

FAQ