Robots.txt-Datei für SEO nutzen: So geht's

Wusstest du, dass Robots.txt eine der wichtigsten Komponenten für die SEO deiner Website ist? Was genau ist Robots.txt und wie nutzt du es für SEO? Das erklären wir dir in diesem Beitrag.

Was ist Robots.txt?

Im Stammverzeichnis einer Website befinden sich Dateien, die Suchmaschinen-Crawlern und Spiders mitteilen, welche Seiten und Dateien sie sehen dürfen und welche nicht. Web-Admins möchten oft, dass ihre Websites von Suchmaschinen gefunden werden, aber manchmal ist das nicht nötig. Wenn du private Informationen speicherst oder Speicherplatz sparen möchtest, kannst du die Suchmaschine daran hindern, deine Dateien zu indexieren (ausgenommen große Seiten mit Bildern).

Der Robots Exclusion Standard, auch bekannt als Robots Exclusion Protocol oder einfach robots.txt, ist ein Standard, der von Websites verwendet wird, um mit Web-Crawlern und anderen Web-Robots.

Robots werden oft von Suchmaschinen verwendet, um Websites zu kategorisieren. Nicht alle Robots halten sich an den Standard; E-Mail-Harvester, Spambots, Malware und Robots, die nach Sicherheitslücken suchen, beginnen möglicherweise sogar mit den Bereichen der Website, aus denen sie fernbleiben sollten. Der Standard kann in Verbindung mit Sitemaps, einem Robot-Inclusion-Standard für Websites, verwendet werden. – Wikipedia

Suchmaschinen, die Keywords und Metadaten zur Indexierung von Webseiten verwenden, zeigen die relevantesten Ergebnisse für Personen, die etwas im Internet suchen. Für Online-Shop-Betreiber ist es wichtiger, gute Suchmaschinenergebnisse zu erzielen als für jedes andere Unternehmen. Normalerweise gehen die Leute nicht über die ersten paar Ergebnisseiten einer Suchmaschine hinaus.

Die Indexierung erfolgt mithilfe von Spiders oder Crawlern, die sich bewegen. So erhalten und organisieren Suchmaschinen-Unternehmen alle Informationen im Internet. Diese Unternehmen nutzen diese Bots.

robots.txt ist die Datei, nach der Crawler suchen, wenn sie eine Website zum ersten Mal besuchen. Sobald der Crawler eine solche Datei findet, sucht er darin nach Anweisungen zur Indexierung der Website. Für Bots, die keine Anweisungen finden, gibt es keine, daher verwenden sie den Algorithmus ihrer Arbeitsweise, um danach zu suchen. Dies führt dazu, dass viele Leute auf der Website nach Dingen suchen, aber es macht den Indexierungsprozess auch weniger effektiv.

Damit die robots.txt-Datei funktioniert, darf es nur eine auf der Website geben. Eine Add-on-Domain muss eine robots.txt-Datei im Stammverzeichnis ihrer Webseite haben. Zum Beispiel sollte sie unter https://www.domain.com/robots.txt liegen und Robots anweisen, diese Website nicht zu besuchen.

Es ist auch wichtig, dass deine Datei korrekt „robots.txt“ benannt ist. Wenn der Name nicht richtig geschrieben ist, funktioniert sie nicht.

Übernehme die Kontrolle

Du hast mehr Kontrolle über die SEO deiner Website, als du denkst.

Im Allgemeinen stimmt das. Du kannst auf Seitenebene auswählen, welche Crawler und Indexer deine Website sehen und indexieren dürfen. Es gibt eine Datei namens robots.txt, die verwendet werden kann, um sicherzustellen, dass dies nicht erneut geschieht. Im Stammverzeichnis deiner Website befindet sich eine einfache Textdatei namens robots.txt. Diese Datei weist Web-Robots an, deine Website nicht zu lesen. Robots können diese Informationen nutzen, um ihre Suchergebnisse zu verbessern, um spezifischer zu sein.

Da es nicht das Allheilmittel ist, hast du festgestellt, dass es eine großartige Möglichkeit ist, deine Website von Suchmaschinen gesehen zu bekommen. Wenn du möchtest, dass Suchmaschinen deine Website mögen, musst du einen guten ersten Eindruck hinterlassen. Richtig eingesetzt, kann die Verwendung von robots.txt bei der SEO helfen.

Wie gehst du also vor? Was ist der Sinn davon? Was solltest du auf keinen Fall tun? Die Antworten auf diese Fragen findest du auf der nächsten Seite.

Der Grund für die Verwendung von Robots.txt

Robots.txt ist eine Datei, die Suchmaschinen verwenden, um herauszufinden, welche Seiten deiner Website indexiert und welche aus den Suchergebnissen ferngehalten werden sollen. Wenn du beispielsweise in deiner Robots.txt-Datei angibst, dass deine Dankesseite für Suchmaschinen nicht verfügbar sein soll, wird diese Seite nicht in den Suchergebnissen angezeigt und ist für Personen, die danach suchen, nicht zugänglich. Einige Seiten deiner Website müssen aus Gründen des Datenschutzes und des Suchmaschinen-Ranking vor Suchmaschinen verborgen werden. Dies ist für beides wichtig.

Wo findest du deine Robots-Datei?

Wenn du eine Website hast, befindet sich die robots.txt-Datei im Stammverzeichnis deiner Website. Melde dich in deinem FTP-cPanel an und suche sie im öffentlichen HTML Bereich deines Kontos. Diese Dateien nehmen nicht viel Platz ein. Sie sind möglicherweise nur wenige hundert Bytes groß. Wenn du keine findest, musst du eine erstellen.

Wie Robots.txt funktioniert

Wenn Suchmaschinen deine Website indexieren möchten, senden sie kleine Programme namens „Spiders“ oder „Robots“ aus, die deine Website crawlen und Daten an die Suchmaschinen zurücksenden. Robots.txt „Disallow“-Direktiven weisen Suchmaschinen und andere Programme an, bestimmte Seiten deiner Website, die du im Befehl angibst, nicht zu suchen. Die folgenden Befehle findest du in der robots.txt-Datei:

verhindert, dass alle Suchmaschinen-Robots auf die folgende Seite deiner Website zugreifen: http://www.yoursite.com/thankyou

Vor dem Disallow-Befehl steht der Befehl: „User-agent: * “. Der User-agent-Teil identifiziert, welchen Robot du ausschließen möchtest.

„User-agent: Googlebot“. Dieser Befehl würde nur die Google-Robots daran hindern, auf die Website zuzugreifen; andere könnten weiterhin darauf zugreifen: http://www.yoursite.com/thankyou

Durch die Verwendung des Zeichens „*“ gibst du jedoch an, dass sich die folgenden Befehle auf alle Robots beziehen. Deine robots.txt-Datei würde sich im Hauptverzeichnis deiner Website befinden. Zum Beispiel: http://www.yoursite.com/robots.txt

Wie man eine Robots.txt-Datei erstellt

Jeder kann diese einfache Textdatei erstellen. Du benötigst einen Texteditor wie Notepad, um deinen Text zu schreiben. Öffne eine neue Textdatei und speichere sie als „robots.txt“, dann tippe hinein. Wenn du in deinem cPanel bist, gehe zum öffentlichen HTML Ordner und klicke darauf. Beginne damit, sicherzustellen, dass die Datei bereits vorhanden ist.

Wenn alles gut aussieht, bist du fertig. Nur der Eigentümer der Datei sollte sie sehen und ändern können. Damit die Datei funktioniert, benötigt sie die Berechtigung „0644“.

Wenn nicht, klicke mit der rechten Maustaste auf die Datei und wähle „Berechtigungen ändern“. Da hast du es! Es gibt eine Datei namens robots.txt, die Anweisungen für Robots enthält. Robots.txt-Syntax. Die robots.txt-Datei hat mehrere Abschnitte von „Direktiven“ für jeden eingerichteten User-Agent. Jeder beginnt mit dem Namen des User-Agents. Jeder Crawl-Bot wird durch seine User-Agent-ID gemäß dem Code identifiziert.

Dafür gibt es zwei Möglichkeiten: Solange du einen Platzhalter verwendest, kannst du alle Suchmaschinen gleichzeitig ansprechen. Du kannst wählen, welche Suchmaschinen du ansprechen möchtest. Wenn du einen Crawling-Bot startest, wird er die Bereiche der Website besuchen, die am wenigsten dafür vorgesehen sind. Es wird so ablaufen:

User-Agent-Direktive

Die ersten Zeilen jedes Blocks enthalten den User-Agent, der einen Bot identifiziert. Wenn du also beispielsweise einem Googlebot mitteilen möchtest, was er tun soll, würdest du beginnen mit:

User-agent: Googlebot In der Regel suchen Suchmaschinen nach den relevantesten Informationen.

Solange du eine Googlebot-Video- und eine Bingbot-Direktive eingerichtet hast. Der „Bingbot“-User-Agent wird den Anweisungen folgen. Vom Googlebot-Video kannst du präzisere Anweisungen erwarten.

Unten sind die am häufigsten verwendeten Suchmaschinen-Robots aufgeführt.

Disallow-Direktive

Bots können bestimmte Bereiche deiner Website nicht mehr aufrufen, wenn du diese Funktion aktivierst. Nichts hindert die Bots daran, das Internet zu durchsuchen und auf beliebige Websites zuzugreifen.

Sitemap-Direktive (XML Sitemaps)

Dieser Meta-Tag teilt Suchmaschinen mit, wo sich deine Sitemap befindet. Du musst sie an die Google Search Console der Suchmaschinen senden, damit sie gefunden werden. Es wäre hilfreich, wenn du jedes dieser Tools verwenden würdest, da sie dir viel über deine Website beibringen können.

Wenn Geschwindigkeit wichtig ist, verwende die Direktive „sitemap“.

Crawl-Delay-Direktive

Wenn du Yahoo, Bing und Yandex beim Crawlen etwas verlangsamen möchtest, kannst du eine Direktive namens „crawl-delay“ einfügen. Folgendes passiert, wenn du diese Zeile in deinen Block einfügst:

Crawl-Delay:10 Warte zehn Sekunden vor dem Crawling.

Wenn eine Suchmaschine eingerichtet ist, kann sie so eingestellt werden, dass sie zehn Sekunden wartet, bevor sie eine Website crawlt, oder zehn Sekunden, bevor sie nach einem Crawl zu einer Website zurückkehrt. Der Effekt ist fast derselbe, aber je nach verwendeter Suchmaschine leicht unterschiedlich. Nach einem Crawl bedeutet ein Crawl-Delay von 1, dass Suchmaschinen sofort mit dem Crawling der Website beginnen.

Google Search Console zur Erstellung von Robots.txt nutzen

Wähle „Crawler Zugriff“ aus der Menüleiste, um schnell eine robots.txt-Datei mit einem kostenlosen Google Search Console-Konto zu erstellen. Um eine grundlegende Robots.txt-Datei zu erstellen, wähle „robots.txt generieren“, wenn du auf die Website gelangst.

Wähle unter „Aktion“ „blockieren“ und unter „User-agent“ die Robots aus, die du nicht auf deiner Website sehen möchtest. Wähle „Verzeichnisse und Dateien“ und gib die Namen der Ordner ein, die du unzugänglich machen möchtest. „http://www.yoursite.com“ sollte in keiner Weise Teil dieser Strategie sein. Wenn du beispielsweise nicht möchtest, dass die unten stehenden Seiten sichtbar sind, kannst du:

• http://www.yoursite.com/thank-you
• http://www.yoursite.com/free-stuff
• http://www.yoursite.com/private

Gib in der Google Search Console Folgendes in das Feld „Verzeichnisse und Dateien“ ein:/thank-you

• /free-stuff
• /private

Nachdem du diese für alle Robots eingegeben und auf „Regel hinzufügen“ geklickt hast, würde die endgültige Robots.txt-Datei so aussehen.

Nachdem du diese für alle Robots eingegeben und auf „Regel hinzufügen“ geklickt hast, würde die endgültige Robots.txt-Datei so aussehen.

Es gibt einen Standard-„Allow“-Befehl, wenn du eine Ausnahme machen und einem Robot den Zugriff auf eine Website erlauben möchtest, die du mit einem Befehl blockiert hast.

Der Googlebot kann nur auf das Foto-Verzeichnis deiner Website zugreifen, wenn der Sperrbefehl daneben platziert wird. Klicke dann auf „Herunterladen“, um deine Robots.txt-Datei zu erhalten. Klicke auf „Herunterladen“, wenn du die Seiten und Dateien ausgewählt hast, die du blockieren möchtest, klicke auf „Herunterladen“.

Installiere deine Robots.txt-Datei

Eine Datei namens „Robots.txt“ kann nun zum Hauptverzeichnis (www) des CNC-Bereichs deiner Website hinzugefügt werden. Das bedeutet, dass sie jetzt gefunden werden kann. Filezilla ist ein guter FTP-Client dafür. Lasse deine robots.txt-Datei von einem Webprogrammierer erstellen, nachdem du ihm eine Liste der URLs gegeben hast, die vom Crawling ausgeschlossen werden sollen. Dies ist eine zusätzliche Option. In diesem Fall wird ein erfahrener Webentwickler die Arbeit in weniger als einer Stunde erledigen.

Noindex vs. Disallow

Viele Leute wissen nicht, welche Regel sie in der robots.txt-Datei ihrer Website in der Navigationsleiste verwenden sollen. Dies liegt daran, dass die in den vorherigen Abschnitten genannten Gründe dazu führen, dass Robots.txt-Noindex-Regeln nicht mehr funktionieren.

Deine Website kann einen „noindex“-Meta-Tag haben, den du verwenden kannst, um Suchmaschinen daran zu hindern, eine deiner Webseiten zu indexieren. In der Regel erlaubt dieser Tag Web-Robots, deine Website zu besuchen, weist Suchmaschinen aber auch an, deine Seite nicht zu indexieren.

Es ist auf lange Sicht möglicherweise nicht so effektiv wie der Noindex-Tag. Die Disallow-Regel ist möglicherweise nicht so effektiv wie dieser Tag. Das ist gut, denn robots.txt hindert Suchmaschinen daran, deine Seite zu scannen. Es hindert sie jedoch nicht daran, deine Seite basierend auf Informationen von anderen Seiten und Websites zu indexieren, was gut ist.

Es ist wichtig zu bedenken, dass selbst wenn du eine Seite deaktivierst und einen Noindex-Tag hinzufügst, Robots den Tag möglicherweise nicht kennen und die Seite weiterhin indexieren, selbst wenn du dies tust.

Fehler, die du vermeiden solltest

Du hast gelernt, was du alles mit deiner robots.txt-Datei tun kannst und wie du sie verwendest. In diesem Teil gehen wir auf jedes Problem genauer ein und zeigen, wie es bei falscher Anwendung einen schlechten Einfluss auf die SEO.

Du kannst eine robots.txt-Datei oder einen „noindex“-Tag nicht verwenden, um Menschen daran zu hindern, auf nützliche Informationen zuzugreifen, die du öffentlich machen möchtest. In der Vergangenheit haben wir viele solcher Dinge bei der SEO gesehen. Alle hatten einen schlechten Einfluss auf die Ergebnisse. Es ist wichtig sicherzustellen, dass alle deine Webseiten Noindex- und Noblock-Tags und -Regeln haben, bevor sie live gehen.

Wenn du Crawl-Delay-Direktiven verwendest, solltest du sie nicht zu oft einsetzen. Dies liegt daran, dass sie die Anzahl der Seiten begrenzen, die Bots ansehen können. Andererseits kann eine große Website es dir erschweren, hohe Rankings zu erzielen und viele Besucher zu bekommen.

Um sicherzustellen, dass die Datei deines Robots korrekt gelesen wird, musst du das richtige Robots.txt-Format für deine Datei verwenden. Alle Buchstaben sollten klein geschrieben sein, wenn sie sich in der Robot-Datei befinden. Sie sollte „robots.txt“ heißen. Wenn nicht, kann sie nicht funktionieren.

Fazit – Teste deine Robots.TXT

Deine Datei sollte nun überprüft werden, um sicherzustellen, dass sie ordnungsgemäß funktioniert. Es gibt ein robots.txt-Testfeld, das du in der Google Search Console verwenden kannst, aber nur, wenn du die alte Google Search Console verwendet hast, die nicht mehr verwendet wird. Der robots.txt-Tester funktioniert aufgrund der neuesten GSC nicht mehr (Google arbeitet intensiv daran, neue Funktionen zur GSC hinzuzufügen, sodass wir den Robots.txt-Tester vielleicht in Zukunft in der Hauptnavigation sehen werden).

Wenn du mehr darüber erfahren möchtest, was der Robots.txt-Tester kann, besuche die Google-Hilfeseite. Ein weiteres nützliches Tool ist verfügbar:

Wähle ein Projekt aus dem Dropdown-Menü auf der rechten Seite. Du kannst beispielsweise an der Website deines Unternehmens oder einem anderen Projekt arbeiten.

Um die alte robots.txt-Datei durch die gerade erstellte zu ersetzen, musst du zuerst alles aus dem Feld entfernen. Um einen Test zu starten, klicke auf „Test“.

Der Wert von „Test“ sollte auf „Erlaubt“ geändert werden. Dies stellt sicher, dass deine robots.txt-Datei richtig funktioniert.

Indem du sicherstellst, dass deine robots.txt-Datei korrekt ist, kannst du deine Suchmaschinenleistung und die User Experience deiner Besucher gleichzeitig verbessern. Es ist einfacher für dich zu steuern, was die Leute sehen, wenn sie auf deiner Website nach Dingen suchen, wenn Robots ihre Tage damit verbringen können, sie zu durchsuchen und zu indexieren.

Häufig gestellte Fragen