Crawling und Indexing: Leitfaden zur Suchmaschinen-Entdeckung

Kernbegriffe: Crawling, Indexing und Ranking unterscheiden

Crawling, Indexing und Ranking sind drei separate Phasen der Suchmaschinenverarbeitung. Crawling ist die Entdeckung und das Abrufen von URLs; Indexing bedeutet, ob und wie eine Seite in den Suchindex aufgenommen wird; Ranking ist die anschließende Einordnung der indexierten Seiten in den Suchergebnissen. Es ist wichtig, diese Schritte strikt zu trennen: ein erfolgreich gecrawltes Dokument wird nicht automatisch indexiert, und Indexierbarkeit allein garantiert kein gutes Ranking.

Wie Crawling und Indexing technisch funktionieren

Quellen der Entdeckung

Suchmaschinen entdecken neue und geänderte Seiten über mehrere Kanäle: interne Links auf deiner Website, externe Backlinks, XML-Sitemaps, RSS/Atom-Feeds und beim Betreiber bekannte URL-Listen. Eine klare interne Linkstruktur und gepflegte Sitemaps erhöhen die Wahrscheinlichkeit, dass wichtige Seiten gefunden werden.

Rendering und dynamischer Inhalt

Moderne Crawler rendern oft JavaScript, um den finalen DOM zu sehen. Manche JavaScript-abhängigen Inhalte werden jedoch erst später oder gar nicht gerendert, was zu fehlender Indexierung führt. Teste deshalb sowohl das rohe HTML (View‑Source) als auch den gerenderten DOM (Chrome DevTools → Elements). Wenn Inhalte nur nach Ausführung clientseitiger Scripts sichtbar sind, sollte geprüft werden, ob serverseitiges Rendering, statische Inhalte oder hydratisierte SSR-Strategien sinnvoller sind.

Mobile-first indexing

Google verwendet die mobile Version einer Seite als primäre Basis für Crawling und Indexing. Seit Juli 2024 crawlt Google für Search standardmäßig mit Googlebot Smartphone. Das bedeutet: Inhalte, die nur auf der Desktop-Version vorhanden sind, können im Index fehlen; stelle daher parity zwischen mobiler und Desktop-Variante sicher — nicht pixelgenau, aber inhaltlich.

Signale, die Indexierung beeinflussen

Indexierungsentscheidungen berücksichtigen: Seitenqualität, Canonical-Direktiven, robots-Anweisungen (HTTP-Header oder meta robots), Strukturierte Daten, Ladezeit und interne Linkstärke. Google hat zudem die klassischen Cache-Seiten Anfang 2024 entfernt; das wirkt sich nicht direkt auf Indexierung, aber auf nutzernahe Debug-Workflows aus.

Konkrete Prüf- und Verifikationsschritte

Für Seiten, die du besitzt (empfohlen)

Nutze Google Search Console (URL Inspection) als erste Anlaufstelle: hier siehst du, ob Google die aktuelle URL kennt, wann zuletzt gecrawlt wurde, welche Version (Smartphone/desktop) gerendert wurde und ob Indexierungsgründe vorliegen. Ergänze mit:

Rich Results Test / Schema Markup Validator für strukturierte Daten

Chrome DevTools → Network / Coverage, um Rendering-Probleme und Ladezeit-Blocking zu identifizieren

Server-Logs prüfen: echte Googlebot-Requests auf IP-Ebene zeigen, ob und wie oft gecrawlt wird

Schnellchecks von außen (für fremde Publisher oder schnelle Diagnosen)

Wenn du keine Search Console-Privilegien für eine Domain hast, nutze externe Prüfungen, um Indexierbarkeit und Sichtbarkeit einzuschätzen:

HTTP-Header prüfen:

Mit curl nur die Header anfordern: curl -I https://example.com/pfad — so siehst du HTTP-Status, robots-Header und Redirects.

Seite als spezifischer User‑Agent abrufen:

Wenn du sehen willst, welche HTML-Version ein bestimmter User‑Agent erhält, nutze: curl -A "Googlebot/2.1 (+http://www.google.com/bot.html)" https://example.com/pfad

Gerenderten DOM prüfen:

Öffne die Seite in einem Browser, View‑Source zeigt das initial gelieferte HTML; DevTools → Elements zeigt den gerenderten DOM. Vergleiche beide, um zu erkennen, ob kritischer Inhalt erst durch JS injiziert wird.

Indexationssignal testen (indikativer Check):

Die site:-Abfrage kann Hinweise liefern, ist aber kein definitiver Indexstatus. Für eigene Seiten ist die URL Inspection in Search Console autoritativ; für fremde Seiten nutze site:example.com "einzigartiger Satz" als Indikator, aber bewerte das Ergebnis nicht als alleiniges Kriterium.

Typische Fehler, Ursachen und schnelle Fixes

Versehentlich blockierte Seiten

Häufige Ursache sind falsch konfigurierte robots.txt-Regeln, meta robots mit noindex oder robots HTTP-Header. Prüfe robots.txt auf Disallow-Zeilen und curl -I für X-Robots-Tag-Header. Entferne noindex nur, wenn die Seite wirklich nicht indexiert werden soll.

Content nur clientseitig sichtbar

Wenn wichtige Inhalte erst nach Benutzerinteraktion oder späten JS-Requests geladen werden, crawlen Bots diese möglicherweise nicht regelmäßig. Lösung: serverseitiges Rendering, statische Pre‑Rendering oder progressive Enhancement für kritische Inhalte.

Duplicate Content & falsche Canonicals

Fehlerhafte canonical-Tags führen dazu, dass die falsche URL indexiert wird oder Content in der Konkurrenz mit sich selbst steht. Überprüfe canonical-Links im Head-Bereich und gleiche sie mit internen Verlinkungen und Sitemaps ab.

Backlinks, Publisher und Indexierbarkeit

Der SEO-Wert eines Backlinks hängt wesentlich davon ab, ob die Quellseite von Suchmaschinen gefunden und indexiert werden kann. Eine Linkplatzierung auf einer Seite, die nicht indexiert ist oder technisch schwer erreichbar ist, ist in der Regel deutlich weniger nützlich für organische Signale.

Marktplätze und Publisher‑Verzeichnisse wie BlogDrip verbinden Advertiser mit verifizierten Publishern; das reduziert Administrationsaufwand, ersetzt aber nicht deine technische Überprüfung. Prüfe vor einer Buchung die Indexierbarkeit der Zielseite, ihre Zugänglichkeit für Googlebot Smartphone und ob die redaktionelle Umgebung zur Marken- und SEO-Strategie passt. Weitere technische Konzepte dazu findest du im übergeordneten Technical-SEO-Guide: Zum Technical-SEO-Guide oder sieh dir passende Publisher an: Publisher für Backlinks ansehen.

Link-Attribute und Google‑Richtlinien

Es gibt kein rel="dofollow"-Attribut; ein normaler Link ohne rel=nofollow/rel=sponsored/rel=ugc gilt als regulärer Link. Verwende rel="sponsored" für bezahlte/kompensierte Links und rel="ugc" für nutzergenerierte Links. rel="nofollow" wird von Google als Hinweis (hint) behandelt — die konkrete Wirkung ist nicht öffentlich spezifiziert. Beispielsyntax:

Eine Standard‑Verlinkung: Beispiel. Gesponserte Platzierung: Beispiel. User‑generated Link: Beispiel.

Beachte außerdem Googles Linkspam-Richtlinie: Links, deren primärer Zweck Rankings zu manipulieren ist, können als Linkspam behandelt werden; bezahlte Links sollten entsprechend gekennzeichnet werden. Die Bewertung hängt stark vom redaktionellen Kontext, Publisher-Qualität und Indexierbarkeit ab — nicht nur von Drittanbieter-Metriken wie Domain Rating.

Praktische Checkliste: So stellst du Crawlability & Indexing sicher

Überprüfe robots.txt auf Disallow-Regeln und testiere auffällige Regeln mit curl oder dem robots.txt‑Tester in GSC.

Kontrolliere X‑Robots-Tag HTTP-Header mit curl -I; achte auf noindex oder noarchive.

Vergleiche View‑Source mit dem gerenderten DOM in DevTools, besonders für JS-lastige Seiten.

Stelle mobile‑Desktop‑Parity für Inhalte sicher; teste mit Googlebot Smartphone User‑Agent.

Sitemaps aktuell halten und nur kanonische URLs listen; nutze GSC, um Sitemap‑Einreichungen zu überwachen.

Bei externen Publishern: prüfe, ob der Publisher‑Artikel indexierbar ist, ob er in der Vergangenheit sichtbar war (site:-Abfragen als Indikator) und ob die Redaktion Kontext bietet.

Fazit

Crawling und Indexing sind die Grundlage dafür, dass deine Inhalte überhaupt Chancen auf organische Sichtbarkeit haben. Trenne technische Prüfungen (Crawling/Rendering), Indexierungsentscheidungen (noindex, canonical) und Ranking‑Optimierung. Nutze die in diesem Kapitel beschriebenen Prüfmethoden regelmäßig — sowohl für eigene Seiten als auch, wenn du Publisher oder Linkplatzierungen bewertest.

FAQ

Wie erkenne ich, ob eine Seite vom Googlebot gecrawlt wurde?

Für eigene Seiten ist Search Console (URL Inspection) die zuverlässigste Quelle — dort siehst du den letzten Crawl‑Zeitstempel. Extern kannst du Server‑Logs auf Googlebot‑User‑Agent‑Requests prüfen oder mit curl den Content für den Googlebot‑User‑Agent abrufen; das zeigt aber nur, was der Bot theoretisch erhalten würde.

Eine Seite ist nicht indexiert — was sind die ersten Schritte?

Prüfe robots.txt, meta robots und X‑Robots‑Tag-Header; kontrolliere Canonical‑Angaben; verifiziere, ob die Seite technisch erreichbar ist (HTTP‑Status, Redirects); vergleiche das gelieferte HTML mit dem gerenderten DOM und sorge für ausreichend interne Verlinkung und qualitativ hochwertigen Inhalt.

Beeinflusst mobile-first indexing mein Ranking?

mobile-first indexing ändert die Basis für Crawling und Indexing: Google verwendet die mobile Version als primäre Referenz. Das stellt sicher, dass mobile Inhalte in die Indexierungs- und Rankingprozesse einfließen, heißt aber nicht, dass mobile-first per se ein Ranking‑Bonus ist. Wichtig ist inhaltliche Parität zwischen den Versionen.