Crawling and indexing: guide til søgemaskineopdagelse

Kernebegreber: crawling, indexing, ranking

Se crawling og indexing som to separate faser. Crawling er opdagelse og hentning: en crawler besøger URLs, henter serverens svar og registrerer ressourcer, der påvirker rendering. Indexing er evaluerings- og lagringsfasen: efter en side er hentet og (typisk) rendered, beslutter søgemaskinen, om siden skal gemmes i sit index og gøres berettiget til at dukke op i søgeresultater. Ranking er en separat fase, der ordner indekseret indhold for forespørgsler. Problemer i crawl- eller indexstadiet forhindrer, at en side nogensinde kommer ind i konkurrencen om ranking.

Hvordan crawling fungerer i praksis

Når en crawler anmoder om en URL, ser den på HTTP-statuskoder, redirects, response headers og den HTML/CSS/JS, som serveren returnerer. Crawleren opdager links (HTML-ankre, sitemap-poster, hreflang-links), indlejrede ressourcer og scripts, der kan generere yderligere URLs til hentning. Vigtige operationelle punkter:

• Crawlers følger interne links og eksterne backlinks som opdagelsessignaler.

• Robots.txt kontrolleres før hentning af sider; den kan forhindre crawling, men ikke nødvendigvis indexing, hvis andre signaler findes.

• JavaScript rendering: mange moderne crawlers renderer sider, men blokerede eller langsomme ressourcer kan stoppe rendering og skjule indhold. Brug server-side rendering eller sørg for, at kritisk indhold er tilgængeligt i den indledende HTML, når det er muligt.

• Crawl budget og frekvens: søgemaskiner prioriterer, hvilke URLs de skal besøge igen. Meget store sites bør styre deres indekserbare URL-overflader for at undgå unødvendig crawling af lavværdi-sider.

Indexing: what determines whether a page is stored

Indexing-beslutninger bruger mange signaler: robots meta tags, X-Robots-Tag headers, canonical tags, indholdskvalitet, duplikation og structured data. At en side bliver crawlet er nødvendigt men ikke tilstrækkeligt for indexing — en side kan blive crawlet og udelukket fra indexet, hvis motoren vurderer den som lavværdi eller eksplicit instrueret til at udelukke den.

Praktiske eksempler på direktiver, der påvirker indexing:

• HTML meta robots-eksempel: <meta name="robots" content="noindex, nofollow">

• Canonical-eksempel: <link rel="canonical" href="https://example.com/preferred-page">

• HTTP-header eksempel (X-Robots-Tag): X-Robots-Tag: noindex

Verification: how to check crawling and indexing (own site vs third-party)

For sider du ejer (autoritative tjek)

Brug Google Search Console's URL Inspection for at bekræfte crawl- og indexstatus, se live-renderingen og se coverage-issues for den pågældende URL. Coverage- og Pages-rapporter hjælper med at lokalisere grupper af indexationsproblemer. Brug Rich Results Test til at validere structured data og se, om et resultat er berettiget til forbedrede features.

For tredjeparts-/publisher-sider (ekstern verifikation)

Hvis du ikke kontrollerer domænet, stol på offentlige signaler og live-hentninger. Brug curl og en browser til at inspicere den HTML, sitet serverer, tjek HTTP-headers, og bekræft, at linket findes i sidekilden og det renderede DOM. Eksempelkommandoer:

• Hent kun headers: curl -I https://example.com/page (returnerer kun response headers).

• Hent HTML som en mobil user-agent: curl -A "Mozilla/5.0 (Linux; Android 12)" https://example.com/page (henter det fulde HTML-svar for den UA).

• Tjek det renderede DOM med Chrome DevTools' Elements-panel eller en headless renderer for at sikre, at linket ikke injiceres senere på en måde, som søgemaskiner måske ikke eksekverer.

Brug site: operatoren (fx site:publisher.com "unique phrase") som en offentlig indexationsindikator — den kan være nyttig, men ikke definitiv. For Bing, brug Bing Webmaster Tools's Site Explorer til at inspicere index-signaler.

Common mistakes and how to fix them

• Robots.txt blokerer vigtige ressourcer: robots.txt kan forhindre crawlers i at hente CSS/JS, der er nødvendige for at renderere indhold. Løsning: tillad kritiske assets eller brug server-side rendering for kerneindhold.

• Utilsigtet noindex eller X-Robots-Tag-headers: tjek templates, staging-regler og CDN-edge-konfiguration for headers, der tilføjer noindex. Brug curl -I til at inspicere headers.

• Forkert canonical-brug: at pege mange sider til den forkerte canonical kan fjerne de foretrukne sider fra indexet. Sørg for, at canonical-links peger på den bedste ene version af indholdet.

• Overindekserede lavværdi-sider (faceted navigation, tynde arkiver): reducer indeksérbare permutationer ved hjælp af canonicalization, parameterhåndtering eller bevidst noindex for lavværdi-varianter.

• Stor afhængighed af client-side rendering uden server-fallback: sørg for, at kritisk indhold fremgår i den indledende HTML eller renderes hurtigt; ellers kan crawlers undlade at eksekvere de nødvendige scripts eller bruge længere tid på at indexere indholdet.

Practical audit checklist

Hurtig gennemgang til at finde og rette discovery/indexation-problemer. Arbejd top-til-bund på de sider eller site-sektioner, du går mest op i.

1. Bekræft, at den tiltænkte canonical URL serveres i HTML og ikke konflikter med server-redirects.
2. Tjek robots.txt for disallow-regler, der påvirker siden eller dens CSS/JS-assets: curl https://example.com/robots.txt
3. Inspicer response headers: curl -I https://example.com/page og kig efter X-Robots-Tag, statuskoder og cache-control-værdier.
4. Valider meta robots i side-HTML: sørg for, at du ikke utilsigtet har efterladt noindex.
5. Brug URL Inspection (Search Console) for autoritative crawl- og index-detaljer for sider, du ejer, og kør Live Test for at se den aktuelle renderede output.
6. Tjek intern linking: sørg for, at vigtige sider er linked fra global nav, kategorisider eller kontekstuelt indhold, så crawlers kan nå dem inden for rimelig dybde.
7. Auditér duplikeret og næsten duplikeret indhold: beslut hvilke versioner der bør indekseres og canonicalise eller brug noindex, hvor det er passende.

Context updates for 2026 you should be aware of

Google bruger den mobile version som sin primære basis for crawling og indexing. Siden July 2024 crawler Google sites til Search med Googlebot Smartphone som standard. Google fjernede også traditionelle cached pages i starten af 2024, så 'Cached'-visningen ikke længere er en fejlsøgningsressource. Search Generative Experience / AI Overviews er nu mainstream i mange SERPs; at være indekseret garanterer ikke, at en side bliver fremhævet i AI-sammendrag, som bruger yderligere udvælgelses- og opsummeringslogik.

Further troubleshooting tips

Hvis sider ikke er indekseret trods at de er crawlable, gennemgå server logs for at bekræfte crawler-hentningsforsøg og response-koder. Server logs viser, om crawlers modtog 200, 3xx, 4xx eller 5xx-responser og hvilke user-agents der blev brugt. Langsom TTFB, hyppige 5xx-fejl eller aggressive rate limits kan reducere revisit-frekvensen.

For JavaScript-tunge sites, sammenlign raw HTML (curl) med det renderede DOM (DevTools) for at finde indhold, der aldrig materialiserer uden specifikke brugerinteraktioner. Hvis kritisk indhold kræver interaktioner, eksponér en server-rendered eller pre-rendered version for crawlers.

Quick reference: useful tools

• Google Search Console (URL Inspection, Coverage report).

• Rich Results Test and Schema Markup Validator for structured data.

• Chrome DevTools (Network, Performance, Elements) og headless renderers.

• curl til header- og indholdsinspektion; server logs til autoritative crawl-optegnelser; Bing Webmaster Tools Site Explorer til Bing index-checks.

FAQ