Crawler: definizione, impatto SEO e checklist tecnica

What is crawler?

Un crawler è un software automatizzato (spider) che visita URL sul web, scarica l'HTML e le risorse collegate e segue link per scoprire nuove pagine. I crawler alimentano i processi di discovery e fetching dei motori di ricerca: i dati raccolti vengono poi valutati nei processi di indicizzazione.

Why crawler matters for SEO

Il comportamento del crawler determina se e come un motore di ricerca vede il contenuto del tuo sito. Se Googlebot o altri crawler non riescono a recuperare risorse critiche (CSS, JS) o trovano molte pagine bloccate, questo può impedire la corretta indicizzazione. Distinzione importante: crawling = fetching delle risorse; indicizzazione = cosa viene memorizzato nell'indice; ranking = come i risultati vengono ordinati. Un problema al livello di crawling può quindi impedire l'indicizzazione di contenuti utili, ma non è di per sé l'unica causa di una variazione di ranking.

How crawler works

I crawler iniziano da una lista di URL (seed) e da sitemap; visitano pagine, esaminano link e aggiungono nuovi URL alla coda di crawling. Ogni fetch restituisce uno status HTTP, header e body: i motori usano queste informazioni per decidere se continuare con una pagina (es. status 200) o scartarla (es. 404, 410). I crawler rispettano robots.txt e header come X-Robots-Tag, ma l'implementazione può variare tra motori. Google usa la versione mobile come base per crawling e indicizzazione; da luglio 2024 Googlebot Smartphone è il crawler predefinito per Search.

Types of crawler

Tipologie comuni:

- Motori di ricerca (es. Googlebot Smartphone) — progettati per discovery e indicizzazione a scala globale.
- Archiver/monitor (es. Wayback-like) — catturano snapshot per archiviazione.
- Bot di analisi o SEO — scansionano per rilevare problemi tecnici.
- Bot di terze parti (crawler commerciali, price aggregators, social preview generator) — possono consumare crawl budget se non gestiti.

How to get started with crawler

Per valutare come i crawler vedono il tuo sito, segui questi passi iniziali: verifica che robots.txt sia raggiungibile, controlla che risorse critiche (CSS/JS) non siano bloccate, assicurati che le pagine principali restituiscano 200 e che i canonicals siano corretti. Usa strumenti sia lato server (curl, server logs) che lato utente (Chrome DevTools) per ottenere conferme pratiche.

Common crawler mistakes

Errori frequenti che impediscono il corretto crawling o la corretta percezione del contenuto:
- Bloccare risorse critiche via robots.txt (CSS/JS) — causa rendering incompleto.
- Dipendere esclusivamente da JavaScript senza fallback o prerendering — i crawler potrebbero non eseguire correttamente tutto il JS.
- Uso errato dei rel="canonical" (puntare a URL sbagliati) — induce esclusione dall'indice.
- Scarsa struttura di linking interno — rende difficile la discovery.
- Risposte 5xx intermittenti o redirect loop — impediscono il fetch affidabile.
- Servire contenuto differente a seconda del user-agent in modo che i crawler ricevano HTML diverso dagli utenti (rischio di cloaking).

Crawler controleren: technische checklist

- **robots.txt raggiungibile** — dove controllare: https://example.com/robots.txt o curl -I — passa quando: file restituisce 200 e non blocca risorse critiche.
- **Status HTTP delle pagine principali** — dove controllare: curl -I <URL> — passa quando: pagine importanti restituiscono 200.
- **Rendering mobile** — dove controllare: Chrome DevTools (Device Toolbar) + URL Inspection (Search Console) — passa quando: contenuto visibile e paritario tra mobile e desktop.
- **Risorse bloccate** — dove controllare: curl -I e Chrome DevTools Network — passa quando: CSS/JS critici non sono bloccati da robots.txt.
- **Canonical e meta robots** — dove controllare: view-source o curl <URL> — passa quando: rel="canonical" e meta robots corrispondono all'intento di indicizzazione.
- **Indexability pubblica** — dove controllare: site: operator come indicazione e URL Inspection per URL di tua proprietà — passa quando: il signal pubblico indica che Google conosce la pagina e URL Inspection conferma lo stato per i tuoi URL.
- **Traffic di crawling anomalo** — dove controllare: server logs — passa quando: crawl rate e pattern sono coerenti con i bot attesi (Googlebot, Bingbot, ecc.).

Verifiche pratiche con comandi e strumenti

Comandi e strumenti utili:
- Verificare header: curl -I https://example.com/pagina
- Simulare user-agent (per vedere l'HTML servito): curl -A "Googlebot/2.1 (+http://www.google.com/bot.html)" https://example.com/pagina
- Controllare HTML renderizzato: apri la pagina in Chrome, apri DevTools → Elements e Network per vedere risorse caricate.
- Per URL che possiedi: Google Search Console → URL Inspection per stato di indicizzazione e render snapshot.
- Test strutturati: Rich Results Test e Schema Markup Validator per verificare markup che potrebbe richiedere crawling aggiuntivo.
- Per segnali esterni: Bing Webmaster Tools → Site Explorer e l'analisi dei server log per pattern di crawl.

Prima di procedere oltre, leggi: Leggi la guida Technical SEO per una panoramica pratica su rendering, sitemap e diagnostica dei problemi più comuni.

Frequently asked questions

Technical SEO è una parte essenziale dell'organic growth. Costruisci autorità con backlink di qualità se vuoi completare la strategia con segnali esterni di rilievo.