Robots.txt SEO: controlla il crawling in modo efficiente

Perché robots.txt conta per la SEO

Robots.txt è un file di testo posizionato nella root del dominio che fornisce ai crawler conformi indicazioni su quali percorsi possono essere scaricati. Il suo scopo è ottimizzare l'efficienza del crawling e ridurre lo spreco di risorse dei bot, non decidere direttamente il ranking. Ricorda la distinzione fondamentale: crawling (scoperta e fetch), indicizzazione (cosa viene memorizzato nell'indice) e ranking (ordine nei risultati).

Come funziona: risposte HTTP e comportamento dei crawler

Il server deve servire robots.txt dalla root: ad esempio https://example.com/robots.txt. I crawler leggono il file prima di effettuare crawling su quel dominio o sottodominio. Gli esiti più rilevanti lato server sono:

• Risposta 200: il file è disponibile e le direttive valgono.
• Risposta 404 (non trovato): i crawler interpretano l'assenza di robots.txt come assenza di restrizioni e procedono a scaricare le risorse.
• Risposte 403 o 5xx: possono impedire ai crawler di leggere le regole; alcuni motori possono ritardare o limitare il crawling fino al ripristino.

Sintassi e direttive principali

Le direttive base che incontrerai sono User-agent, Disallow, Allow e Sitemap. Alcuni esempi concreti (usa esattamente la root del dominio):

Esempio minimo che permette tutto:

User-agent: *
Disallow:

Esempio che blocca l'area amministrativa ma consente una sottopagina:

User-agent: *
Disallow: /admin/
Allow: /admin/admin-ajax.php

Per indicare la posizione della sitemap è comune aggiungere:

Sitemap: https://example.com/sitemap.xml

Pattern e compatibilità

Google e molti crawler supportano gli asterischi (*) per wildcard e il simbolo $ per l'ancoraggio finale. Tuttavia, il comportamento esatto può variare tra crawler: evita dipendere da estensioni non standard se hai bisogno di comportamento uniforme tra motori.

Cosa robots.txt non dovrebbe fare

Non usare robots.txt per impedire l'indicizzazione di una pagina che vuoi che non compaia nei risultati: se blocchi il crawling, i motori non potranno leggere i meta tag della pagina (ad es. meta robots noindex). Per impedire l'indicizzazione, rendi la pagina accessibile al crawler e usa meta robots noindex o l'intestazione HTTP X-Robots-Tag.

Verifica pratica: come testare robots.txt

Controlli rapidi che puoi eseguire da remoto senza accesso al pannello del server:

1) Scarica intestazioni e contenuto con curl
• Per vedere solo le intestazioni: `curl -I https://example.com/robots.txt`
• Per scaricare il file completo (simulando uno user-agent specifico): `curl -A "Googlebot/2.1" https://example.com/robots.txt`

2) Verifica che la response sia 200 e che il body contenga le direttive previste. Se ricevi 403 o 5xx, indaga la configurazione del server, la protezione DDoS/CDN o regole dei WAF.

3) Controlla come il server risponde a path specifici che pensi di bloccare: `curl -I https://example.com/path/` e verifica i redirect, i codici di stato e gli header X-Robots-Tag.

4) Usa il pannello di rete di Chrome DevTools per vedere se file CSS/JS vengono bloccati da robots.txt quando carichi pagine critiche; alcuni errori di layout dipendono proprio dal blocco di risorse render-critical.

Checklist rapida di controllo prima del deploy

• Verifica che robots.txt sia raggiungibile in root con risposta 200.
• Controlla che sitemap: punti al sitemap corretto.
• Assicurati di non bloccare CSS/JS necessari al rendering mobile-first e alle Core Web Vitals.
• Non bloccare pagine che devono mostrare meta noindex: usa invece meta robots o X-Robots-Tag.
• Testa le regole con esempi concreti di URL che vuoi consentire o negare.

Errori comuni e come risolverli

1) Bloccare risorse critiche: molti CMS preconfigurano regole troppo generose. Risolvi identificando le risorse bloccate e rimuovendole da Disallow o aggiungendo Allow mirati.

2) File robots.txt non aggiornato dopo migrations o canonical host change: verifica che il file esista nella root del dominio e del sottodominio corretto (www vs non-www, http vs https).

3) Errori di formattazione: caratteri non ASCII, BOM all'inizio del file o line endings inusuali possono rompere la lettura. Salva robots.txt come testo puro UTF-8 senza BOM.

4) Uso improprio del Crawl-delay: Google non supporta la direttiva Crawl-delay; non aspettarti che limiti il comportamento di Googlebot. Se devi regolare velocità di crawling per Google, usa Google Search Console per suggerire limiti o gestisci le impostazioni lato server.

Robots.txt in un ecosistema moderno: CDN, proxy e mobile-first

Se usi CDN o proxy, verifica che la richiesta per /robots.txt non venga cacheata o riscritta con regole che restituiscono 403/5xx. Controlla i log del server e le regole del CDN per assicurare che robots.txt sia disponibile in modo coerente dal dominio pubblico.

Ricorda inoltre che Google usa la versione mobile come base primaria per crawling e indicizzazione. Since July 2024, Google crawls sites for Search with Googlebot Smartphone by default — assicurati che le risorse mobile-critical non siano bloccate.

Buone pratiche per team e deploy

• Mantieni robots.txt sotto versione di controllo insieme alle modifiche di deploy.
• Automatizza i test pre-deploy che validino la raggiungibilità e la presenza delle direttive critiche.
• Documenta quali user-agent o path devono essere esclusi e perché, così che futuri interventi non sovrascrivano regole essenziali.

Quando usare meta robots o X-Robots-Tag invece di robots.txt

Se vuoi impedire l'indicizzazione di una pagina, rendila accessibile ai crawler e inserisci `meta name="robots" content="noindex"` nella pagina HTML o imposta l'intestazione HTTP `X-Robots-Tag: noindex`. Bloccare via robots.txt impedisce al crawler di leggere la pagina e quindi di applicare meta noindex.

Esempi di situazioni reali e soluzioni

Situazione: il layout mobile risulta rotto in Google Search Console Live Test. Causa comune: CSS o JS critici bloccati via robots.txt. Soluzione: rimuovi il blocco per quei file o aggiungi regole Allow mirate.

Situazione: dopo una migrazione il traffico organico cala e robots.txt restituisce 403. Soluzione: controlla permessi file, regole del firewall/CDN e ripristina 200 per il file robots.txt; monitora i log per ripresa del crawling.

Checklist di troubleshooting rapido

• `curl -I` e `curl -A` per verificare stato e contenuto.
• Controlla che `Sitemap:` punti al file aggiornato.
• Rendi pubblica una pagina di test e prova l'accesso da più user-agent.
• Controlla log del server per errori sul fetch di /robots.txt.
• Verifica che CDN o WAF non sostituiscano il file con risposte di errore.

Conclusione

Un robots.txt corretto aumenta l'efficienza del crawling e protegge le aree a basso valore, ma non sostituisce controlli di indicizzazione e canonicalizzazione. Testa regolarmente il file, integra i controlli nei deploy e non bloccare risorse necessarie al rendering mobile-first.

FAQ: Posso usare robots.txt per impedire l'indicizzazione?

No: se blocchi una pagina via robots.txt, i crawler non possono leggerne i meta tag e quindi non possono applicare un meta robots noindex. Per impedire l'indicizzazione rendi la pagina accessibile e usa meta robots noindex o l'intestazione HTTP X-Robots-Tag.

Cosa succede se robots.txt ritorna 404?

Un 404 su /robots.txt viene generalmente interpretato come assenza di restrizioni e i crawler proseguiranno con il crawling. Tuttavia, è buona prassi pubblicare un file valido per evitare ambiguità e problemi temporanei.

Google segue sempre le regole di robots.txt?

I crawler conformi, incluso Googlebot, rispettano le direttive di robots.txt. Tuttavia, robots.txt è un meccanismo pubblico e volontario: bot malevoli possono ignorarlo. Inoltre, il comportamento può variare tra motori su estensioni non standard.

Devo inserire la direttiva Sitemap nel robots.txt?

Sì: includere `Sitemap: https://example.com/sitemap.xml` nel robots.txt è una pratica diffusa che aiuta i crawler a trovare rapidamente le sitemap, ma non sostituisce l'invio della sitemap a Google Search Console per il tuo dominio.