robots.txt: cos'è e cosa fa per la SEO

Cos'è robots.txt?

Il file robots.txt (Robots Exclusion Protocol) è un file di testo collocato nella directory principale di un sito — ad esempio https://example.com/robots.txt — che fornisce ai crawler indicazioni su quali URL possono essere scansionati. È un meccanismo di comunicazione pubblico e semplice basato su direttive come User-agent, Disallow, Allow e Sitemap.

Perché robots.txt è importante per la SEO

robots.txt influenza il comportamento dei crawler (crawling) e quindi può ridurre il budget di crawl o impedire che contenuti non desiderati vengano visitati. Poiché impedire il crawling può rendere difficile a un motore di ricerca leggere meta tag o contenuti della pagina, robots.txt ha un impatto indiretto sull'indicizzazione. Tuttavia, il file non stabilisce direttamente il posizionamento (ranking): il ranking è il risultato di molti segnali, non solo delle regole di crawl.

Come funziona robots.txt

Quando un crawler visita un sito, prima può richiedere il file robots.txt nella root per valutare le direttive applicabili al proprio User-agent. Il processo riguarda tre fasi distinte: crawling (scoperta e fetch), indicizzazione (archiviazione nel motore di ricerca) e ranking (ordinamento nei risultati). robots.txt controlla principalmente il crawling; impedire il crawl può impedire al motore di vedere meta tag come noindex. Di conseguenza, se vuoi evitare che una pagina venga indicizzata, è preferibile usare un meta noindex o un header X-Robots-Tag su una pagina che il crawler può effettivamente raggiungere, oppure proteggere la pagina con autenticazione o restituire 404/410.

Verificare robots.txt: checklist tecnica

Pratiche e strumenti per verificare che robots.txt sia raggiungibile e corretto:

- **File accessibile** — dove verificare: browser o curl — passa quando: https://tuodominio.tld/robots.txt risponde con 200 e mostra il contenuto atteso.
- **Parsing e sintassi** — dove verificare: visuale del file + test con curl — passa quando: direttive User-agent, Disallow e Allow sono formattate correttamente e non ci sono errori di sintassi.
- **Impatto sui URL critici** — dove verificare: Google Search Console URL Inspection per i tuoi URL — passa quando: la console non segnala “blocked by robots.txt” per pagine che devono essere scansionate.
- **Risorse bloccate (CSS/JS)** — dove verificare: Chrome DevTools Network / Coverage — passa quando: risorse necessarie al rendering non sono bloccate e la pagina si rende correttamente.
- **Server response** — dove verificare: curl -I https://tuodominio.tld/robots.txt — passa quando: codice di stato 200; 5xx o 401/403 indicano problemi.
- **Comportamento dei crawler esterni** — dove verificare: log server e user-agent — passa quando: i crawler attesi (ad es. Googlebot) rispettano le direttive e non generano richieste non desiderate.

Esempi pratici di comandi curl (da terminale):
- Scaricare intestazioni: curl -I https://tuodominio.tld/robots.txt # risponde solo con header
- Scaricare il file completo: curl https://tuodominio.tld/robots.txt # restituisce il contenuto

Strumenti utili:
- Google Search Console (URL Inspection) — per le pagine che possiedi: segnala se un URL è bloccato da robots.txt.
- Bing Webmaster Tools Site Explorer — per vedere come Bing interpreta il sito.
- Chrome DevTools (Network, Coverage) — per verificare risorse bloccate e rendering.
- Server log analysis e report dei crawler — utile per capire richieste reali dai bot.

Tipi di direttive in robots.txt

Le direttive più comuni sono:
- User-agent: specifica il crawler a cui si riferiscono le regole.
- Disallow: impedisce il crawl di un percorso (prefisso).
- Allow: consente il crawl di un percorso più specifico quando è coperto da una Disallow più ampia.
- Sitemap: indica la posizione della sitemap.
Alcune implementazioni supportano wildcard (*) e $ (fine stringa); la compatibilità può variare tra motori di ricerca.

Esempio minimo di robots.txt:
User-agent: *
Disallow: /private/
Allow: /private/public-info.html
Sitemap: https://example.com/sitemap.xml

Primi passi con robots.txt

1) Posiziona il file nella root del dominio (es. https://tuodominio.tld/robots.txt). 2) Inizia con una regola permissiva per testare: User-agent: * / Disallow: (vuoto) e poi aggiungi esclusioni specifiche. 3) Evita di bloccare risorse JS/CSS critiche usate per il rendering. 4) Verifica con curl e con URL Inspection di Search Console le pagine chiave.

Errori comuni in robots.txt

Errori ricorrenti da evitare:
- Mettere robots.txt in una sottodirectory: il file è valido solo nella root del dominio.
- Bloccare asset critici (CSS/JS) e compromettere il rendering mobile-first; Google utilizza Googlebot Smartphone come crawler predefinito dal 2024, quindi assicurati che le risorse mobili siano accessibili.
- Usare robots.txt per nascondere dati sensibili: il file è pubblico e visibile a chiunque.
- Confondere Disallow con noindex: bloccare il crawl non garantisce che l'URL non venga indicizzato.
- Errori di sintassi o encoding che impediscono il parsing corretto.

Se vuoi impedire l'indicizzazione (non solo il crawl), usa meta robots noindex su pagine che i crawler possono accedere oppure X-Robots-Tag nell'header HTTP; se la pagina è bloccata via robots.txt il motore di ricerca potrebbe comunque indicizzare l'URL senza contenuti.

Leggi la Technical SEO Guide

Domande frequenti