Come usare il file robots.txt per la SEO

Cosa troverai in questa guida

Questa guida spiega in modo pratico che cos'è il file robots.txt, come influisce sul crawling e sull'indicizzazione (e non direttamente sul ranking), quali direttive usare, esempi reali e i test essenziali da eseguire con strumenti esterni come curl e Chrome DevTools.

Robots.txt: ruolo e limiti tecnici

Il file robots.txt è un file accessibile pubblicamente nella root del sito (es. https://www.domain.com/robots.txt) che comunica ai web crawler indicazioni di accesso per URL e percorsi. È parte del protocollo di esclusione dei robot e serve a ridurre richieste non desiderate, evitare scansioni di risorse pesanti e dichiarare la posizione delle Sitemap.

Importante: robots.txt riguarda il crawling (scoperta e fetch). Non è un meccanismo affidabile per impedire l'indicizzazione: una pagina bloccata via robots.txt può comunque essere indicizzata se altri siti linkano a quella URL. Per impedire l'indicizzazione usa un meta tag noindex sulla pagina o un'intestazione HTTP X-Robots-Tag, su pagine che il server effettivamente restituisce.

Sintassi e direttive principali

Le direttive più utili e diffuse sono:

• User-agent: identifica il crawler interessato (es. User-agent: * per tutti).
• Disallow: blocca l'accesso a un percorso (es. Disallow: /admin/).
• Allow: autorizza l'accesso a un percorso più specifico quando una regola Disallow è più ampia (utile con wildcard).
• Sitemap: segnala la posizione della sitemap XML (es. Sitemap: https://www.domain.com/sitemap.xml).
• Wildcard (*) e fine-stringa ($) sono supportati da molti crawler, compreso Googlebot, per pattern matching.

Note operative:

• Google ignora i comandi non standard come Crawl-delay; se hai bisogno di limiti di crawling per Google usa strumenti server-side o le impostazioni di Google Search Console per gestire il ritmo di fetch.
• Direttive non servono a proteggere dati sensibili: robots.txt è pubblico e chiunque può leggere le regole e gli URL elencati.

Esempi pratici di robots.txt

Esempio base che segnala la sitemap e permette l'accesso a tutti i crawler:

User-agent: *
Disallow:
Sitemap: https://www.domain.com/sitemap.xml

Esempio per bloccare directory amministrative e consentire una sotto-pagina specifica:

User-agent: *
Disallow: /admin/
Allow: /admin/admin-allowed-page.html

Se usi più host o sottodomini ricorda che robots.txt è valido per host in cui è pubblicato; un robots.txt su example.com non controlla crawler su sub.example.com.

Come testare e diagnosticare (comandi concreti)

Prima cosa: verifica che il file sia accessibile dalla root. Usa curl per controllare l'header o il corpo del file:

Per ottenere solo le intestazioni: curl -I https://www.domain.com/robots.txt

Per scaricare il contenuto completo (utile per vedere le regole): curl https://www.domain.com/robots.txt

Per simulare la richiesta di un particolare user-agent (es. Googlebot Smartphone, utile in contesti di mobile-first indexing): curl -A "Googlebot" https://www.domain.com/robots.txt

Se il tuo sito è quello che possiedi, usa Google Search Console URL Inspection per verificare come Google ha visto una specifica pagina; questo è il metodo autorevole per il proprio sito. Per pagine esterne, non avendo accesso a Search Console del publisher, i controlli da fuori (curl, site: e ispezione manuale) sono gli strumenti pratici.

Esempio di controllo rapido su un URL esterno che dichiara robots.txt in root:

curl -I http://www.yoursite.com/robots.txt

Problematiche comuni e come risolverle

Blocchi accidentali di risorse CSS/JS: bloccare file necessari al rendering mobile può impedire a Googlebot Smartphone di vedere la pagina correttamente; questo può causare problemi nel processo di indexing anche se la pagina è fetchable. Controlla che CSS e JS critici non siano disallowati.

Uso improprio per nascondere contenuti sensibili: non affidarti a robots.txt per proteggere informazioni private; usa autenticazione, header HTTP appropriati o rimuovi i file dal server pubblico.

Regole mal posizionate o duplicazioni: un file robots.txt mal formattato o codificato può essere ignorato. Assicurati che il file sia in UTF-8 senza BOM e che il server risponda con 200 per /robots.txt.

Errori di aspettativa su indicizzazione: se blocchi una pagina via robots.txt e cerchi poi di farla scomparire dai risultati, ricorda che Google non può leggere un meta noindex se il crawler è bloccato; usa meta noindex o X-Robots-Tag su pagine che vuoi che non appaiano nei risultati.

Checklist rapida prima di pubblicare o modificare robots.txt

• Verifica accessibilità: curl https://www.domain.com/robots.txt deve restituire 200 e mostrare il contenuto previsto.
• Controlla che CSS/JS critici non siano bloccati (test con Chrome DevTools, modalità dispositivo mobile).
• Aggiorna la direttiva Sitemap se cambi nome o percorso della sitemap.
• Se usi regole specifiche per user-agent testale con curl -A "user-agent" e con log del server per confermare il comportamento.

Casi pratici: cosa fare in alcune situazioni

Hai una pagina che non vuoi mostrare nei risultati di ricerca ma che è già linkata esternamente: non bloccarla con robots.txt. Rimuovi l'accesso pubblico tramite autenticazione o usa meta noindex (la pagina deve essere accessibile al crawler perché possa leggere il meta).

Stai migrando un sito e vuoi limitare il carico sul server durante la migrazione: puoi usare regole temporanee e poi rimuoverle, ma monitora i log e assicurati che Googlebot Smartphone (mobile-first indexing) continui a ottenere le risorse necessarie per il rendering.

Risorse utili

Per approfondire aspetti più tecnici della SEO tecnica, Leggi la guida Technical SEO.

FAQ