Crawling e indexing: guida alla scoperta dei motori di ricerca

Crawl vs index vs ranking: chiarire le tre fasi

È fondamentale distinguere tre passaggi diversi: crawling (scoperta e fetch), indexing (valutazione e memorizzazione nel motore di ricerca) e ranking (posizionamento nelle SERP). Un URL può essere scansionato senza essere indicizzato; una pagina indicizzata non garantisce una buona posizione. Questa separazione guida le verifiche tecniche e le azioni prioritarie.

Meccanica pratica del crawling e del rendering

Il processo tipico che porta una pagina dall'essere scoperta a potenzialmente entrare nell'indice segue questi passi:

1. Scoperta: i crawler usano link interni, sitemap XML, backlink e segnali esterni per individuare URL.
2. Fetching: il server risponde con HTML e risorse; alcuni crawler eseguono rendering JavaScript per ottenere il DOM finale.
3. Rendering: il motore valuta il contenuto reso, le risorse bloccate e determina cosa inviare all'indice.
4. Decisione di indicizzazione: meta robots, X-Robots-Tag, canonical, qualità del contenuto e segnali di duplicazione influenzano l'esito.
5. Ranking: se indicizzata, la pagina compete sulla base dei segnali di rilevanza e qualità.

Nota operativa: Google usa la versione mobile come base primaria per crawling e indexing; dal luglio 2024 Googlebot Smartphone è il crawler predefinito per la maggior parte dei siti. Inoltre, Google ha rimosso le pagine cached tradizionali all'inizio del 2024 e le SERP integrano ampiamente risposte AI (Search Generative Experience), importanti da considerare nella visibilità complessiva.

Controlli tecnici: come verificare crawlability e indexability

Verifiche rapide via riga di comando

Usa curl per ispezionare risposte HTTP e corpo della pagina dal lato server:

• Per ottenere solo intestazioni HTTP: curl -I https://example.com/pagina — questo restituisce codice di stato, header come X-Robots-Tag e cache-control.

• Per vedere l'HTML che il server restituisce a un user-agent specifico (utile per verificare varianti server-side): curl -A "Googlebot/2.1 (+http://www.google.com/bot.html)" https://example.com/pagina

Verifiche nel browser e strumenti online

• Chrome DevTools → Elements per controllare il DOM reso e Network per risorse bloccate.
• Rich Results Test e Schema Markup Validator per verificare il rendering e i markup strutturati.
• Per le pagine che controlli: Google Search Console URL Inspection è lo strumento autorevole per scoprire come Google vede una pagina, inclusi problemi di rendering, segnali di esclusione e stato di indicizzazione.

Controlli esterni per pagine di terzi

Se non possiedi il dominio della pagina (ad es. publisher o partner), non puoi usare URL Inspection. Per queste pagine usa: site:example.com "frase unica" come indicatore pubblico che Google conosce la pagina (non è definitivo), Site Explorer di Bing Webmaster Tools per segnali pubblici e controllo diretto della pagina con curl e DevTools. Analizza la presenza di meta robots, rel=canonical e risposte HTTP per capire se la pagina è teoricamente indicizzabile.

Checklist: cosa controllare quando una pagina non viene indicizzata

Esegui questi controlli nell'ordine; iniziare dalla causa più probabile accelera la risoluzione:

1) Meta e header: verifica meta robots nel sorgente e X-Robots-Tag nelle intestazioni HTTP (curl -I).
2) Stato HTTP: assicurati di non restituire 4xx/5xx o soft-404.
3) rel=canonical: controlla che non punti a un'altra URL che il motore preferisce.
4) Robots.txt: conferma che l'URL e le risorse critiche non siano bloccate.
5) Rendering JS: usa DevTools e GSC URL Inspection per confrontare sorgente e DOM reso.
6) Qualità e duplicazione: valori di contenuto sottili o duplicati spesso portano a non indicizzazione.
7) Sitemap: verifica che l'URL sia presente nella sitemap inviata e raggiungibile.
8) Server performance: timeout o lentezza possono ridurre la frequenza di crawl.
9) Link interni: assicurati che l'URL sia raggiungibile tramite link ben posizionati all'interno del sito.
10) Errori di implementazione: hreflang o canonical mal configurati possono escludere contenuti.

Errori comuni che impediscono la scoperta

Elenco delle cause ricorrenti riscontrate durante audit tecnici:

• Risorse critiche (CSS/JS) bloccate via robots.txt che impediscono il rendering corretto.
• Uso errato di meta robots o X-Robots-Tag (noindex su pagine pubbliche).
• rel=canonical che punta alla homepage o a pagine non correlate.
• Sitemap che riporta URL con redirect o errori di accesso.
• Contenuto caricato solo dopo interazione utente e non reso per i crawler.
• Pagine duplicate e thin content che vengono ignorate dall'algoritmo.
• Server che risponde lentamente durante crawl intensi, riducendo la frequenza di visita.

Indexability dei publisher e link acquistati: cosa verificare

Quando il tuo piano prevede contenuti su siti terzi (guest post, post sponsorizzati, marketplace di placement), la qualità di quella pagina e la sua possibilità di essere indicizzata influiscono direttamente sul valore del backlink. Prima di finalizzare un acquisto o una pubblicazione, verifica questi punti:

• La pagina è raggiungibile e ritorna 200 OK.
• Non contiene meta robots noindex né X-Robots-Tag noindex.
• È presente nel dominio del publisher senza redirect strani o pareti di login.
• Ha link interni che la rendono accessibile dall'home o da sezioni editoriali.
• Google (site: o altri segnali pubblici) mostra la pagina come conosciuta; usa questa verifica come indicatore, non come prova definitiva.

Se lavori con piattaforme o marketplace (ad esempio BlogDrip o altri servizi), includi nei tuoi criteri di valutazione l'indicizzabilità della pagina e la sua collocazione editoriale: un link in un articolo difficile da scoprire o bloccato non offre lo stesso valore di un link in una pagina indicizzabile e ben collegata.

Esempi di attributi HTML per link correttamente marcati:

Una link normale senza attributi speciali: esempio. Per contenuti a pagamento: esempio. Per link generati dagli utenti: esempio

Politica Google sui link a pagamento e implicazioni pratiche

Google dichiara che i link il cui scopo primario è manipolare i ranking possono essere trattati come link spam. Come buona pratica: tutti i link a pagamento o compensati dovrebbero includere rel="sponsored" o rel="nofollow". Anche quando il rel corretto è applicato, Google può comunque decidere quale trattamento dare ai link; la qualità editoriale, la rilevanza e l'indicizzabilità della pagina ospitante influenzano il valore complessivo.

Procedure di troubleshooting rapido

Se una pagina critica non viene indicizzata, procedi così:

1) Conferma che l'URL risponda 200 OK con curl -I.
2) Controlla meta robots e X-Robots-Tag.
3) Confronta sorgente e DOM reso con DevTools e URL Inspection.
4) Rimuovi o correggi canonical errati.
5) Migliora link interni e aggiungi la pagina alla sitemap inviata.
6) Se necessario, usa i log server per vedere le visite di Googlebot e capire errori di crawl. Questi log sono la fonte più affidabile per capire cosa è stato richiesto dal crawler.

Risorse e collegamenti utili

Per una panoramica più ampia e altri capitoli tecnici: Leggi la guida Technical SEO.

FAQ