Robots.txt SEO: controla el rastreo de forma eficiente

Qué es robots.txt y qué papel juega en SEO

Robots.txt es un archivo de texto plano ubicado en la raíz de un host (por ejemplo https://example.com/robots.txt) que ofrece instrucciones básicas a rastreadores compatibles sobre qué rutas pueden o no solicitar. Su función principal es optimizar el gasto de rastreo y evitar que los bots accedan a secciones de bajo valor, pero no es una herramienta para controlar por sí sola la indexación o las posiciones en búsqueda.

Es clave distinguir tres fases técnicas: crawling (descubrimiento y fetch), indexing (decisión de almacenar contenido en el índice) y ranking (ordenar resultados). Robots.txt influye sobre el crawling; su efecto sobre indexación y ranking es indirecto y depende de señales adicionales (meta robots, enlaces, contenido).

Sintaxis y directivas clave

Las directivas más útiles y ampliamente soportadas son:

• User-agent: identifica a qué rastreador aplica la regla (por ejemplo: User-agent: *)
• Disallow: bloquea rutas completas o prefijos (por ejemplo: Disallow: /private/)
• Allow: permite rutas concretas que quedarían bloqueadas por una Disallow más amplia (útil en motores que aplican Allow/Disallow)
• Sitemap: apunta a la ubicación del mapa del sitio para mejorar descubrimiento (por ejemplo: Sitemap: https://example.com/sitemap.xml)
• Directivas no estándar: algunos crawlers respetan instrucciones adicionales (Host, Crawl-delay, clean-param), pero su soporte varía; en particular, Google no respalda Crawl-delay.

Ejemplo mínimo práctico

Un robots.txt claro y seguro suele verse así:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

Qué hace y qué no hace robots.txt

Lo que sí hace:

• Evitar que rastreadores compatibles descarguen ciertas rutas, reduciendo el gasto de rastreo.
• Sugerir a los motores dónde están los sitemaps.

Lo que no hace (o hace de forma limitada):

• No garantiza que una URL no aparezca en el índice: si otros sitios enlazan una URL bloqueada, los motores pueden indexar la URL sin su contenido.
• No reemplaza a meta robots o cabeceras HTTP (por ejemplo, meta robots noindex), que controlan la indexación cuando la página se rastrea.

Verificación y comprobaciones: desde fuera y para tu propio sitio

Comprobaciones externas (no necesitas acceso al servidor)

Para revisar cómo responde un host público:

1. Consulta el archivo con curl para ver el contenido real: curl https://example.com/robots.txt
2. Si solo necesitas encabezados (por ejemplo, comprobar cacheo o redirecciones): usa curl -I https://example.com/robots.txt

3. Prueba la ruta que quieres revisar con curl o en el navegador para confirmar si el archivo bloquea su acceso (por ejemplo: curl -I https://example.com/private/page.html).

Comprobaciones para tu propio sitio (tienes Search Console)

Para URLs que controlas, combina pruebas externas con datos de Google Search Console y registros de servidor:

• URL Inspection (Search Console): revisa si Google informa que una URL está bloqueada por robots.txt.
• Registros de servidor: confirma qué user-agents demandan qué URLs y cuándo (útil para diagnosticar un bloqueo accidental de rastreo masivo).
• Chrome DevTools > Network: comprueba que recursos como CSS y JavaScript no estén bloqueados por robots.txt (si están bloqueados, la renderización puede verse afectada).

Errores comunes y cómo evitarlos

Los errores más habituales que dañan la visibilidad suelen ser operaciones sencillas de evitar si se aplican comprobaciones básicas:

• Bloquear recursos críticos (CSS/JS): impide que Google renderice correctamente y puede afectar a Core Web Vitals y extracción de datos estructurados.
• Bloquear por error toda la web (Disallow: /) durante despliegues: comprueba el archivo tras cada despliegue y añade tests automatizados en pipelines.
• Confundir bloqueos de crawling con control de indexación: si quieres impedir indexación, usa meta robots noindex en páginas que se puedan rastrear; no confíes en Disallow para lograr un noindex efectivo.
• Ubicación equivocada del archivo: robots.txt es por host y protocolo (https vs http, www vs non-www). Asegúrate de publicar el archivo en la raíz exacta del host que usan los usuarios y motores.
• Problemas de codificación y redirecciones: un robots.txt que responde con un 404, 5xx o redirige a otra página puede ser interpretado como ausencia de directivas; comprueba códigos HTTP con curl -I.

Buenas prácticas operativas

Adopta procesos sencillos para reducir riesgo humano y técnico:

• Incluye el chequeo del robots.txt en tus pipelines de despliegue y en revisiones de cambios que afecten rutas y rewrites.
• Mantén reglas simples y comentadas; las reglas complejas con múltiples user-agents y excepciones son más propensas a errores.
• Prefiere bloquear áreas de bajo valor con Disallow y usar meta robots noindex en páginas que quieras explícitamente fuera del índice, solo si esas páginas pueden ser rastreadas.
• Comprueba que tu sitemap está referenciado desde robots.txt y disponible públicamente para mejorar descubrimiento de páginas importantes.

Casos de uso prácticos

Algunos ejemplos típicos y su razonamiento:

• Bloquear áreas administrativas o paneles: evita rastreo innecesario de páginas no orientadas a usuarios públicos.
• Bloquear parámetros y filtros duplicados si no gestionas canonicalización adecuadamente; sin embargo, es preferible resolver duplicación con canonical o estructuras canónicas en lugar de depender únicamente de robots.txt.
• Evitar que entornos de staging y QA sean rastreados: protege estos hosts con autenticación o IP allowlist en lugar de depender solo de robots.txt, que es una directiva pública y no una medida de seguridad.

Integración con otros controles de indexación

Para controlar la indexación y la presentación en resultados combinan robots.txt con:

• Meta robots (noindex, nofollow) en páginas que necesiten ser excluidas y que además sean rastreables.
• Cabeceras HTTP X-Robots-Tag para respuestas no HTML o para control a nivel de servidor.
• Canonicalización adecuada para consolidar variantes de URL y evitar duplicados que obliguen a los crawlers a gastar recursos.

Comprobaciones rápidas para incidencias frecuentes

1. ¿El archivo responde en la URL esperada? curl -I https://example.com/robots.txt

2. ¿Se bloquean recursos críticos (CSS/JS)? Compruébalo con Chrome DevTools > Coverage o usando curl para las rutas bloqueadas.

3. ¿Google indica bloqueo en URL Inspection? Usa Search Console para tus propias URLs y combina con registros de servidor para ver la actividad real.

Preguntas frecuentes