Robots.txt SEO : contrôler le crawl efficacement

Robots.txt : rôle, limites et position dans le SEO technique

Robots.txt est un fichier texte placé à la racine d'un hôte (par exemple https://example.com/robots.txt) qui donne des instructions aux crawlers conformes sur les chemins à explorer ou à ignorer. Son rôle est strictement lié à l'exploration (crawl) ; il n'est pas un mécanisme d'indexation ni un signal de classement direct.

Important à garder en tête : Google utilise la version mobile comme base principale pour le crawling et l'indexation ; depuis juillet 2024, Googlebot Smartphone est le crawler par défaut pour Search. Google a aussi supprimé les pages mises en cache traditionnelles début 2024. Ces évolutions rendent la visibilité technique — notamment l'accès aux ressources CSS/JS et aux pages mobiles — d'autant plus critique pour une indexation fiable.

Syntaxe et directives essentielles

Directives de base

Les règles se composent de records "User-agent" suivis de directives comme "Disallow" ou "Allow". Exemples littéraux :

Un accès ouvert pour tous : User-agent: * Disallow:

Bloquer un dossier administratif : User-agent: * Disallow: /admin/

Autoriser un fichier précis alors que le dossier est bloqué : User-agent: * Disallow: /private/ Allow: /private/public-info.html

Le champ "Sitemap:" peut pointer vers vos sitemaps et aider les crawlers à découvrir l'arborescence : Sitemap: https://example.com/sitemap.xml

Comportements spécifiques et compatibilités

De nombreux grands crawlers (y compris Googlebot) supportent les jokers comme "*" et l'ancres "$" en fin de chaîne ; Google respecte aussi la directive "Allow" qui peut surclasser une règle "Disallow" plus générale. En revanche, certaines directives non standard — par exemple "Crawl-delay" — ne sont pas prises en charge par tous les moteurs ; Google ignore crawl-delay.

Ce que robots.txt peut et ne peut pas faire

Ce que robots.txt fait : il informe les crawlers conformes qu'ils doivent ou ne doivent pas récupérer certaines URLs. Il peut réduire le temps de crawl gaspillé sur des sections de faible valeur (ex. pages internes non publiques, paramètres de session générés côté serveur) et faciliter la priorité de découverte via la directive Sitemap.

Ce que robots.txt ne fait pas : il n'empêche pas forcément l'apparition d'une URL dans les résultats de recherche si d'autres sites pointent vers elle. Il n'est pas un mécanisme d'indexation ni un moyen fiable d'empêcher l'accès humain au contenu (le fichier est public). Enfin, bloquer l'exploration empêche aussi les moteurs de voir les balises meta ou les en-têtes HTTP destinés à contrôler l'indexation.

Conséquence pratique : si vous voulez retirer une page de l'index, utilisez une balise meta robots "noindex" sur la page HTML ou l'en-tête HTTP X-Robots-Tag: noindex. N'empêchez pas le crawl de cette page via robots.txt, sinon le moteur ne verra pas la balise noindex.

Vérification et dépannage — procédures concrètes

Vérifier le fichier robots.txt

Récupérez le fichier et inspectez-le : utilisez curl pour voir le contenu ou les en-têtes.

Récupérer uniquement les en-têtes : curl -I https://example.com/robots.txt

Récupérer le contenu complet : curl https://example.com/robots.txt

Si le fichier renvoie 404, le serveur n'applique aucune règle et les crawlers se basent sur le comportement par défaut. Si le fichier renvoie 5xx ou une page d'erreur, certains crawlers peuvent retenter plus tard et réduire le crawl du site.

Tester l'interprétation par Google (propriété vérifiée)

Pour un domaine que vous gérez, utilisez le rapport et les outils de Google Search Console : l'interface offre des informations sur la fréquence des accès et des erreurs d'exploration, et un outil de test pour voir si une URL est autorisée à être crawlée. Pour vérifier s'il y a des problèmes d'accès aux ressources critiques (CSS/JS), utilisez l'inspection d'URL dans Search Console.

Contrôler depuis l'extérieur (sites tiers)

Si vous n'êtes pas propriétaire du domaine, vous pouvez :

• Récupérer https://domain.tld/robots.txt et inspecter les règles. • Vérifier l'en-tête HTTP et le code de réponse avec curl -I. • Consulter le rendu public de la page dans un navigateur (Chrome DevTools > Network/Elements) pour voir si des ressources sont bloquées ou non chargées. • Utiliser l'opérateur site: dans Google comme indication publique, sans l'interpréter comme preuve absolue d'indexation.

Erreurs fréquentes et comment les éviter

1) Bloquer CSS/JS critiques — Impact : empêcher les moteurs de rendre correctement la page, ce qui peut nuire à l'interprétation du contenu mobile-first. Solution : autorisez /assets/css/ et /assets/js/ nécessaires au rendu.

2) Utiliser Disallow: / à la racine par erreur — Impact : arrête tout crawl et peut entraîner une baisse de visibilité. Solution : tester sur staging et confirmer le comportement avant mise en production.

3) Confondre crawl et indexation — Impact : bloquer une URL via robots.txt empêche d'en lire les balises meta (noindex). Solution : si vous devez retirer une URL de l'index, autorisez le crawl temporairement et appliquez noindex, ou utilisez X-Robots-Tag accessible au crawler.

4) Compter sur robots.txt pour la confidentialité — Impact : robots.txt est public ; toute URL listée devient visible. Solution : protégez via authentification (HTTP auth) ou supprimez le contenu côté serveur.

Bonnes pratiques opérationnelles

• Hébergez robots.txt à la racine du host correctement (https://www.example.com/robots.txt) et assurez-vous qu'il renvoie 200 pour les crawlers. • Testez toute modification sur un environnement de préproduction. • Privilégiez des règles spécifiques plutôt que des blocages globaux. • Maintenez une directive Sitemap pour aider la découverte. • Surveillez les logs serveur pour confirmer que les crawlers respectent vos attentes et que les erreurs 4xx/5xx n'empêchent pas l'accès.

Si vous avez besoin de réduire la charge serveur par le crawl d'un bot récalcitrant, optez pour des contrôles côté serveur (rate limiting) ou pour les réglages disponibles dans les consoles propriétaires (par exemple les paramètres dans Google Search Console pour les propriétés vérifiées).

Cas pratiques et exemples rapidement exploitables

Mettre en évidence une page publique dans un dossier privé

Si /private/ est bloqué mais que /private/info.html doit être accessible, utilisez : User-agent: * Disallow: /private/ Allow: /private/info.html

Protéger un site de préproduction

Pour un environnement staging, combinez authentification par mot de passe et, si nécessaire, une directive robots.txt stricte. N'oubliez pas que les URLs listées deviendront visibles publiquement si robots.txt est accessible.

FAQ