crawl-delay : une seule ligne de robots.txt, quatre réponses différentes selon qui la lit
L'essentiel
- La ligne crawl-delay, censée espacer les visites des robots, traîne dans des millions de fichiers robots.txt et dans tous les tutoriels.
- Ce que les documentations officielles disent : Google ne la traite pas, Apple ne la suit pas, Amazon ne la supporte pas, et Anthropic (Claude) la supporte explicitement.
- Une seule directive, quatre comportements : c'est l'illustration parfaite de ce qu'est vraiment robots.txt, une demande dont chaque opérateur décide.
- Elle n'a jamais fait partie du standard officiel du protocole : chaque éditeur est libre, et ils utilisent tous cette liberté différemment.
- Pour ralentir un robot, chaque opérateur a SA méthode documentée : la connaître vaut mieux que copier une ligne magique.
Ouvrez le robots.txt de sites au hasard : vous y trouverez souvent une ligne « Crawl-delay: 10 », posée là par un tutoriel, une extension ou un prestataire, avec la promesse d'espacer les visites des robots pour soulager le serveur. Personne ne se demande jamais qui lit cette ligne. J'ai fait la vérification pour quatre grands opérateurs, dans leurs documentations : quatre réponses différentes.
Google : la ligne n'est pas traitée
« The non-standard "crawl-delay" robots.txt rule is not processed by Google's crawlers. »
Ma traduction : la règle non standard « crawl-delay » de robots.txt n'est pas traitée par les robots de Google. Source : Google, « Myths and facts about crawling », developers.google.com, dernière mise à jour affichée le 18 décembre 2025, consultée le 15 août 2026.
Chez Google, cette ligne est donc de l'encre morte. Pour ralentir réellement Googlebot, la voie documentée est ailleurs : la page officielle « Reduce Google's crawl rate » décrit la marche à suivre, et un serveur qui répond des erreurs ou trop lentement fait de toute façon lever le pied au robot, comme je l'ai documenté cette semaine.
Apple : pas suivie non plus
« Applebot does not follow crawl-delay. »
Ma traduction : Applebot ne suit pas crawl-delay. Source : Apple, « About Applebot », support.apple.com, consultée le 13 août 2026, relue le 15 août 2026.
Amazon : pas supportée
« They do not support the crawl-delay directive. »
Ma traduction : ils [les agents d'Amazon] ne supportent pas la directive crawl-delay. Source : Amazon, « Amazonbot », developer.amazon.com, sans date de mise à jour affichée, consultée le 15 août 2026.
Anthropic : supportée, et assumée
« To limit crawling activity, we support the non-standard Crawl-delay extension to robots.txt. » La même page écrit aussi : « We aim for minimal disruption by being thoughtful about how quickly we crawl the same domains and respecting Crawl-delay where appropriate. »
Ma traduction : pour limiter l'activité d'exploration, nous supportons l'extension non standard Crawl-delay de robots.txt ; et : nous visons une perturbation minimale en étant attentifs à la vitesse à laquelle nous explorons les mêmes domaines et en respectant Crawl-delay quand c'est approprié. Source : Anthropic, centre d'aide, article sur les robots d'exploration, support.anthropic.com, consultée le 13 août 2026, relue le 15 août 2026.
Pourquoi quatre réponses sont possibles pour une même ligne. crawl-delay n'a jamais fait partie du standard officiel du protocole d'exclusion des robots. C'est une extension inventée par des moteurs il y a vingt ans, jamais normalisée : chaque opérateur est donc libre de la traiter ou pas, et ils utilisent tous cette liberté différemment. Notez la précaution d'Anthropic lui-même : « where appropriate », quand c'est approprié. Même chez celui qui la supporte, ce n'est pas un contrat.
Ce que ça change pour vous
Si votre robots.txt contient un crawl-delay : sachez ce qu'il fait vraiment. Rien chez Google, Apple et Amazon ; un ralentissement probable chez Anthropic et quelques autres. Le laisser ne casse rien, mais croire qu'il protège votre serveur des gros robots est une illusion documentée.
Si votre serveur souffre vraiment des robots : traitez le problème par les voies qui marchent. Chez Google, la procédure officielle de réduction de cadence ; pour les robots d'IA, le blocage ciblé par agent, dont j'ai documenté cette semaine les conséquences chez chaque éditeur ; et côté serveur, le code de réponse 429, le seul de sa famille qui signale réellement « trop de requêtes » aux explorateurs.
Et retenez la leçon générale de cette série : robots.txt n'est pas un panneau de configuration universel. C'est une demande écrite, que chaque opérateur lit avec ses propres règles, publiées chez lui. Une ligne copiée d'un tutoriel sans vérifier qui la lit, c'est une politique de sécurité fondée sur une rumeur.
Comment j'ai travaillé
Les quatre documentations ont été téléchargées et analysées en texte intégral (Google et Amazon le 15 août 2026 ; Apple et Anthropic le 13 août, relues le 15). Les citations sont reprises mot pour mot, avec ma traduction annoncée comme telle. Quand une page n'affiche pas de date de mise à jour, je le signale plutôt que d'en inventer une.
Je n'ai pas mesuré le comportement réel des robots face à un crawl-delay (il faudrait des semaines de journaux serveur contrôlés) : je m'en tiens à ce que chaque opérateur écrit de lui-même. Le jour où nous ferons la mesure, elle aura sa publication.
Cet article ne contient aucune mesure de notre part et n'utilise aucune donnée d'aucun site utilisateur.
Sources
- Primaire Google, « Myths and facts about crawling » (crawl-delay non traitée). Dernière mise à jour affichée : 18 décembre 2025. developers.google.com. Consultée le 15 août 2026.
- Primaire Apple, « About Applebot » (crawl-delay non suivie). support.apple.com. Consultée le 13 août 2026, relue le 15 août 2026.
- Primaire Amazon, « Amazonbot » (crawl-delay non supportée). Sans date de mise à jour affichée. developer.amazon.com. Consultée le 15 août 2026.
- Primaire Anthropic, centre d'aide, article sur les robots d'exploration (support explicite de Crawl-delay). support.anthropic.com. Consultée le 13 août 2026, relue le 15 août 2026.
À lire ensuite
- robots.txt n'est pas un interrupteur, le point de départ de ce fil : une demande, pas une commande.
- Les règles que vous écrivez pour Googlebot engagent aussi des robots que vous ne connaissez pas, l'autre preuve que chaque opérateur lit votre fichier à sa façon.
D'où je parle, et ce que ça vous coûte
Je dirige Rank Press, qui édite des agents IA pour WordPress, dont un agent qui gère les signaux adressés aux robots. Un article qui montre que ces signaux se vérifient opérateur par opérateur sert notre discours, et vous devez le savoir en me lisant. Les citations sont verbatim, les quatre sources sont publiques : tout se revérifie sans moi.
Si le sujet vous concerne côté site, l'un de nos agents est gratuit et publié sur le répertoire officiel de WordPress, sans compte ni clé API. Vous pouvez tout aussi bien refermer cette page sans rien installer, c'est le principe.
Une erreur dans cet article, une source qui contredit ce que j'écris, ou un point que j'aurais mal compris : écrivez-moi à contact@rankpress.com. Je corrige ce qui doit l'être.
Cet article fait partie de l'Observatoire Rank Press, une publication qui lit les documentations officielles pour vous.