Aller au contenu
Vos 9 agents IA
Composer mon équipe IA Ressources Tarifs Tester mon site → Voir mon potentiel →
Observatoire Rank Press
L'idée reçue du mois Publié le 21 août 2026 · sources vérifiées le 15 août 2026

crawl-delay : une seule ligne de robots.txt, quatre réponses différentes selon qui la lit

L'essentiel

  • La ligne crawl-delay, censée espacer les visites des robots, traîne dans de nombreux fichiers robots.txt et dans beaucoup de tutoriels.
  • D'après leurs documentations officielles, Google ne la traite pas, Apple ne la suit pas, Amazon ne la supporte pas, et Anthropic (Claude) la supporte explicitement.
  • Une même directive produit donc quatre comportements, parce que robots.txt formule une demande et que chaque opérateur décide de la suite à lui donner.
  • Elle n'a jamais été intégrée au standard officiel du protocole, ce qui laisse chaque éditeur libre d'en faire ce qu'il veut.
  • Pour ralentir un robot, suivez la méthode que documente son opérateur plutôt que de recopier cette ligne.
Wen Dasnois
Wen DasnoisFondateur de Rank Press et de Permis Online (plus de 100 000 inscrits depuis 2021). LinkedIn · Ma page auteur

Ouvrez le robots.txt de sites au hasard : vous y trouverez souvent une ligne « Crawl-delay: 10 », posée là par un tutoriel, une extension ou un prestataire, avec la promesse d'espacer les visites des robots pour soulager le serveur. On se demande rarement quels robots la lisent. Les documentations de quatre grands opérateurs répondent à cette question de quatre façons différentes.

Google : la ligne n'est pas traitée

« The non-standard "crawl-delay" robots.txt rule is not processed by Google's crawlers. »

Ma traduction : la règle non standard « crawl-delay » de robots.txt n'est pas traitée par les robots de Google. Source : Google, « Myths and facts about crawling », developers.google.com, dernière mise à jour affichée le 18 décembre 2025, consultée le 15 août 2026.

Chez Google, cette ligne reste donc sans effet. Pour ralentir Googlebot, la marche à suivre est décrite sur la page officielle « Reduce Google's crawl rate » ; et un serveur qui répond par des erreurs ou trop lentement fait de toute façon lever le pied au robot, comme je l'ai documenté cette semaine.

Apple : pas suivie non plus

« Applebot does not follow crawl-delay. »

Ma traduction : Applebot ne suit pas crawl-delay. Source : Apple, « About Applebot », support.apple.com, consultée le 13 août 2026, relue le 15 août 2026.

Amazon : pas supportée

« They do not support the crawl-delay directive. »

Ma traduction : ils [les agents d'Amazon] ne supportent pas la directive crawl-delay. Source : Amazon, « Amazonbot », developer.amazon.com, sans date de mise à jour affichée, consultée le 15 août 2026.

Anthropic : supportée, et assumée

« To limit crawling activity, we support the non-standard Crawl-delay extension to robots.txt. » La même page écrit aussi : « We aim for minimal disruption by being thoughtful about how quickly we crawl the same domains and respecting Crawl-delay where appropriate. »

Ma traduction : pour limiter l'activité d'exploration, nous supportons l'extension non standard Crawl-delay de robots.txt ; et : nous visons une perturbation minimale en étant attentifs à la vitesse à laquelle nous explorons les mêmes domaines et en respectant Crawl-delay quand c'est approprié. Source : Anthropic, centre d'aide, article sur les robots d'exploration, support.anthropic.com, consultée le 13 août 2026, relue le 15 août 2026.

!

Pourquoi quatre réponses sont possibles pour une même ligne. crawl-delay n'a jamais fait partie du standard officiel du protocole d'exclusion des robots. C'est une extension inventée par des moteurs il y a vingt ans, jamais normalisée : chaque opérateur est donc libre de la traiter ou pas, et ils utilisent tous cette liberté différemment. Anthropic lui-même assortit son support d'une réserve, « where appropriate », quand c'est approprié, et ne s'engage pas à l'appliquer systématiquement.

Ce que ça change pour vous

Si votre robots.txt contient un crawl-delay, il n'a aucun effet chez Google, Apple et Amazon, et produit probablement un ralentissement chez Anthropic et quelques autres. Vous pouvez le laisser, il ne casse rien, mais il ne protège votre serveur ni des robots de Google, ni de ceux d'Apple ou d'Amazon.

Si votre serveur souffre vraiment des robots, utilisez les moyens dont l'effet est documenté : chez Google, la procédure officielle de réduction de cadence ; pour les robots d'IA, le blocage ciblé par agent, dont j'ai documenté cette semaine les conséquences chez chaque éditeur ; côté serveur, le code de réponse 429, le seul de sa famille qui signale réellement « trop de requêtes » aux explorateurs.

Avant de recopier une ligne de robots.txt trouvée dans un tutoriel, vérifiez dans la documentation de chaque opérateur ce qu'il en fait, puisque chacun lit ce fichier selon ses propres règles, publiées chez lui.

Si votre site tourne sous WordPress, vous pouvez confier les signaux adressés aux robots d'IA à notre agent gratuit, publié sur le répertoire officiel des extensions et utilisable sans compte ni clé API ; nous l'éditons, d'où notre intérêt pour le sujet.

Comment j'ai travaillé

Je n'ai pas mesuré le comportement réel des robots face à un crawl-delay, ce qui demanderait des semaines de journaux serveur contrôlés. Cet article s'en tient à ce que chaque opérateur écrit de lui-même.

Sources

  1. Primaire Google, « Myths and facts about crawling » (crawl-delay non traitée). Dernière mise à jour affichée : 18 décembre 2025. developers.google.com. Consultée le 15 août 2026.
  2. Primaire Apple, « About Applebot » (crawl-delay non suivie). support.apple.com. Consultée le 13 août 2026, relue le 15 août 2026.
  3. Primaire Amazon, « Amazonbot » (crawl-delay non supportée). Sans date de mise à jour affichée. developer.amazon.com. Consultée le 15 août 2026.
  4. Primaire Anthropic, centre d'aide, article sur les robots d'exploration (support explicite de Crawl-delay). support.anthropic.com. Consultée le 13 août 2026, relue le 15 août 2026.

À lire ensuite