Tout ce que cette série a documenté sur robots.txt (qui le lit, qui l'ignore, qui hérite des règles des autres) suppose que le fichier réponde. Or un robots.txt tombe en panne comme n'importe quelle autre adresse du site, à cause d'une erreur serveur, d'un pare-feu trop zélé ou d'une migration ratée. Pour ce cas, j'ai trouvé deux réponses documentées, celle d'Amazon et celle de Google, et elles sont opposées.
« They will fetch host-level robots.txt files or use a cached copy from the last 30 days. When a file can't be fetched, they will behave as if it does not exist. »
Ma traduction : ils récupèrent le fichier robots.txt du site, ou utilisent une copie en cache des 30 derniers jours. Quand un fichier ne peut pas être récupéré, ils se comportent comme s'il n'existait pas. Source : Amazon, « Amazonbot », developer.amazon.com, sans date de mise à jour affichée, consultée le 15 août 2026.
Pour Amazon, faute de fichier lisible, aucune restriction ne s'applique. Un site sans robots.txt est un site ouvert (c'est la convention du web), et un site dont le robots.txt est en panne est traité de la même façon. La règle se tient, mais vos interdictions disparaissent avec la panne, au mieux amorties par la copie en cache des 30 derniers jours si Amazon en a une.
« If Google finds a robots.txt file but can't fetch it, Google follows this behavior: For the first 12 hours, Google stops crawling the site but keeps trying to fetch the robots.txt file. If Google can't fetch a new version, for the next 30 days Google will use the last good version, while still trying to fetch a new version. [...] If there's no cached version available, Google assumes there's no crawl restrictions. »
Ma traduction : si Google trouve un fichier robots.txt mais ne peut pas le récupérer : pendant les 12 premières heures, Google arrête d'explorer le site tout en réessayant de récupérer le fichier. S'il n'y parvient pas, pendant les 30 jours suivants il utilise la dernière bonne version connue, tout en continuant d'essayer. S'il n'existe aucune version en cache, Google considère qu'il n'y a pas de restriction d'exploration. Source : Google, « How Google interprets the robots.txt specification », developers.google.com, dernière mise à jour affichée le 8 juillet 2026, consultée le 15 août 2026.
Google raisonne à l'inverse. Dans le doute, il présume que vous vouliez peut-être tout interdire, et il s'arrête. L'exploration est entièrement gelée pendant douze heures, puis Google s'appuie pendant un mois sur la dernière version connue du fichier. Il n'ouvre tout qu'en dernier recours, quand il n'en garde aucune version en cache.
Pendant une panne de robots.txt, Amazon explore tout, Google n'explore rien (les 12 premières heures). Sur ce cas précis, contrairement à beaucoup d'autres, le standard officiel du protocole fixe une règle explicite.
« If the robots.txt file is unreachable due to server or network errors, this means the robots.txt file is undefined and the crawler MUST assume complete disallow. For example, in the context of HTTP, server errors are identified by status codes in the 500-599 range. »
Ma traduction : si le fichier robots.txt est injoignable à cause d'erreurs serveur ou réseau, le fichier est réputé indéfini et le robot DOIT présumer l'interdiction totale. Par exemple, en HTTP, les erreurs serveur sont les codes 500 à 599. Source : RFC 9309, « Robots Exclusion Protocol », section sur le statut injoignable, rfc-editor.org, septembre 2022, consultée le 15 août 2026. La section suivante ajoute la soupape : si le fichier reste indéfini « pendant une période raisonnablement longue (par exemple, 30 jours) », les robots PEUVENT alors le traiter comme absent, ou continuer d'utiliser une copie en cache.
Ce « MUST » vise la panne (erreur serveur ou réseau), pas l'absence. Un robots.txt qui répond « fichier introuvable » (404) laisse, pour le standard aussi, le site sans restriction, et là-dessus tout le monde est d'accord. La divergence porte sur l'erreur serveur : la prudence en escalier de Google suit la logique du standard (interdiction d'abord, soupape ensuite), tandis que la phrase d'Amazon, qui ne distingue pas la panne de l'absence, est, prise à la lettre, plus permissive que ce que le standard exige pour les erreurs serveur. Le RFC 9309 a beau être explicite, ce qui s'applique à votre site reste ce que CHAQUE opérateur documente chez lui, et aucun cas étudié dans cette série ne le montre aussi nettement.
Une panne de robots.txt peut ressembler à une chute de trafic. Si votre fichier renvoie des erreurs serveur, Google gèle l'exploration du site : vos nouvelles pages ne sont plus découvertes, vos mises à jour ne sont plus vues, et la courbe finit par s'en ressentir sans qu'aucun contenu ait changé. Le guide de diagnostic des baisses de trafic publié hier dans cette série range ce cas dans la famille « problème technique ». Avant de chercher une pénalité, vérifiez que votre robots.txt répond, avec un vrai code 200.
Surveillez la disponibilité de votre robots.txt comme celle de votre page d'accueil : c'est le fichier dont la panne change le comportement de TOUS les robots, chacun à sa façon. Un contrôle automatique qui vérifie qu'il répond en 200 coûte une ligne dans n'importe quel outil de surveillance.
Ne « protégez » jamais votre robots.txt derrière un pare-feu, une protection anti-robot ou une règle de blocage : un fichier qui renvoie une erreur aux robots reproduit en permanence la panne décrite ici. Il doit être l'adresse la plus accessible du site.
En cas de migration ou de refonte : gardez le fichier joignable pendant toute l'opération. Douze heures d'indisponibilité suffisent à geler l'exploration de Google, et trente jours suffisent à faire tomber vos interdictions chez Amazon.
Si votre site tourne sous WordPress, notre extension gratuite publiée sur le répertoire officiel de WordPress vous permet de choisir, sans compte ni clé API, les robots d'IA que votre robots.txt accueille ou tient à l'écart.
L'ancienne adresse de la page de Google sur robots.txt ne répond plus : la documentation a déménagé vers la nouvelle section dédiée à l'infrastructure d'exploration, et la version citée ici est la page vivante, retrouvée depuis la navigation officielle et datée du 8 juillet 2026. La coupe [...] dans la citation de Google ne retire qu'un détail sur la fréquence des nouvelles tentatives. La page d'Amazon, elle, n'affiche aucune date de mise à jour.