Un conseil revient souvent : si vous ne voulez pas que les IA lisent votre site, ajoutez quelques lignes dans votre robots.txt, et le problème est réglé. Le fichier y est présenté comme un interrupteur.
Or Google, Perplexity et OpenAI écrivent eux-mêmes, dans leur documentation, qu'une partie de leurs accès passe outre.
Google, dans la page qui liste ses récupérateurs déclenchés par un utilisateur :
« User-triggered fetchers are initiated by users to perform a fetching function within a Google product. [...] Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules. »
Ma traduction : les récupérateurs déclenchés par l'utilisateur sont initiés par des utilisateurs pour réaliser une récupération dans un produit Google. Parce que la récupération a été demandée par un utilisateur, ces récupérateurs ignorent généralement les règles du robots.txt. Source : Google, « List of Google user-triggered fetchers », developers.google.com, dernière mise à jour affichée le 16 juillet 2026, consultée le 13 août 2026.
Perplexity, dans sa documentation destinée aux webmestres, à propos de l'agent qui sert les questions posées par ses utilisateurs :
« Since a user requested the fetch, this fetcher generally ignores robots.txt rules. »
Ma traduction : puisqu'un utilisateur a demandé la récupération, ce récupérateur ignore généralement les règles du robots.txt. Source : Perplexity, « PerplexityBot », docs.perplexity.ai. Consultée le 13 août 2026.
Perplexity nuance lui-même cette phrase. La même page ajoute que Perplexity-User « controls which sites these user requests can access » (contrôle les sites auxquels ces requêtes d'utilisateurs peuvent accéder, ma traduction). Et son centre d'aide, dans un article modifié le 14 septembre 2026, écrit que la possibilité de lui faire résumer une adresse bloquée par robots.txt « has been disabled to prevent misuse » (a été désactivée pour prévenir les abus, ma traduction). Source : Perplexity, « How does Perplexity follow robots.txt? », perplexity.ai, consultée le 14 octobre 2026.
OpenAI, à propos de l'agent utilisé quand quelqu'un pose une question à ChatGPT :
« ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply. »
Ma traduction : ChatGPT-User n'est pas utilisé pour explorer le web de façon automatique. Parce que ces actions sont initiées par un utilisateur, les règles du robots.txt peuvent ne pas s'appliquer. Source : OpenAI, « Overview of OpenAI Crawlers », platform.openai.com. Consultée le 13 août 2026.
Anthropic et Mistral AI présentent leur agent de visite à la demande comme soumis à votre robots.txt.
Anthropic, à propos de l'agent utilisé quand quelqu'un pose une question à Claude :
« Claude-User allows site owners to control which sites can be accessed through these user-initiated requests. Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search. »
Ma traduction : Claude-User permet aux propriétaires de sites de contrôler quels sites peuvent être consultés par ces requêtes déclenchées par un utilisateur. Désactiver Claude-User sur votre site empêche notre système de récupérer votre contenu en réponse à la question d'un utilisateur, ce qui peut réduire la visibilité de votre site dans les recherches web menées pour un utilisateur. Source : Anthropic, centre d'aide, « Does Anthropic crawl data from the web, and how can site owners block the crawler? », support.claude.com, page datée du 7 avril 2026, consultée le 14 octobre 2026.
Mistral AI, dans sa documentation en français :
« MistralAI-User détermine les sites que ces requêtes utilisateur peuvent consulter. Il ne sert pas à explorer le web de façon automatique ni à collecter du contenu pour l'entraînement de modèles d'IA générative. »
Source : Mistral AI, documentation des robots, docs.mistral.ai, sans date de mise à jour affichée, consultée le 14 octobre 2026. La version anglaise dit la même chose : « MistralAI-User governs which sites these user requests can be made to. »
Ces deux documentations décrivent une intention déclarée ; je n'ai pas vérifié qu'elle est appliquée. Elles montrent en revanche que rien n'oblige un éditeur à ignorer le robots.txt lors d'une visite demandée par un humain : chacun choisit sa règle, et l'écrit.
Google, Perplexity et OpenAI distinguent deux types d'accès :
| Type d'accès | Respecte le robots.txt ? |
|---|---|
| Exploration automatique (constitution d'un index, entraînement) | Oui. C'est le cas nominal, et c'est là que vos règles s'appliquent |
| Récupération demandée par un humain (quelqu'un pose une question, colle votre adresse) | Non, ou pas nécessairement, chez Google, Perplexity et OpenAI ; oui chez Anthropic et Mistral, d'après leur documentation |
Pour eux, quand une personne demande explicitement une page, la visite est assimilée à celle d'un visiteur plutôt qu'à celle d'un robot. Ce raisonnement se discute, mais il est public : les trois l'écrivent dans leur documentation.
Votre robots.txt gouverne donc bien ce qui alimente les index et les entraînements. Chez Google, Perplexity et OpenAI, il ne gouverne pas, ou pas nécessairement, ce qui se passe quand un utilisateur demande votre page à leur assistant. Ce sont deux robinets différents, et le fichier n'en ferme qu'un.
Le robots.txt reste indispensable. Il couvre l'exploration automatique, qui est le gros du volume, et pas forcément les récupérations demandées par un humain. Le garder correctement réglé est la première chose à faire ; seule la promesse d'étanchéité qu'on lui prête est fausse.
Première : un contenu réellement confidentiel n'a rien à faire derrière un robots.txt. Ce fichier est une demande de politesse, publique de surcroît : il énumère au monde entier les adresses que vous préférez cacher. Ce qui doit être protégé se protège par un mot de passe ou par une vraie restriction d'accès.
Seconde : bloquer ne vous rend pas forcément invisible dans les réponses. Chez Google et OpenAI, si quelqu'un colle votre adresse dans l'assistant, la page sera très probablement lue. Chez Perplexity, la documentation des robots dit la même chose, mais son centre d'aide écrit que cette possibilité a été désactivée. Chez Anthropic et Mistral, l'agent de visite à la demande est présenté comme soumis à votre fichier. Et si vous avez bloqué l'exploration automatique, l'assistant travaillera sur ce qu'il trouve à cet instant, sans le contexte de votre site : il peut encore vous citer, mais à partir de moins d'informations.
Décidez robinet par robinet. Vous pouvez refuser l'entraînement des modèles et garder l'indexation pour les moteurs de recherche des assistants : les trois éditeurs documentent des agents distincts pour permettre ce choix.
Ne payez pas pour une garantie d'étanchéité. Aucun prestataire ne peut vous la donner avec un robots.txt. Le fichier exprime une préférence à des systèmes qui ont accepté de la respecter, dans les cas où ils ont dit qu'ils la respecteraient, et les documentations citées plus haut suffisent à le vérifier en trois minutes.
Vérifiez ce que votre extension écrit vraiment. Beaucoup d'extensions ajoutent des blocages sans dire lesquels. Ouvrez votre fichier à la racine de votre site. C'est une adresse publique, vous pouvez la lire comme n'importe qui. L'un de nos agents, gratuit et publié sur le répertoire officiel de WordPress, écrit lui aussi des signaux destinés aux robots d'IA dans le robots.txt ; vous pouvez vérifier ses lignes de la même façon, et elles n'offrent pas plus d'étanchéité que celles que vous écririez vous-même.
Chaque citation vient du site de l'éditeur concerné : je ne cite aucun annuaire de robots ni aucun article tiers sur ce sujet, parce que c'est le terrain où les recopies se propagent. Vérifier si ces agents se comportent comme leurs éditeurs l'écrivent demanderait des journaux de serveur et une identification des robots par leurs plages d'adresses publiées plutôt que par leur signature déclarée, comme l'explique la publication sur l'usurpation des robots d'IA.