Aller au contenu
Vos 9 agents IA
Composer mon équipe IA Ressources Tarifs Tester mon site → Voir mon potentiel →
Observatoire Rank Press
L'idée reçue du mois Publié le 15 août 2026 · sources vérifiées le 13 août 2026 · mis à jour le 14 octobre 2026

robots.txt n'est pas un interrupteur. Trois éditeurs d'IA écrivent eux-mêmes qu'ils passent outre

L'essentiel

  • Google : « parce que la récupération a été demandée par un utilisateur, ces récupérateurs ignorent généralement les règles du robots.txt ».
  • Perplexity : « puisqu'un utilisateur a demandé la récupération, ce récupérateur ignore généralement les règles du robots.txt ».
  • OpenAI : « parce que ces actions sont initiées par un utilisateur, les règles du robots.txt peuvent ne pas s'appliquer ».
  • Chez ces trois éditeurs, la ligne de partage tient à qui déclenche la visite : un robot automatique respecte le fichier, une récupération demandée par un humain, pas nécessairement. Anthropic et Mistral, eux, présentent leur agent de visite à la demande (Claude-User, MistralAI-User) comme soumis à votre robots.txt.
  • ⚠ Le conseil « bloquez tout avec deux lignes dans votre robots.txt » est donc faux, d'après la documentation de Google, de Perplexity et d'OpenAI.
Wen Dasnois
Wen DasnoisFondateur de Rank Press et de Permis Online (plus de 100 000 inscrits depuis 2021). LinkedIn · Ma page auteur

Un conseil revient souvent : si vous ne voulez pas que les IA lisent votre site, ajoutez quelques lignes dans votre robots.txt, et le problème est réglé. Le fichier y est présenté comme un interrupteur.

Or Google, Perplexity et OpenAI écrivent eux-mêmes, dans leur documentation, qu'une partie de leurs accès passe outre.

Trois documentations, trois aveux

Google, dans la page qui liste ses récupérateurs déclenchés par un utilisateur :

« User-triggered fetchers are initiated by users to perform a fetching function within a Google product. [...] Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules. »

Ma traduction : les récupérateurs déclenchés par l'utilisateur sont initiés par des utilisateurs pour réaliser une récupération dans un produit Google. Parce que la récupération a été demandée par un utilisateur, ces récupérateurs ignorent généralement les règles du robots.txt. Source : Google, « List of Google user-triggered fetchers », developers.google.com, dernière mise à jour affichée le 16 juillet 2026, consultée le 13 août 2026.

Perplexity, dans sa documentation destinée aux webmestres, à propos de l'agent qui sert les questions posées par ses utilisateurs :

« Since a user requested the fetch, this fetcher generally ignores robots.txt rules. »

Ma traduction : puisqu'un utilisateur a demandé la récupération, ce récupérateur ignore généralement les règles du robots.txt. Source : Perplexity, « PerplexityBot », docs.perplexity.ai. Consultée le 13 août 2026.

Perplexity nuance lui-même cette phrase. La même page ajoute que Perplexity-User « controls which sites these user requests can access » (contrôle les sites auxquels ces requêtes d'utilisateurs peuvent accéder, ma traduction). Et son centre d'aide, dans un article modifié le 14 septembre 2026, écrit que la possibilité de lui faire résumer une adresse bloquée par robots.txt « has been disabled to prevent misuse » (a été désactivée pour prévenir les abus, ma traduction). Source : Perplexity, « How does Perplexity follow robots.txt? », perplexity.ai, consultée le 14 octobre 2026.

OpenAI, à propos de l'agent utilisé quand quelqu'un pose une question à ChatGPT :

« ChatGPT-User is not used for crawling the web in an automatic fashion. Because these actions are initiated by a user, robots.txt rules may not apply. »

Ma traduction : ChatGPT-User n'est pas utilisé pour explorer le web de façon automatique. Parce que ces actions sont initiées par un utilisateur, les règles du robots.txt peuvent ne pas s'appliquer. Source : OpenAI, « Overview of OpenAI Crawlers », platform.openai.com. Consultée le 13 août 2026.

Deux éditeurs écrivent l'inverse

Anthropic et Mistral AI présentent leur agent de visite à la demande comme soumis à votre robots.txt.

Anthropic, à propos de l'agent utilisé quand quelqu'un pose une question à Claude :

« Claude-User allows site owners to control which sites can be accessed through these user-initiated requests. Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search. »

Ma traduction : Claude-User permet aux propriétaires de sites de contrôler quels sites peuvent être consultés par ces requêtes déclenchées par un utilisateur. Désactiver Claude-User sur votre site empêche notre système de récupérer votre contenu en réponse à la question d'un utilisateur, ce qui peut réduire la visibilité de votre site dans les recherches web menées pour un utilisateur. Source : Anthropic, centre d'aide, « Does Anthropic crawl data from the web, and how can site owners block the crawler? », support.claude.com, page datée du 7 avril 2026, consultée le 14 octobre 2026.

Mistral AI, dans sa documentation en français :

« MistralAI-User détermine les sites que ces requêtes utilisateur peuvent consulter. Il ne sert pas à explorer le web de façon automatique ni à collecter du contenu pour l'entraînement de modèles d'IA générative. »

Source : Mistral AI, documentation des robots, docs.mistral.ai, sans date de mise à jour affichée, consultée le 14 octobre 2026. La version anglaise dit la même chose : « MistralAI-User governs which sites these user requests can be made to. »

Ces deux documentations décrivent une intention déclarée ; je n'ai pas vérifié qu'elle est appliquée. Elles montrent en revanche que rien n'oblige un éditeur à ignorer le robots.txt lors d'une visite demandée par un humain : chacun choisit sa règle, et l'écrit.

La ligne de partage, et elle est logique

Google, Perplexity et OpenAI distinguent deux types d'accès :

Type d'accèsRespecte le robots.txt ?
Exploration automatique (constitution d'un index, entraînement)Oui. C'est le cas nominal, et c'est là que vos règles s'appliquent
Récupération demandée par un humain (quelqu'un pose une question, colle votre adresse)Non, ou pas nécessairement, chez Google, Perplexity et OpenAI ; oui chez Anthropic et Mistral, d'après leur documentation

Pour eux, quand une personne demande explicitement une page, la visite est assimilée à celle d'un visiteur plutôt qu'à celle d'un robot. Ce raisonnement se discute, mais il est public : les trois l'écrivent dans leur documentation.

Votre robots.txt gouverne donc bien ce qui alimente les index et les entraînements. Chez Google, Perplexity et OpenAI, il ne gouverne pas, ou pas nécessairement, ce qui se passe quand un utilisateur demande votre page à leur assistant. Ce sont deux robinets différents, et le fichier n'en ferme qu'un.

!

Le robots.txt reste indispensable. Il couvre l'exploration automatique, qui est le gros du volume, et pas forcément les récupérations demandées par un humain. Le garder correctement réglé est la première chose à faire ; seule la promesse d'étanchéité qu'on lui prête est fausse.

Deux choses que le robots.txt ne garantit pas

Première : un contenu réellement confidentiel n'a rien à faire derrière un robots.txt. Ce fichier est une demande de politesse, publique de surcroît : il énumère au monde entier les adresses que vous préférez cacher. Ce qui doit être protégé se protège par un mot de passe ou par une vraie restriction d'accès.

Seconde : bloquer ne vous rend pas forcément invisible dans les réponses. Chez Google et OpenAI, si quelqu'un colle votre adresse dans l'assistant, la page sera très probablement lue. Chez Perplexity, la documentation des robots dit la même chose, mais son centre d'aide écrit que cette possibilité a été désactivée. Chez Anthropic et Mistral, l'agent de visite à la demande est présenté comme soumis à votre fichier. Et si vous avez bloqué l'exploration automatique, l'assistant travaillera sur ce qu'il trouve à cet instant, sans le contexte de votre site : il peut encore vous citer, mais à partir de moins d'informations.

Ce que ça change pour vous

Décidez robinet par robinet. Vous pouvez refuser l'entraînement des modèles et garder l'indexation pour les moteurs de recherche des assistants : les trois éditeurs documentent des agents distincts pour permettre ce choix.

Ne payez pas pour une garantie d'étanchéité. Aucun prestataire ne peut vous la donner avec un robots.txt. Le fichier exprime une préférence à des systèmes qui ont accepté de la respecter, dans les cas où ils ont dit qu'ils la respecteraient, et les documentations citées plus haut suffisent à le vérifier en trois minutes.

Vérifiez ce que votre extension écrit vraiment. Beaucoup d'extensions ajoutent des blocages sans dire lesquels. Ouvrez votre fichier à la racine de votre site. C'est une adresse publique, vous pouvez la lire comme n'importe qui. L'un de nos agents, gratuit et publié sur le répertoire officiel de WordPress, écrit lui aussi des signaux destinés aux robots d'IA dans le robots.txt ; vous pouvez vérifier ses lignes de la même façon, et elles n'offrent pas plus d'étanchéité que celles que vous écririez vous-même.

Comment j'ai travaillé

Chaque citation vient du site de l'éditeur concerné : je ne cite aucun annuaire de robots ni aucun article tiers sur ce sujet, parce que c'est le terrain où les recopies se propagent. Vérifier si ces agents se comportent comme leurs éditeurs l'écrivent demanderait des journaux de serveur et une identification des robots par leurs plages d'adresses publiées plutôt que par leur signature déclarée, comme l'explique la publication sur l'usurpation des robots d'IA.

Sources

  1. Primaire Google, « List of Google user-triggered fetchers » (« Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules »). Dernière mise à jour affichée : 16 juillet 2026. developers.google.com. Consultée le 13 août 2026.
  2. Primaire Perplexity, documentation des robots destinée aux webmestres (« Since a user requested the fetch, this fetcher generally ignores robots.txt rules » ; distinction entre PerplexityBot et Perplexity-User ; plages d'adresses publiées). docs.perplexity.ai. Consultée le 13 août 2026, relue le 14 octobre 2026.
  3. Primaire OpenAI, « Overview of OpenAI Crawlers » (« Because these actions are initiated by a user, robots.txt rules may not apply » ; distinction entre OAI-SearchBot, GPTBot et ChatGPT-User ; plages d'adresses publiées). platform.openai.com. Consultée le 13 août 2026.
  4. Primaire Anthropic, centre d'aide, « Does Anthropic crawl data from the web, and how can site owners block the crawler? » (Claude-User permet de contrôler les sites accessibles par les requêtes déclenchées par un utilisateur). Page datée du 7 avril 2026. support.claude.com. Consultée le 14 octobre 2026.
  5. Primaire Mistral AI, documentation des robots, en français et en anglais (MistralAI-User détermine les sites que ces requêtes utilisateur peuvent consulter). Sans date de mise à jour affichée. docs.mistral.ai/fr/robots et docs.mistral.ai/robots. Consultées le 14 octobre 2026.
  6. Primaire Perplexity, centre d'aide, « How does Perplexity follow robots.txt? » (la possibilité de faire résumer une adresse bloquée par robots.txt a été désactivée). Modifié le 14 septembre 2026. perplexity.ai. Consultée le 14 octobre 2026.

À lire ensuite